답변 2개
일단 알아보니까 중국쪽 봇이네요
아래꺼는 구글링으로 찾아본 내용입니다.
그것은 "Jinri Toutiao"(문자 그대로 오늘의 헤드라인을 의미)라는 중국 무료 뉴스 배포 앱인 TikTok으로 유명한 ByteDance의 또 다른 서비스의 크롤러입니다. 정보 robots.txt에 따르면 파일을 무시하는 소위 "잘못 동작하는" 봇으로 판명되었습니다. 또, 이것을 악용하여 다른 사이트의 내용을 모으는 가짜 쇼핑 사이트도 있는 것 같고, 사기 사이트의 온상이라고 합니다. 이러한 성가신 봇은 엄격히 금지?됩니다
방법은 클라우드플레어로 해결 하면 될것 같구요
https://stackoverflow.com/questions/57908900/what-is-the-bytespider-user-agent">web 사용법 - "Bytespider"사용자 에이전트 란 무엇입니까? - 스택 오버플로 (stackoverflow.com)
아니면 웹서버 설정에서 일부를 차단하는 방법도 있어요
아래꺼는 일본쪽 자료인데 번역기 돌려서 확인하면 자세히 알수있어요
https://www.advantech.jp/archives/3619">【팁】Block Bytespider?️ 성가신 크롤러 - Advantech
이것도 안된다면 트레픽자동감지 시스템을 찾아보셔야될거에요 클플 같은거 여러 서비스가 많아요
답변에 대한 댓글 1개
댓글을 작성하려면 로그인이 필요합니다.
답변을 작성하려면 로그인이 필요합니다.
로그인