테스트 사이트 - 개발 중인 베타 버전입니다

cafe24에서 bingbot은 포기해야겠네요

· 4년 전 · 1836 · 1

뭐어차피 bing이 비중이 큰것도 아니고...

 

가끔 새벽즈음에 bingbot 과다 유입으로 서버가 뻣어버리고 했는데요

 

물론 자주있는 현상은 아니지만

 

cafe24와 bingbot은 안맞나봅니다 cafe24에서도 디폴트가 bingbot차단으로 되어있으니... 뭔가 이유가있겠죠?

(bingbot차단이 디폴트기때문에 .htaccess로 bingbot 접근을 허용해줬었습니다)

 

서버 부하만 걸리니 버려야겠네요

 

어차피 bing으로 검색해서 오는사람도 거의없고..

댓글 작성

댓글을 작성하시려면 로그인이 필요합니다.

로그인하기

댓글 1개

빙봇 웹마스터 도구에서 크롤링 시간과 빈도를 변경할수 있습니다.
보통 웹페이지를 긁을때, 게시물이 많은 경우 100 페이지 이후 페이지는 못 긁어가도록 막는게 좋습니다.
(최신글 목록만 크롤링 하도록, 게시물을 1개씩 크롤링 하는것은 별문제 없음)

사용자가 많은 사이트도 100페이지 이후 목록 조회는 일반적이지 않는 상황이니, 성능을 고려해서 막는게 좋을수 있습니다.

게시글 목록

번호 제목
1717042
1717041
1717036
1717025
1717024
1717016
1717014
1717006
1717004
1716995
1716986
1716982
1716978
1716974
1716968
1716966
1716952
1716945
1716934
1716926
1716920
1716915
1716914
1716912
1716906
1716903
1716902
1716899
1716894
1716892