구글봇 대응 어찌 해야 할까요 ? 서버 트래픽이 엄청나서... 채택완료
구글 봇이 제 서버에 너무 많은 트래픽 과다하여...
차단은 하면 노출이 안돼니 일단 늦게 와라 하고 속도를 늦췄는데..
문제는 이놈이 3개월에 한 번 씩 계속 해야 하는 번거러움 때문에..
방법이 없을까요..
글을 너무 많이 파싱해서 그런가 엄청나게 CPU 부하가 심각하네요..
그래도 아예 안퍼가는건 아닌거 같은데..
우선 늦게 퍼가세요..하고 정중하게 구글봇한테 말했으니..
이제 3개월간 잠잠하겠네요..
근데 매번 해야 하니 귀찮...ㅠㅠ
답변 6개
여기가 QA공간은 아니지만, 얘기나온김에 간단하게 코드를 만들어봤습니다.
</p>
<pre>
<code>if (preg_match('/apple|baidu|bingbot|facebookexternalhit|googlebot|-google|ia_archiver|msnbot|naverbot|pingdom|seznambot|slurp|teoma|twitter|yandex|yeti/i', $_SERVER['HTTP_USER_AGENT'])) {
//봇이라면,,,
if($bo_table && $page > 100) { //게시판이고, 100페이지 이후를 색인 요청하는 경우, 요청을 무시
exit;
}
}</code></pre>
<p>답변에 대한 댓글 1개
댓글을 작성하려면 로그인이 필요합니다.
kkama9https://www.lesstif.com/pages/viewpage.action?pageId=43843899">https://www.lesstif.com/pages/viewpage.action?pageId=43843899 이방식은 어떨까요? 주기안에 과도한 요청이 등어온다면 잘라줍니다.
댓글을 작성하려면 로그인이 필요합니다.
댓글을 작성하려면 로그인이 필요합니다.
답변에 대한 댓글 1개
if(user-agent==googlebot) {
if(page > 100 이면) {
exit;
}
}
이러면 될려나..
댓글을 작성하려면 로그인이 필요합니다.
제 경험상 구글봇이 사이트에 부하를 주는 경우는
게시판에 글이 많은 경우, 뒷페이지를 색인할때 입니다.
봇인 경우, 최근 등록된 글만 열심히 색인 하도록 하면 됩니다.
User-Agent 가 Googlebot 인 경우, page=100 이상인 경우, exit 하시면 될것 같네요.
대략적인 코드(common.php 상단이 좋을듯)
if(user-agent가 구글봇이면) {
if(page > 100 이면) {
exit;
}
}
답변에 대한 댓글 1개
댓글을 작성하려면 로그인이 필요합니다.
https://support.google.com/webmasters/answer/6062596?hl=ko">https://support.google.com/webmasters/answer/6062596?hl=ko
이 공식 문서 참고 하시여 모든 페이지 크롤링을 막아 보심이 좋을 듯 합니다.
헌데 봇 자체가 트래픽을 과다하게 내진 않을텐데요...
구글 검색을 타고 들어오는 다른 불미스러운 트래픽이 있는지 확인 해 보셔야 할 듯 합니다.
답변에 대한 댓글 1개
댓글을 작성하려면 로그인이 필요합니다.
답변을 작성하려면 로그인이 필요합니다.
로그인
