테스트 사이트 - 개발 중인 베타 버전입니다

robot.txt 로봇 허용, 차단 관련 질문드립니다 채택완료

KillTraffic 6년 전 조회 3,400

User-agent: * Disallow: /

 

User-agent: Googlebot Allow: /

 

User-agent: Googlebot-Mobile Allow: /

 

User-agent: Mediapartners-Google Allow: /

 

User-agent: AdsBot-Naver Allow: /

 

User-agent: cowbot Allow: /

 

User-agent: Naverbot Allow: /

 

User-agent: Yeti Allow: /

 

User-agent: ZumBot Allow: /

 

User-agent: bingbot Allow: /

 

Disallow: /adm/

 

 

robot.txt 관련 여러 글들을 찾으면서 만들어봤는데..

 

다른 로봇들은 다 차단하고, 구글봇 3개, 네이버봇 4개, 줌봇, 빙봇. 이렇게만 허용하고 adm 폴더는 로봇의 접근을 차단하는게 위에 제가 적어놓은 내용이 맞는지 궁금합니다.

댓글을 작성하려면 로그인이 필요합니다.

답변 1개

채택된 답변
+20 포인트

allow는 하나만 있으면 되요

로그인 후 평가할 수 있습니다

댓글을 작성하려면 로그인이 필요합니다.

답변을 작성하려면 로그인이 필요합니다.

로그인