robots.txt 질문입니다. 채택완료
호텔천사
1년 전
조회 1,238
이리저리 알아봐서 아래와 같이 사이트(일반 사이트입니다)에 적용했는데. 잘못 했는지 로봇이 차단되어 크롤링도 안되네요. 뭘 잘못 한건가요? User-agent: Googlebot User-agent: Yeti User-agent : DAUM User-agent: Bingbot User-agent: AhrefsBot User-agent: SemrushBot Disallow: /admin/ Disallow: /mypage/ User-agent: * Disallow: /
댓글을 작성하려면 로그인이 필요합니다.
답변 2개
채택된 답변
+20 포인트
1년 전
안녕하세요.
아래의 내용도 한번 참고를 해보세요~
</p>
<p>User-agent: Googlebot
Disallow: /admin/
Disallow: /mypage/</p>
<p> </p>
<p>User-agent: Yeti
Disallow: /admin/
Disallow: /mypage/</p>
<p> </p>
<p>User-agent: DAUM
Disallow: /admin/
Disallow: /mypage/</p>
<p> </p>
<p>User-agent: Bingbot
Disallow: /admin/
Disallow: /mypage/</p>
<p> </p>
<p>User-agent: AhrefsBot
Disallow: /admin/
Disallow: /mypage/</p>
<p> </p>
<p>User-agent: SemrushBot
Disallow: /admin/
Disallow: /mypage/</p>
<p> </p>
<p>User-agent: *
Disallow: /
</p>
<p>
이 설정으로, Googlebot, Yeti, DAUM, Bingbot, AhrefsBot, SemrushBot는 /admin/과 /mypage/를 제외한 사이트의 모든 부분에 접근할 수 있으며, 그 외의 모든 크롤러는 사이트 전체에서 차단됩니다.
로그인 후 평가할 수 있습니다
답변에 대한 댓글 1개
�
호텔천사
1년 전
댓글을 작성하려면 로그인이 필요합니다.
답변을 작성하려면 로그인이 필요합니다.
로그인
문법이란게 따로 있나 보네요.
전 제가 쓴것과 동일하다고 생각했는데...말입니다.
문장이 아주 길어지긴 했는데 그래도 작동하니..좋네요. ^^
그럼 좋은 하루 되세요.