robots.txt 질문입니다. 채택완료
이리저리 알아봐서 아래와 같이 사이트(일반 사이트입니다)에 적용했는데. 잘못 했는지 로봇이 차단되어 크롤링도 안되네요. 뭘 잘못 한건가요? User-agent: Googlebot User-agent: Yeti User-agent : DAUM User-agent: Bingbot User-agent: AhrefsBot User-agent: SemrushBot Disallow: /admin/ Disallow: /mypage/ User-agent: * Disallow: /
댓글을 작성하려면 로그인이 필요합니다.
답변 2개
채택된 답변
+20 포인트
1년 전
안녕하세요.
아래의 내용도 한번 참고를 해보세요~
</p>
<p>User-agent: Googlebot
Disallow: /admin/
Disallow: /mypage/</p>
<p> </p>
<p>User-agent: Yeti
Disallow: /admin/
Disallow: /mypage/</p>
<p> </p>
<p>User-agent: DAUM
Disallow: /admin/
Disallow: /mypage/</p>
<p> </p>
<p>User-agent: Bingbot
Disallow: /admin/
Disallow: /mypage/</p>
<p> </p>
<p>User-agent: AhrefsBot
Disallow: /admin/
Disallow: /mypage/</p>
<p> </p>
<p>User-agent: SemrushBot
Disallow: /admin/
Disallow: /mypage/</p>
<p> </p>
<p>User-agent: *
Disallow: /
</p>
<p>
이 설정으로, Googlebot, Yeti, DAUM, Bingbot, AhrefsBot, SemrushBot는 /admin/과 /mypage/를 제외한 사이트의 모든 부분에 접근할 수 있으며, 그 외의 모든 크롤러는 사이트 전체에서 차단됩니다.
로그인 후 평가할 수 있습니다
답변에 대한 댓글 1개
�
1년 전
댓글을 작성하려면 로그인이 필요합니다.
devdev1년 전
User-agent: * Allow: /
Disallow: /admin/ Disallow: /mypage/
이렇게 바꿔보세요
로그인 후 평가할 수 있습니다
답변에 대한 댓글 1개
댓글을 작성하려면 로그인이 필요합니다.
답변을 작성하려면 로그인이 필요합니다.
로그인전체 질문 목록
답변대기
답변대기
답변대기
답변대기
답변대기
답변대기
답변대기
답변대기
채택
답변대기
답변대기
답변대기
답변대기
채택
채택
답변대기
답변대기
답변대기
채택
문법이란게 따로 있나 보네요.
전 제가 쓴것과 동일하다고 생각했는데...말입니다.
문장이 아주 길어지긴 했는데 그래도 작동하니..좋네요. ^^
그럼 좋은 하루 되세요.