robots.txt 좀 봐주세요. 채택완료
안녕하세요. 홈페이지에 robots.txt를 설정 했는데 맞게 했는지만 봐주세요.
특정 게시판만 모든 로봇의 방문을 막고 싶습니다.
아래와 같이 하면 될까요?
수고하세요. 그리고 감사합니다.
User-agent: * Disallow: / Disallow: g5/bbs/board.php?bo_table=특정게시판명
User-agent: NaverBot Allow: /
User-agent: Yeti Allow: /
User-agent: Googlebot Allow: /
User-agent: Daum Allow: /
User-agent: Daumoa Allow: /
답변 2개
답변에 대한 댓글 1개
댓글을 작성하려면 로그인이 필요합니다.
다시 정리하면..
public_html/g5
이렇게 폴더를 만들어서 그누보드를 설치 했습니다.
처음엔 특정 게시판만 로봇차단을 하려고 했는데.
결론적으로 그냥 g5폴더 전체에 대해 로봇차단을 하려고 합니다.
그외 다른 곳은 로봇이 잘 들어와야 하구요.
위와 같이 했을시 아래와 같이 하면 될까요? 아니면 좀더 간편하게나? 더 보강할 내용이 있을까요?
User-agent: * Disallow: / Disallow: /g5/
User-agent: NaverBot Allow: /
User-agent: Yeti Allow: /
User-agent: Googlebot Allow: /
User-agent: Daum Allow: /
User-agent: Daumoa Allow: /
답변에 대한 댓글 1개
Disallow: /g5/
이렇게 하시고요
전체 차단 방법은.
<?php
$_SERVER['HTTP_USER_AGENT'] = '로봇 user agent';
echo 'Robots are not allowed.';
?>
또는
javascript 로 페이지를 로드한다거나..
등등 방법이 있겠죠?
클라우드플레어를 이용하시면
page rules 를 추가하셔서
example.com/g5/*
security level i'm under attack 으로 설정하셔도 되고요
댓글을 작성하려면 로그인이 필요합니다.
답변을 작성하려면 로그인이 필요합니다.
로그인
부탁드립니다
그리고 폴더 맞습니다