답변 4개
채택된 답변
+20 포인트
11년 전
제가 아는 선에서..
크롤링은 권한이 없는 회원과 같은 등급(?)으로 알고 있습니다.(비회원 = 써치 로봇)
그러니 본문내용을 비회원이 볼수 없다면 크롤링도 마찬가지가 아닐지..
로그인 후 평가할 수 있습니다
답변에 대한 댓글 1개
�
써맨
11년 전
댓글을 작성하려면 로그인이 필요합니다.
답변에 대한 댓글 1개
�
써맨
11년 전
특정 id만 통과하게 테스트 해 보고 검색로봇 크롤링 흔적과 노출여부를 지금 모니터링 중입니다.
팁으로 올리기에 적당할 지, 사용하실 분이 있을지도 의문이 드네요.^^
더 확인 해 보고 팁에 올릴지 여부를 생각해 보려 합니다.
팁으로 올리기에 적당할 지, 사용하실 분이 있을지도 의문이 드네요.^^
더 확인 해 보고 팁에 올릴지 여부를 생각해 보려 합니다.
댓글을 작성하려면 로그인이 필요합니다.
답변에 대한 댓글 1개
�
써맨
11년 전
감사합니다.
말씀하신대로 user_agent를 체크해서 browser가 Robot인 것만 pass하게 하고 테스트를 해 보니 잘 되는 듯 싶습니다.
결국 bbs/board.php를 손을 대고 말았습니다. 가능하면 원본을 건드리지 않으려고 했는데 어쩔 수가 없더군요.
말씀하신대로 user_agent를 체크해서 browser가 Robot인 것만 pass하게 하고 테스트를 해 보니 잘 되는 듯 싶습니다.
결국 bbs/board.php를 손을 대고 말았습니다. 가능하면 원본을 건드리지 않으려고 했는데 어쩔 수가 없더군요.
댓글을 작성하려면 로그인이 필요합니다.
11년 전
저도 제가 아는 선에서..
목록보기 권한 1에 비밀글을 제외한 글 들이 검색되는 거로 봐서 게시글을 읽을 수 없으면 긁어가지 못하는 것 같습니다
로그인 후 평가할 수 있습니다
답변에 대한 댓글 2개
�
써맨
11년 전
답변 감사합니다.
다시한번 검토를 해 봐야 겠군요.^^
다시한번 검토를 해 봐야 겠군요.^^
�
써맨
11년 전
만일 로봇만 특정 게시판을 크롤링하게 하려고 한다면
robot.txt를 사용해야 할지 아니면 user_agent를 체크하여 robot일 경우에만
크롤링을 허용하게 하도록 해야 하는지 궁금합니다.
로봇에게만 본문 크롤링을 허용하려고 할 경우입니다.^^
robot.txt를 사용해야 할지 아니면 user_agent를 체크하여 robot일 경우에만
크롤링을 허용하게 하도록 해야 하는지 궁금합니다.
로봇에게만 본문 크롤링을 허용하려고 할 경우입니다.^^
댓글을 작성하려면 로그인이 필요합니다.
답변을 작성하려면 로그인이 필요합니다.
로그인
예상 했던대로 본문을 크롤링을 하지 못 하는가 보군요.