답변 2개
채택된 답변
+20 포인트
9개월 전
robots.txt 파일을 통해 특정 게시판이나
전체 웹사이트를 검색 엔진의 크롤링에서 제외할 수는 있지만,
이것이 완벽하게 크롤링을 차단하는 방법은 아닙니다.
＊robots.txt로 검색 엔진의 크롤링 요청을 우선 막습니다.
＊서버 레벨에서 User-Agent와 IP 차단 규칙을 추가.
＊중요한 데이터는 HTTP 인증이나 로그인으로 보호.
＊메타 태그와 JavaScript 난독화를 보조적으로 사용.
"절대적으로 불가능"하게 만드는 것은 어렵기 때문에
보안과 프라이버시 수준에 따라 여러 계층의 방어를 조합하는 것이 최선입니다.
Ps) 악성 크롤러는
robots.txt 파일을 무시하거나 이를 우회하여 웹사이트를 크롤링할 가능성이 높습니다.
robots.txt는 기본적으로 크롤러에게 크롤링을 자제하라는 요청일 뿐
강제성을 가지지 않기 때문에 악성 크롤러에게는 무력합니다.
로그인 후 평가할 수 있습니다
댓글을 작성하려면 로그인이 필요합니다.
답변을 작성하려면 로그인이 필요합니다.
로그인