로봇자동수집이 가능하게 이 파일올려보세요 채택완료
김철용
9년 전
조회 3,288
다들 아시겠지만 구글이나 네이버에서 로봇으로 웹페이지를 수집하는데요
수집이 가능하게 아래 파일을 root 폴더에 올려보세요.제가 이것을 늦게 알아서 말입니다.
해보니까 구글의 경우 1-2일 사이에 웹페이지 노출 빈도가 확늘어나는것을 느낍니다
User-agent: *
Allow: /
.txt 파일로 만들어 서버 index.html 또는 index.php와 같은 위치에 올리면 됩니다.
메모장으로 만들면됩니다.
댓글을 작성하려면 로그인이 필요합니다.
답변 2개
채택된 답변
+20 포인트
9년 전
텍스트로 하셔도 되고 메타에 추가하셔도 됩니다.
반대로 하면 검색엔진 차단이구요.
상세는 아래 참고하세요.
<a href="http://www.robotstxt.org/meta.html" target="_blank" rel="noopener noreferrer">http://www.robotstxt.org/meta.html</a>
반대로 하면 검색엔진 차단이구요.
상세는 아래 참고하세요.
<a href="http://www.robotstxt.org/meta.html" target="_blank" rel="noopener noreferrer">http://www.robotstxt.org/meta.html</a>
로그인 후 평가할 수 있습니다
댓글을 작성하려면 로그인이 필요합니다.
답변을 작성하려면 로그인이 필요합니다.
로그인