robots.txt 가 존재하지 않습니다. 채택완료
안녕하세요
네이버 웹마스터 도구 이용하여 사이트 등록중인데요
robots.txt 가 존재하지 않습니다. 라고 뜨는데요
robots.txt 해당 파일을
User-agent: *
Allow: /
FTP 접속해서
/www/robots.txt <- 여기에 넣어도 안돼고
/www/theme/thema/robots.txt <- 여기에 넣어도 안됩니다.
제가 경로를 잘못입력한걸까요? 아니면 어떤 문제가 이있는걸까요?
조언 부탁드립니다. ㅜㅜ
그리고 지금 네이버, 다음, 구글 등에서 사이트 검색이 될수있게하려고 작업중인데
네이버 웹마스터 등록하고, 구글웹마스터 등록하고, 다음사이트등록하면 정상적으로 검색이 잘될수있을까요?
답변 3개
루트 위치에 넣으셔야되요
그리고 내용도 잘 살펴서 해야되요 즉 로봇은 크롤링해서 다 주소를 얻는거라서
어드민이나 민감한 게시판은 예외를 해서 넣으셔야되요
제가 티스토리 블로그 검색노출 을 예시로 한다면 이렇게 하신게 좋아요
https://memomee.tistory.com/455
여기서 전부다 똑같이 하는건 아니구요 어드민이랑 검색 노출 안하는것만 disallow 에 넣어주세요
그리고 사이트 맵이랑 rss 노출 하면 되구요 중요한게 사이트맵이니까 rss 안하신다면 최소한 사이트맵을 노출해야되요
답변에 대한 댓글 2개
문의게시판은 당연히 제외를 해야죠
어드민은 꼭 넣으세요 이게 제일 중요한거라서요
봇이 의외로 많은걸 긁어가요~ 그리고 중국발 해킹도 많아요 제가 운영중인것만해도 몇가지 털릴뻔한게 한두가지라 아니라서.. 웹킷, xss 등 잔잔한 방법으로 막 시도하려는 흔적들이 많아요
별 볼거 없는 홈피들도 먹잇감 대상이에요..
댓글을 작성하려면 로그인이 필요합니다.
robots.txt의 실제 역활은 제외시키는 역활입니다.
디폴트가 허용이기 때문이죠.
즉, 없으면 허용과 동일하기 때문에 허용이 목적이라면 없어도 됩니다.
답변에 대한 댓글 1개
특정 사이트에서 못긁어가게 하기위해서 쓰는 기능이라는 말씀이신거죠?
이렇게 하나 또 배워갑니다 감사합니다^^
댓글을 작성하려면 로그인이 필요합니다.
답변을 작성하려면 로그인이 필요합니다.
로그인
민감한정보는 없어서 사실 다털려도 괜찮긴한데
어드민 긁어가면 문제되는 부분이 혹시 있을까요?
문의게시판 있는데 거기에 문의하는사람 이름 연락처 이메일 등등이 들어가긴 하네요