테스트 사이트 - 개발 중인 베타 버전입니다

외부 로봇이 사이트에 있는 문서 퍼가게 하기 robots.txt

외부 로봇이 운영중인 사이트에 대해 문서를 원활이 퍼갈 수 있게 설정해야 합니다.

이유는 커뮤니티 사이트를 운영하는데... 구글이나 네이버 등에서 사이트에 문서를 퍼가지 못한다면

포털사이트에 검색이 되지 않을 것입니다.

그누보드로 사이트를 만들었는데...특별한 홍보 활동도 하지 않고 사이트에 방문자가 늘어나갈 기도한다면

이루어질 수 없을 것입니다.

홈디렉터리에 robots.txt 라는 파일을 만들고

그 안에

User-agent: *
Disallow:

위 와 같은 문자열을 넣어주면 됩니다.

댓글 작성

댓글을 작성하시려면 로그인이 필요합니다.

로그인하기

댓글 4개

???

이거 아닌가요?
User-agent: *
Allow: /

님이 알려주신건허용을 모두 안하겠다는줄 알았는데....
User-agent: *
Disallow:
전체 웹사아트를 검색엔진이 색인하도록 허용하고자 할 때에는 다음과 같이 robots.txt 파일을 추가합니다.
User-agent: *
Disallow:
또 다른 해결 방법으로는 단순하게 robots.txt를 사이트로부터 제거 하는 것입니다.

검색엔진에서 사이트를 삭제하고 향후 어떤 검색봇도 접근하지 못하게 하려면 robots.txt 파일에 다음 내용을 추가합니다.
User-agent: *
Disallow: /

https://korea.googleblog.com/2008/04/robotstxt.html
https://support.google.com/webmasters/answer/6062596?hl=ko&ref_topic=6061961
아래 주소에서 3번글 참조하세요!

http://webmastertool.naver.com/guide/basic_optimize.naver


3. 네이버 검색로봇이 사이트에 접근할 수 있도록 허용해주세요

사이트의 문서에 네이버 검색로봇의 접근이 가능하게 하려면, robots.txt를 아래처럼 설정하세요.
(예) 네이버 검색로봇만 접근 가능하게 설정
User-agent: Yeti
Allow: /

(예) 모든 검색엔진의 로봇에 대하여 접근 가능하게 설정
User-agent: *
Allow: /

여러분의 웹 서버 혹은 방화벽에서 네이버 검색로봇의 접근을 허용해주세요. 네이버 검색로봇의 이름(User-Agent)은 Yeti 입니다.
Mozilla/5.0 (compatible; Yeti/1.1; +http://help.naver.com/support/robots.html)

부득이하게 검색 로봇을 차단해야 하는 경우 IP 기반으로 차단하지 마세요. 검색 로봇의 IP 대역은 언제든지 변경될 수 있습니다. 검색 로봇의 접근 제어는 표준적인 방식인 robots.txt를 활용하세요.
홈디렉토리 정확히 어디인가요 ? 완전초보입니다.

게시판 목록

그누보드5 팁자료실

글쓰기