테스트 사이트 - 개발 중인 베타 버전입니다

남들은 googlebot막으려하는데.. 전 안읽어가서 난리입니다.ㅠㅠㅠ

· 13년 전 · 2428 · 6
웹마스터도구에서 사이트 등록해주고, 크롤러 액세스에서 robots 등록해줬는데..

Googlebot 차단 사이트 라고 해서 url 뜨고, sitemaps에서 생성한 xml파일 업로드
시켜주니.. robots.txt에 의해 제한된 URL 이라고 나오고...

검색해서 찾아보니 robots.txt의 제한에 의해서 그런거 같다고 해서.. 전체 허용해줬는데도
마찬지네요~

이를 어째야할까요~

댓글 작성

댓글을 작성하시려면 로그인이 필요합니다.

로그인하기

댓글 6개

13년 전
일단 robots.txt 올려주시고,
서버측에서 차단되어 있을 수도 있으니 웹호스팅 사용중이시면 호스팅사에 문의해보세요.
13년 전
# robots.txt generated at http://www.mcanerin.com
User-agent: Googlebot
Disallow:
User-agent: *
Disallow:
Disallow: /_newadmin/
Disallow: /grmanager/
Disallow: /common_lib/
Disallow: /include/
Allow : /grkorea_chaga/

robots.txt 이고요~ 그리고 지금 다른 사이트는 google에 노출되고 있으니 호스팅사의 문제는 아닌거 같아요~
13년 전
웹마스터 도구에서 robots.txt 만들어본건데 한번 해보세요.

User-agent: *
Disallow: /_newadmin/
Disallow: /grmanager/
Disallow: /common_lib/
Disallow: /include/
Allow: /grkorea_chaga/
Allow: /
13년 전
감사해요~ 오늘 출근하자마자 적용시킨 다음에 조금 전에봤는데..
일단 차단된 사이트에서는 벗어났지만..

?User-agent: * 식별할 수 없는 구문입니다.
Disallow: /_newadmin/ User-agent를 지정하지 않았습니다.

이런 오류가 또 나오고 있네요;
13년 전
앞에 ?는 뭔가요
13년 전
저도 모르겠어요~ robots.txt에는 ?가 포함되있지 않은데...

오류상에서 ?user-agent: * 이렇게 나오네요..;;;

게시글 목록

번호 제목
1717042
1717041
1717036
1717025
1717024
1717016
1717014
1717006
1717004
1716995
1716986
1716982
1716978
1716974
1716968
1716966
1716952
1716945
1716934
1716926
1716920
1716915
1716914
1716912
1716906
1716903
1716902
1716899
1716894
1716892