테스트 사이트 - 개발 중인 베타 버전입니다

남들은 googlebot막으려하는데.. 전 안읽어가서 난리입니다.ㅠㅠㅠ

· 13년 전 · 2427 · 6
웹마스터도구에서 사이트 등록해주고, 크롤러 액세스에서 robots 등록해줬는데..

Googlebot 차단 사이트 라고 해서 url 뜨고, sitemaps에서 생성한 xml파일 업로드
시켜주니.. robots.txt에 의해 제한된 URL 이라고 나오고...

검색해서 찾아보니 robots.txt의 제한에 의해서 그런거 같다고 해서.. 전체 허용해줬는데도
마찬지네요~

이를 어째야할까요~

댓글 작성

댓글을 작성하시려면 로그인이 필요합니다.

로그인하기

댓글 6개

13년 전
일단 robots.txt 올려주시고,
서버측에서 차단되어 있을 수도 있으니 웹호스팅 사용중이시면 호스팅사에 문의해보세요.
13년 전
# robots.txt generated at http://www.mcanerin.com
User-agent: Googlebot
Disallow:
User-agent: *
Disallow:
Disallow: /_newadmin/
Disallow: /grmanager/
Disallow: /common_lib/
Disallow: /include/
Allow : /grkorea_chaga/

robots.txt 이고요~ 그리고 지금 다른 사이트는 google에 노출되고 있으니 호스팅사의 문제는 아닌거 같아요~
13년 전
웹마스터 도구에서 robots.txt 만들어본건데 한번 해보세요.

User-agent: *
Disallow: /_newadmin/
Disallow: /grmanager/
Disallow: /common_lib/
Disallow: /include/
Allow: /grkorea_chaga/
Allow: /
13년 전
감사해요~ 오늘 출근하자마자 적용시킨 다음에 조금 전에봤는데..
일단 차단된 사이트에서는 벗어났지만..

?User-agent: * 식별할 수 없는 구문입니다.
Disallow: /_newadmin/ User-agent를 지정하지 않았습니다.

이런 오류가 또 나오고 있네요;
13년 전
앞에 ?는 뭔가요
13년 전
저도 모르겠어요~ robots.txt에는 ?가 포함되있지 않은데...

오류상에서 ?user-agent: * 이렇게 나오네요..;;;

게시글 목록

번호 제목
1717252
1717247
1717243
1717237
1717225
1717214
1717208
1717203
1717189
1717183
1717177
1717172
1717163
1717162
1717156
1717154
1717153
1717141
1717140
1717138
1717113
1717111
1717105
1717099
1717085
1717076
1717072
1717065
1717062
1717050