구글 크롤링 채택완료
윤대진
11개월 전
조회 1,293
robots.txt
에서
User-agent: *
Allow: /
User-agent: *
Disallow: /ssadm
윗부분 내용이 뭔지 아시는분 ?
댓글을 작성하려면 로그인이 필요합니다.
답변 3개
채택된 답변
+20 포인트
11개월 전
* : 모든 크롤러
Allow / ; root만 허용
""" User-agent: *
Disallow: /ssadm """ 이는 모든 크롤러에 대해, "/ssadm"는 제한.
※ 님이 제시하신 코드는 작동에 문제가 있음 (코드 순서)
</p>
<p>User-agent: *
Disallow: /ssadm
Allow: /</p>
<p>
로그인 후 평가할 수 있습니다
답변에 대한 댓글 8개
�
미니님a
11개월 전
�
윤대진
11개월 전
아 이렇게 변경 해야할까요??
구글 4xx
크롤링 실패 오류인데
ㅠㅠ 도와주세여
구글 4xx
크롤링 실패 오류인데
ㅠㅠ 도와주세여
�
윤대진
11개월 전
아 이렇게 변경 해야할까요??
구글 4xx
크롤링 실패 오류인데
ㅠㅠ 도와주세여
구글 4xx
크롤링 실패 오류인데
ㅠㅠ 도와주세여
�
윤대진
11개월 전
아 이렇게 변경 해야할까요??
구글 4xx
크롤링 실패 오류인데
ㅠㅠ 도와주세여
이렇게 변경하는게 좋을까요‘ㅠ
구글 4xx
크롤링 실패 오류인데
ㅠㅠ 도와주세여
이렇게 변경하는게 좋을까요‘ㅠ
g
glitter0gim
11개월 전
@미니님a
문제가 되어 보이기도 하군요 ㅠ ㅠ
문제가 되어 보이기도 하군요 ㅠ ㅠ
g
glitter0gim
11개월 전
@윤대진
민감한 디렉토리의 존재 자체를 노출하지 않으려면,
/ssadm 디렉토리를 robots.txt에서 언급하지 않는 것이 더 안전하긴 한데~
> 웹 서버에서 접근을 차단하거나 인증을 요구하도록 설정하세요~
"""/""" 추가[code]
User-agent: *
Disallow: /ssadm/
Allow: /
[/code]
> 현재 설정으로 검색 엔진이 설정해논 대로 작동하리란 보장이 없어요.
(- 법적인 강제성은 없어, 크롤러 내키는 대로~~ -)
민감 데이터가 포함된 디렉토리라면
서버 수준에서 추가적인 보안 조치를 취하실 것을 권장합니다.
민감한 디렉토리의 존재 자체를 노출하지 않으려면,
/ssadm 디렉토리를 robots.txt에서 언급하지 않는 것이 더 안전하긴 한데~
> 웹 서버에서 접근을 차단하거나 인증을 요구하도록 설정하세요~
"""/""" 추가[code]
User-agent: *
Disallow: /ssadm/
Allow: /
[/code]
> 현재 설정으로 검색 엔진이 설정해논 대로 작동하리란 보장이 없어요.
(- 법적인 강제성은 없어, 크롤러 내키는 대로~~ -)
민감 데이터가 포함된 디렉토리라면
서버 수준에서 추가적인 보안 조치를 취하실 것을 권장합니다.
�
윤대진
11개월 전
User-agent: *
Allow: /
User-agent: *
Disallow: /ssadm
현재 이렇게 설정이 되어 있는데,
이걸 전부 지우고
User-agent: *
Disallow: /ssadm
Allow: /
이렇게 변경하는 것이 좋으시단 말씀이시죵?
"""/""" 추가 <--- 이건뭔가요 ?
Allow: /
User-agent: *
Disallow: /ssadm
현재 이렇게 설정이 되어 있는데,
이걸 전부 지우고
User-agent: *
Disallow: /ssadm
Allow: /
이렇게 변경하는 것이 좋으시단 말씀이시죵?
"""/""" 추가 <--- 이건뭔가요 ?
g
glitter0gim
11개월 전
@윤대진
현재 설정으로 검색 엔진이 설정해논 대로 작동하리란 보장이 없어요.
(- 법적인 강제성은 없어, 크롤러 내키는 대로~~ -)
민감한 데이터가 포함된 디렉토리라면
서버 수준에서 추가적인 보안 조치를 취하실 것을 권장합니다.
꼭, 쓰셔야한다면 아래처럼 쓰세요.[code]
User-agent: *
Disallow: /ssadm/
Allow: /
[/code]
현재 설정으로 검색 엔진이 설정해논 대로 작동하리란 보장이 없어요.
(- 법적인 강제성은 없어, 크롤러 내키는 대로~~ -)
민감한 데이터가 포함된 디렉토리라면
서버 수준에서 추가적인 보안 조치를 취하실 것을 권장합니다.
꼭, 쓰셔야한다면 아래처럼 쓰세요.[code]
User-agent: *
Disallow: /ssadm/
Allow: /
[/code]
댓글을 작성하려면 로그인이 필요합니다.
댓글을 작성하려면 로그인이 필요합니다.
답변을 작성하려면 로그인이 필요합니다.
로그인
해당 폴더 차단 이후 전체 허용 글쎄요 ... 다른 규칙은 모르겠지만, 이건 크게 개의치 않을 것 같은데요?