웹로봇 배제 표준
방법 1. 웹로봇 배제 표준(Robot Exclusion Standard)에 의한 방법
- 웹로봇의 수집과 검색노출을 원치 않는 경우, 우선 해당 웹페이지가 위치한 최상위 디렉토리에 아래의 내용이 포함된 robots.txt 파일을 저장하시기 바랍니다.
User-Agent:*
Disallow:/
만약 웹로봇이 방문한 이후에 robots.txt 의 로봇배제관련 표준이 적용되었다면, 검색결과에 적용되기까지는 다소 시간이 걸릴 수 있습니다. 자세한 로봇배제에 대한 표준은 www.robotstxt.org 를 통해 알 수 있습니다.
- 특정한 페이지에 대해 웹로봇의 색인이나 링크분석을 막고 싶은 때는 경우에 따라 아래와 같은 메타태그를 HTML 문서의 <HEAD> 부분에 추가하시면 됩니다.
웹페이지를 검색결과에 노출하고 싶지 않을 때
<META NAME="robots" CONTENT="noindex">
웹페이지 내에 포함된 링크를 따르는 수집도 막고 싶을 때 <META NAME="robots" CONTENT="noindex, nofollow"><div class='small'>[이 게시물은 관리자님에 의해 2011-10-31 17:16:08 PHP & HTML에서 이동 됨]</div>
- 웹로봇의 수집과 검색노출을 원치 않는 경우, 우선 해당 웹페이지가 위치한 최상위 디렉토리에 아래의 내용이 포함된 robots.txt 파일을 저장하시기 바랍니다.
User-Agent:*
Disallow:/
만약 웹로봇이 방문한 이후에 robots.txt 의 로봇배제관련 표준이 적용되었다면, 검색결과에 적용되기까지는 다소 시간이 걸릴 수 있습니다. 자세한 로봇배제에 대한 표준은 www.robotstxt.org 를 통해 알 수 있습니다.
- 특정한 페이지에 대해 웹로봇의 색인이나 링크분석을 막고 싶은 때는 경우에 따라 아래와 같은 메타태그를 HTML 문서의 <HEAD> 부분에 추가하시면 됩니다.
웹페이지를 검색결과에 노출하고 싶지 않을 때
<META NAME="robots" CONTENT="noindex">
웹페이지 내에 포함된 링크를 따르는 수집도 막고 싶을 때 <META NAME="robots" CONTENT="noindex, nofollow"><div class='small'>[이 게시물은 관리자님에 의해 2011-10-31 17:16:08 PHP & HTML에서 이동 됨]</div>
게시판 목록
퍼블리셔팁
퍼블리싱과 관련된 유용한 정보를 공유하세요.
질문은 상단의 QA에서 해주시기 바랍니다.
질문은 상단의 QA에서 해주시기 바랍니다.
| 번호 | 분류 | 제목 | 글쓴이 | 날짜 | 조회 |
|---|---|---|---|---|---|
| 197 | JavaScript | 18년 전 | 5212 | ||
| 196 | HTML | 18년 전 | 3807 | ||
| 195 | 기타 |
 친절한서기 |
18년 전 | 6289 | |
| 194 | HTML | 18년 전 | 4101 | ||
| 193 | HTML | 18년 전 | 4921 | ||
| 192 | HTML | 18년 전 | 3936 | ||
| 191 | HTML | 18년 전 | 4473 | ||
| 190 | HTML | 18년 전 | 7324 | ||
| 189 | HTML | 18년 전 | 2872 | ||
| 188 | HTML | 18년 전 | 3376 | ||
| 187 | HTML | 18년 전 | 3301 | ||
| 186 | HTML | 18년 전 | 2976 | ||
| 185 | HTML | 18년 전 | 5464 | ||
| 184 | HTML | 18년 전 | 3360 | ||
| 183 | HTML | 18년 전 | 5338 | ||
| 182 | JavaScript | 18년 전 | 4040 | ||
| 181 | HTML | 18년 전 | 3111 | ||
| 180 | HTML | 18년 전 | 3153 | ||
| 179 | HTML | 18년 전 | 3167 | ||
| 178 | HTML | 18년 전 | 3262 | ||
| 177 | HTML | 18년 전 | 3190 | ||
| 176 | HTML | 18년 전 | 4433 | ||
| 175 | HTML | 18년 전 | 3008 | ||
| 174 | HTML | 18년 전 | 3037 | ||
| 173 | HTML | 18년 전 | 3050 | ||
| 172 | HTML | 18년 전 | 3463 | ||
| 171 | HTML | 18년 전 | 4106 | ||
| 170 | HTML | 18년 전 | 3214 | ||
| 169 | HTML | 18년 전 | 3404 | ||
| 168 | HTML | 18년 전 | 3210 |
댓글 작성
댓글을 작성하시려면 로그인이 필요합니다.
로그인하기