테스트 사이트 - 개발 중인 베타 버전입니다

웹로봇 배제 표준

방법 1. 웹로봇 배제 표준(Robot Exclusion Standard)에 의한 방법

- 웹로봇의 수집과 검색노출을 원치 않는 경우, 우선 해당 웹페이지가 위치한 최상위 디렉토리에 아래의 내용이 포함된 robots.txt 파일을 저장하시기 바랍니다.
User-Agent:*
Disallow:/

만약 웹로봇이 방문한 이후에 robots.txt 의 로봇배제관련 표준이 적용되었다면, 검색결과에 적용되기까지는 다소 시간이 걸릴 수 있습니다. 자세한 로봇배제에 대한 표준은 www.robotstxt.org 를 통해 알 수 있습니다.

- 특정한 페이지에 대해 웹로봇의 색인이나 링크분석을 막고 싶은 때는 경우에 따라 아래와 같은 메타태그를 HTML 문서의 <HEAD> 부분에 추가하시면 됩니다.

웹페이지를 검색결과에 노출하고 싶지 않을 때
<META NAME="robots" CONTENT="noindex">


웹페이지 내에 포함된 링크를 따르는 수집도 막고 싶을 때 <META NAME="robots" CONTENT="noindex, nofollow"><div class='small'>[이 게시물은 관리자님에 의해 2011-10-31 17:16:08 PHP & HTML에서 이동 됨]</div>

댓글 작성

댓글을 작성하시려면 로그인이 필요합니다.

로그인하기

게시글 목록

번호 제목
9921
28612
28611
28605
9920
JavaScript Samba 설정
9916
9915
28596
9906
28572
HTML if 23
28564
9898
24744
24742
24741
24736
28558
9896
9893
9892
9891
9890
28557
9889
9888
9887
9885
9884
28555
9883
9881
9880
9879
9878
9877
9876
9873
9871
9864
9840
9836
9834
9832
9830
9828
9826
9797
9754
9709
9686
9646
9634
9617
9615
9613
28553
9611
9607
24726
24725
24721
9569
9567
9550
9531
9527
28550
9493
9479
9431
9418
9372
9331
9267
9216
9215
9214
28549
28548
9213
28543
9211
9210
9208
24718
24706
24702
24701
24698
24695
9202
28540
24688
9194
24679
24674
24670
9193
9191
9190