테스트 사이트 - 개발 중인 베타 버전입니다

웹로봇 배제 표준

· 18년 전 · 1958
방법 1. 웹로봇 배제 표준(Robot Exclusion Standard)에 의한 방법

- 웹로봇의 수집과 검색노출을 원치 않는 경우, 우선 해당 웹페이지가 위치한 최상위 디렉토리에 아래의 내용이 포함된 robots.txt 파일을 저장하시기 바랍니다.
User-Agent:*
Disallow:/

만약 웹로봇이 방문한 이후에 robots.txt 의 로봇배제관련 표준이 적용되었다면, 검색결과에 적용되기까지는 다소 시간이 걸릴 수 있습니다. 자세한 로봇배제에 대한 표준은 www.robotstxt.org 를 통해 알 수 있습니다.

- 특정한 페이지에 대해 웹로봇의 색인이나 링크분석을 막고 싶은 때는 경우에 따라 아래와 같은 메타태그를 HTML 문서의 <HEAD> 부분에 추가하시면 됩니다.

웹페이지를 검색결과에 노출하고 싶지 않을 때
<META NAME="robots" CONTENT="noindex">


웹페이지 내에 포함된 링크를 따르는 수집도 막고 싶을 때 <META NAME="robots" CONTENT="noindex, nofollow"><div class='small'>[이 게시물은 관리자님에 의해 2011-10-31 17:16:08 PHP & HTML에서 이동 됨]</div>

댓글 작성

댓글을 작성하시려면 로그인이 필요합니다.

로그인하기

게시글 목록

번호 제목
24900
24899
24898
24897
24896
24895
24894
24893
24892
24891
24890
24889
24888
24887
24886
11687
24885
24884
24883
24882
24881
24879
24878
24877
24875
24874
24873
24872
24871
11683
11662
11659
29136
11647
11644
11641
11634
11632
29135
11631
11628
24870
24869
24868
24867
24866
24865
24864
24863
24862
24861
24860
11627
24859
24858
24856
24855
24854
24853
24852
29130
11625
11622
11617
11604
11596
11591
11586
29128
11583
11579
11578
11574
11566
11565
11562
11561
29125
11558
11556
11533
11529
29118
11526
11519
29115
11518
11516
11515
11509
11508
29112
11496
29109
29106
11495
11488
11486
11483
11471