robots.txt 크롤링 허용 범위 항목 리스트 좀 알려주세요!! 채택완료
재미니다
1년 전
조회 2,036
안녕하세요 현재는 크롤링 시 아무 제한없이 모든 폴더 및 파일에 접근하여 읽고 정보를 긁어 갈 수 있습니다.
그렇다보니 플러그인 인덱스 파일등이 포탈에 노출되고 있어서 보안상 안 좋을 것 같아 수정을 해보려고 합니다.
그누보드+영카트 기반일 경우 시스템 파일이 아닌, 컨텐츠의 문서와 이미지만 크롤링 가능하도록 하고싶은데요
어떤 경로 및 파일들을 차단하고 또 어떤 파일들을 허용하면 될까요?
무조건 차단해야 하는 경로와 파일들이 있다면 알려주셔요!!
댓글을 작성하려면 로그인이 필요합니다.
답변 1개
채택된 답변
+20 포인트
1년 전
User-agent: * Disallow: /bbs/confirm.php Disallow: /shop/ Disallow: /plugin/ Disallow: /shop/orderinquiry.php Disallow: /bbs/password_lost.php Disallow: /plugin/kcaptcha/ Disallow: /bbs/helper.php?act=map Disallow: /plugin/apms/js/ Disallow: /bbs/search.php Disallow: /plugin/apms/bxSlider/plugins/ Disallow: /bbs/alert_close.php
이런식으로 설정 하면 될 것입니다.
로그인 후 평가할 수 있습니다
답변에 대한 댓글 1개
�
재미니다
1년 전
댓글을 작성하려면 로그인이 필요합니다.
답변을 작성하려면 로그인이 필요합니다.
로그인
알려주신 리스트대로 적용해보겠습니다!