검색봇 자료 공유합니다 정보
검색봇 자료 공유합니다본문
seo 최적화 플러그인 제작하면서, 사용한 검색 bot(bots) 자료 입니다
그외 검색봇 정보를 댓글로 남겨주실 냑 회원님 미리 감사합니다
$default_bots = array(
// Allow
['bingbot', 'Allow', '/', '1', 'Microsoft Bing/빙'],
['Daum', 'Allow', '/', '1', 'DAUM/다음/카카오'],
['Daumoa', 'Allow', '/', '1', 'DAUM/다음/카카오'],
['facebookexternalhit', 'Allow', '/', '1', 'Meta/FacebookFacebook/Instagram'],
['Googlebot', 'Allow', '/', '1', '구글'],
['Googlebot-Mobile', 'Allow', '/', '1', '구글 Mobile'],
['Googlebot-News', 'Allow', '/', '1', '구글 News'],
['Googlebot-Image', 'Allow', '/', '1', '구글 이미지 검색'],
['LinkedInBot', 'Allow', '/', '1', 'LinkedIn'],
['Mediapartners-Google', 'Allow', '/', '1', 'Goggle/구글'],
['Yeti', 'Allow', '/', '1', '네이버'],
['ZumBot', 'Allow', '/', '1', 'ZUM 줌'],
// Disallow
['AdsBot-Naver', 'Disallow', '/', '1', ''],
['AhrefsBot', 'Disallow', '/', '1', ''],
['AlphaBot', 'Disallow', '/', '1', ''],
['Amazonbot', 'Disallow', '/', '1', '아마존 봇 ( Amazon bot )'],
['Applebot', 'Disallow', '/', '1', 'http://www.apple.com/go/applebot'],
['archive.org_bot', 'Disallow', '/', '1', ''],
['Baiduspider', 'Disallow', '/', '1', 'http://www.baidu.com/search/spider.html'],
['barkrowler', 'Disallow', '/', '1', ''],
['BDCbot', 'Disallow', '/', '1', ''],
['BomboraBot', 'Disallow', '/', '1', ''],
['Buck', 'Disallow', '/', '1', ''],
['BusinessBot', 'Disallow', '/', '1', ''],
['Bytespider', 'Disallow', '/', '1', ''],
['CCBot', 'Disallow', '/', '1', ''],
['Dataprovider.com', 'Disallow', '/', '1', ''],
['DialogSearch.com Bot', 'Disallow', '/', '1', ''],
['Digincore crawler bot', 'Disallow', '/', '1', ''],
['DomainCrawler', 'Disallow', '/', '1', ''],
['DomainSigmaCrawler', 'Disallow', '/', '1', ''],
['DataForSeoBot', 'Disallow', '/', '1', ''],
['DotBot', 'Disallow', '/', '1', ''],
['ezooms', 'Disallow', '/', '1', ''],
['GPTBot', 'Disallow', '/', '1', 'ChatGPT AI'],
['ia_archiver', 'Disallow', '/', '1', 'archive.org'],
['kisaBot', 'Disallow', '/', '1', ''],
['ltx71', 'Disallow', '/', '1', ''],
['Mail.RU_Bot', 'Disallow', '/', '1', ''],
['MauiBot', 'Disallow', '/', '1', ''],
['MediavBot', 'Disallow', '/', '1', ''],
['MegaIndex.ru', 'Disallow', '/', '1', ''],
['memoryBot', 'Disallow', '/', '1', ''],
['mfibot', 'Disallow', '/', '1', ''],
['msnbot', 'Disallow', '/', '1', ''],
['msnbot-media', 'Disallow', '/', '1', ''],
['MJ12bot', 'Disallow', '/', '1', 'http://majestic12.co.uk/bot.php'],
['NeumobBot', 'Disallow', '/', '1', ''],
['PageAnalyzer', 'Disallow', '/', '1', ''],
['PagesInventory', 'Disallow', '/', '1', ''],
['PetalBot', 'Disallow', '/', '1', 'https://aspiegel.com/petalbot'],
['PiplBot', 'Disallow', '/', '1', ''],
['Plukkie', 'Disallow', '/', '1', ''],
['roboto', 'Disallow', '/', '1', ''],
['rogerbot', 'Disallow', '/', '1', ''],
['RSNBOT', 'Disallow', '/', '1', ''],
['SafeDNSBot', 'Disallow', '/', '1', ''],
['semanticbot', 'Disallow', '/', '1', ''],
['SemrushBot', 'Disallow', '/', '1', 'http://www.semrush.com/bot.html'],
['SemrushBot-SA', 'Disallow', '/', '1', 'http://www.semrush.com/bot.html'],
['sistrix', 'Disallow', '/', '1', ''],
['SMTBot', 'Disallow', '/', '1', ''],
['Sogou', 'Disallow', '/', '1', ''],
['SurveyBot', 'Disallow', '/', '1', ''],
['TurnitinBot', 'Disallow', '/', '1', ''],
['UXCrawlerBot', 'Disallow', '/', '1', ''],
['wisebot', 'Disallow', '/', '1', '벅스뮤직을 비롯한 코리아와이즈넛'],
['Wotbox', 'Disallow', '/', '1', ''],
['Yandex', 'Disallow', '/', '1', ''],
['Yahoo-MMCrawler', 'Disallow', '/', '1', '야후 이미지'],
);
4
댓글 5개
공유해 주셔서 감사합니다. ^^
감사 합니다.
robot.txt에 적용할때 좋은 방법이 있을까요?
@나무사랑
방법1> https://www.happyjung.com/robots.txt 내용에서 bot 관련 내용 복사
방법2> https://sir.kr/cmall/1757343309 의 컨텐츠를 이용
@해피정 감사합니다.