로그인페이지 크롤링 TIP
크롤링 하다보면 로그인을 해야만 하는 페이지가 꼭 있습니다.
이럴때는 snoopy를 이용하시고 정상적으로 id와 passwd값을 request해도 안된다면 보통 쿠키에 문제가 있는거 같습니다. 로그인 하면서 session도 저장해주시고 다시 페이지에 접근을 하면 해당페이지를 크롤링하실 수 있습니다.
$snoopy = new Snoopy;
$uri = '로그인 페이지 주소';
$snoopy->httpmethod = "POST";
$auth['loginId'] = 'id';
$auth['password'] = 'passwd';
$snoopy->submit($uri,$auth);
$snoopy->setcookies();
$temp_cookie = $snoopy->cookies; // 쿠키 가져오기
이후 헤더에 쿠키값 넣고 다시 크롤링 요청을 하시면 됩니다~
댓글 4개
김치코드소스
3년 전
감사합니다!
wnsgml01091
3년 전
감사합니다!
까투리장끼
3년 전
감사합니다
2년 전
감사합니다.
게시판 목록
그누보드5 팁자료실
| 번호 | 제목 | 글쓴이 | 날짜 | 조회 |
|---|---|---|---|---|
| 공지 | 3년 전 | 4429 | ||
| 2124 | 3년 전 | 2725 | ||
| 2123 | 3년 전 | 1875 | ||
| 2122 |
 루이스5484 |
3년 전 | 2671 | |
| 2121 | 3년 전 | 3232 | ||
| 2120 | 3년 전 | 2705 | ||
| 2119 | 3년 전 | 2308 | ||
| 2118 | 3년 전 | 2690 | ||
| 2117 | 3년 전 | 2029 | ||
| 2116 | 3년 전 | 1910 | ||
| 2115 | 3년 전 | 3511 | ||
| 2114 | 3년 전 | 2106 | ||
| 2113 | 3년 전 | 3080 | ||
| 2112 | 3년 전 | 2079 | ||
| 2111 | 3년 전 | 1669 | ||
| 2110 | 3년 전 | 2009 | ||
| 2109 | 3년 전 | 2214 | ||
| 2108 | 3년 전 | 1837 | ||
| 2107 | 3년 전 | 1963 | ||
| 2106 | 3년 전 | 2596 | ||
| 2105 | 3년 전 | 1897 | ||
| 2104 | 3년 전 | 3574 | ||
| 2103 | 3년 전 | 2229 | ||
| 2102 | 3년 전 | 2256 | ||
| 2101 | 3년 전 | 3052 | ||
| 2100 | 3년 전 | 2191 | ||
| 2099 | 3년 전 | 3620 | ||
| 2098 | 3년 전 | 3260 | ||
| 2097 | 3년 전 | 3569 | ||
| 2096 | 3년 전 | 3316 | ||
| 2095 | 3년 전 | 3219 |
댓글 작성
댓글을 작성하시려면 로그인이 필요합니다.
로그인하기