로그인페이지 크롤링 TIP
크롤링 하다보면 로그인을 해야만 하는 페이지가 꼭 있습니다.
이럴때는 snoopy를 이용하시고 정상적으로 id와 passwd값을 request해도 안된다면 보통 쿠키에 문제가 있는거 같습니다. 로그인 하면서 session도 저장해주시고 다시 페이지에 접근을 하면 해당페이지를 크롤링하실 수 있습니다.
$snoopy = new Snoopy;
$uri = '로그인 페이지 주소';
$snoopy->httpmethod = "POST";
$auth['loginId'] = 'id';
$auth['password'] = 'passwd';
$snoopy->submit($uri,$auth);
$snoopy->setcookies();
$temp_cookie = $snoopy->cookies; // 쿠키 가져오기
이후 헤더에 쿠키값 넣고 다시 크롤링 요청을 하시면 됩니다~
댓글 4개
김치코드소스
3년 전
감사합니다!
wnsgml01091
3년 전
감사합니다!
까투리장끼
3년 전
감사합니다
2년 전
감사합니다.
게시판 목록
그누보드5 팁자료실
| 번호 | 제목 | 글쓴이 | 날짜 | 조회 |
|---|---|---|---|---|
| 공지 | 3년 전 | 4402 | ||
| 2214 | 2년 전 | 1873 | ||
| 2213 |
 마르스컴퍼니 |
2년 전 | 2431 | |
| 2212 | 2년 전 | 1469 | ||
| 2211 | 2년 전 | 1810 | ||
| 2210 | 2년 전 | 1871 | ||
| 2209 | 2년 전 | 2294 | ||
| 2208 | 2년 전 | 4356 | ||
| 2207 | 2년 전 | 3927 | ||
| 2206 | 2년 전 | 2303 | ||
| 2205 | 2년 전 | 1941 | ||
| 2204 | 2년 전 | 1540 | ||
| 2203 | 2년 전 | 3198 | ||
| 2202 | 2년 전 | 1987 | ||
| 2201 | 2년 전 | 2790 | ||
| 2200 | 2년 전 | 3168 | ||
| 2199 |
welcome
|
2년 전 | 1655 | |
| 2198 | 2년 전 | 1920 | ||
| 2197 | 2년 전 | 2152 | ||
| 2196 | 2년 전 | 2621 | ||
| 2195 | 2년 전 | 1722 | ||
| 2194 | 2년 전 | 2229 | ||
| 2193 | 2년 전 | 3190 | ||
| 2192 |
 나방큰도그래 |
2년 전 | 1910 | |
| 2191 | 2년 전 | 3303 | ||
| 2190 | 2년 전 | 1720 | ||
| 2189 |
나방큰도그래 |
2년 전 | 1441 | |
| 2188 | 2년 전 | 2444 | ||
| 2187 |
 코드오타쿠 |
2년 전 | 2126 | |
| 2186 | 3년 전 | 1331 | ||
| 2185 | 3년 전 | 3141 |
댓글 작성
댓글을 작성하시려면 로그인이 필요합니다.
로그인하기