로그인페이지 크롤링 TIP
크롤링 하다보면 로그인을 해야만 하는 페이지가 꼭 있습니다.
이럴때는 snoopy를 이용하시고 정상적으로 id와 passwd값을 request해도 안된다면 보통 쿠키에 문제가 있는거 같습니다. 로그인 하면서 session도 저장해주시고 다시 페이지에 접근을 하면 해당페이지를 크롤링하실 수 있습니다.
$snoopy = new Snoopy;
$uri = '로그인 페이지 주소';
$snoopy->httpmethod = "POST";
$auth['loginId'] = 'id';
$auth['password'] = 'passwd';
$snoopy->submit($uri,$auth);
$snoopy->setcookies();
$temp_cookie = $snoopy->cookies; // 쿠키 가져오기
이후 헤더에 쿠키값 넣고 다시 크롤링 요청을 하시면 됩니다~
댓글 4개
김치코드소스
3년 전
감사합니다!
wnsgml01091
3년 전
감사합니다!
까투리장끼
3년 전
감사합니다
2년 전
감사합니다.
게시판 목록
그누보드5 팁자료실
| 번호 | 제목 | 글쓴이 | 날짜 | 조회 |
|---|---|---|---|---|
| 공지 | 3년 전 | 4429 | ||
| 2154 | 3년 전 | 3230 | ||
| 2153 | 3년 전 | 2725 | ||
| 2152 |
 카튠네트웍 |
3년 전 | 2592 | |
| 2151 | 3년 전 | 2229 | ||
| 2150 | 3년 전 | 2612 | ||
| 2149 | 3년 전 | 4229 | ||
| 2148 | 3년 전 | 3500 | ||
| 2147 | 3년 전 | 1912 | ||
| 2146 | 3년 전 | 2890 | ||
| 2145 | 3년 전 | 4022 | ||
| 2144 | 3년 전 | 2936 | ||
| 2143 | 3년 전 | 2303 | ||
| 2142 |
welcome
|
3년 전 | 2090 | |
| 2141 | 3년 전 | 2480 | ||
| 2140 |
 jay94ks |
3년 전 | 3481 | |
| 2139 |
jay94ks |
3년 전 | 3229 | |
| 2138 | 3년 전 | 3249 | ||
| 2137 | 3년 전 | 3013 | ||
| 2136 | 3년 전 | 3137 | ||
| 2135 | 3년 전 | 3751 | ||
| 2134 | 3년 전 | 3307 | ||
| 2133 | 3년 전 | 3464 | ||
| 2132 |
 Innisfree |
3년 전 | 5321 | |
| 2131 | 3년 전 | 2362 | ||
| 2130 | 3년 전 | 3954 | ||
| 2129 |
 마르스컴퍼니 |
3년 전 | 2949 | |
| 2128 | 3년 전 | 2978 | ||
| 2127 | 3년 전 | 4300 | ||
| 2126 | 3년 전 | 2555 | ||
| 2125 | 3년 전 | 2706 |
댓글 작성
댓글을 작성하시려면 로그인이 필요합니다.
로그인하기