크롤링 잘하는 고수님 도와주세요 채택완료
geek89
10년 전
조회 2,555
http://www.pictriev.com/facedbj.php" target="_blank">http://www.pictriev.com/facedbj.php
위 파일을 실행해보시면
{"result":"FAIL"}
라는 문구 한줄이 보일텐데 이 문구를 그대로 크롤링하고 싶어서
이틀째 계속 여러가지 방법으로 크롤링을 시도하는데
저 몇글자 안되는걸 긁어오는걸 도저히 못해서 멘붕입니다
snoopy 부터 시작해서 curl 등 다양한 방법으로
헤더도 바꿔보고 referer값도 바꿔보고
proxy_host, proxy_port 도 바꿔보고
host, agent 값도 바꿔보고 바꿀 수 있는 모든 값을 다 바꿔서 해봤지만
저 주소를 크롤링으로 접근만 하면 403 에러 등을 뱉으면서 크롤링을 거부합니다
도대체 어떤 원리로 저렇게 막을 수 있는걸까요?
또 어떻게 하면 저 한줄을 긁어올 수 있을까요?
위 파일을 실행해보시면
{"result":"FAIL"}
라는 문구 한줄이 보일텐데 이 문구를 그대로 크롤링하고 싶어서
이틀째 계속 여러가지 방법으로 크롤링을 시도하는데
저 몇글자 안되는걸 긁어오는걸 도저히 못해서 멘붕입니다
snoopy 부터 시작해서 curl 등 다양한 방법으로
헤더도 바꿔보고 referer값도 바꿔보고
proxy_host, proxy_port 도 바꿔보고
host, agent 값도 바꿔보고 바꿀 수 있는 모든 값을 다 바꿔서 해봤지만
저 주소를 크롤링으로 접근만 하면 403 에러 등을 뱉으면서 크롤링을 거부합니다
도대체 어떤 원리로 저렇게 막을 수 있는걸까요?
또 어떻게 하면 저 한줄을 긁어올 수 있을까요?
댓글을 작성하려면 로그인이 필요합니다.
답변 1개
채택된 답변
+20 포인트
10년 전
별로 문제 없어 보이는데요. ^^
</p><p>$url = "<a href="<a href="http://www.pictriev.com/facedbj.php" target="_blank" rel="noopener noreferrer">http://www.pictriev.com/facedbj.php</a>"><a href="http://www.pictriev.com/facedbj.php" target="_blank" rel="noopener noreferrer">http://www.pictriev.com/facedbj.php</a></a>";</p><p>$txt = file_get_contents($url);</p><p>echo $txt; </p><p><span style="font-size: 14.6666669845581px; line-height: 1.5;">
로그인 후 평가할 수 있습니다
답변에 대한 댓글 1개
g
geek89
10년 전
cafe24 호스팅에서만 안되는거였네요 ㅠㅠ 어쩐지 이상하더라
댓글을 작성하려면 로그인이 필요합니다.
답변을 작성하려면 로그인이 필요합니다.
로그인