웹 소스 긁어오기
<?
function open_url($url)
{
if (preg_match('/^(https?)\:\/\/([^\/]+)(.*)/', $url, $pregs))
{
$host = $pregs[2];
$port = ($pregs[1] == 'http' ? 80 : 443);
$suburl = $pregs[3];
if (!$suburl) $suburl = '/';
if ($fp = fsockopen($host, $port, $errno, $errstr, 10))
{
fputs($fp, "GET {$suburl} HTTP/1.0\r\n");
fputs($fp, "Host: {$host}\r\n");
fputs($fp, "User-Agnet: Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1)\r\n");
fputs($fp, "\r\n");
while (!feof($fp))
{
// $temp .= iconv('UTF-8', 'CP949', fgets($fp, 512)); // UTF-8
$temp .= fgets($fp, 512);
}
fclose($fp);
$arr = explode("\r\n\r\n", $temp, 2);
if (count($arr) < 2) return;
return array(
'header'=>$arr[0],
'body'=>$arr[1]
);
}
}
}
print_r(open_url('http://sir.co.kr/'));
?>
댓글 14개
13년 전
크롤러인가요?
13년 전
사람을 지칭하시는건가요 아니면 기능의 역할을 지칭하시는건가요? ㅎㅎ
13년 전
올려두고 물어보신다면 ;;
구글에서 크롤러를 검색해보세요 :)
기능이 비슷한지 해서 물어본 내용입니다.
구글에서 크롤러를 검색해보세요 :)
기능이 비슷한지 해서 물어본 내용입니다.
13년 전
기능은 웹사이트 코드를 긁어오는 것이니 당연히 비슷하죠.
이 코드를 수정해서 크롤러로 사용이 가능할수도 있겠지만, 저는 그런 의도로 올린건 아닙니다.
그리고 '크롤러'라고 하셔서 '크롤링 하는 사람'을 지칭하셨던 것인지
'크롤러 기능'을 지칭한 것인지를 여쭌것이지요 :D
이 코드를 수정해서 크롤러로 사용이 가능할수도 있겠지만, 저는 그런 의도로 올린건 아닙니다.
그리고 '크롤러'라고 하셔서 '크롤링 하는 사람'을 지칭하셨던 것인지
'크롤러 기능'을 지칭한 것인지를 여쭌것이지요 :D
13년 전
어떻게 사용하는건가요~?
13년 전
제가 만든 open_url 함수를 추가하시고 호출하시면 됩니다.
반환값은 긁어오기에 성공하면 header와 body를 인덱스로 갖는 배열이 반환되고, 실패시엔 아무것도 반환되지 않습니다.
header 에는 http 헤더가, body에는 http 내용이 들어갑니다
반환값은 긁어오기에 성공하면 header와 body를 인덱스로 갖는 배열이 반환되고, 실패시엔 아무것도 반환되지 않습니다.
header 에는 http 헤더가, body에는 http 내용이 들어갑니다
13년 전
때론 유용하게 사용되겠네요 ^^
13년 전
감사합니다~ ^^
프로프리랜서
13년 전
소스만 가지고오는
13년 전
네 웹소스 긁어오는 프로그램입니다 ^^
13년 전
파싱이..스누피도 있고..^^;;
중요한건 소스를 어떻게 컨트롤하느냐겠지요ㅎㅎㅎ
태그 날리는것도 한몫할것이고..
한마디로 정규식을 배워야 요것을 매우 유용하게 사용할수있을것이다..이런거지요
중요한건 소스를 어떻게 컨트롤하느냐겠지요ㅎㅎㅎ
태그 날리는것도 한몫할것이고..
한마디로 정규식을 배워야 요것을 매우 유용하게 사용할수있을것이다..이런거지요
13년 전
맞는 말씀이지요 ㅎㅎ
12년 전
좋은 소스네요 ㅋㅋ
takumi22
12년 전
유용한 정보 감사합니다
게시글 목록
| 번호 | 제목 |
|---|---|
| 4405 | |
| 17973 |
Mobile
서브도메인 연결 오류...해결 부탁드립니다.
1
|
| 17969 | |
| 30568 |
HTML
고수님들 도움좀 부탁드립니다!
|
| 17965 |
PHP
웹 프로그래밍 강의사이트
3
|
| 17962 |
JavaScript
PhotoSwipe(갤러리) js 소스 해결좀 부탁드립니다.
2
|
| 17959 | |
| 17955 |
JavaScript
초보자 궁금한게 있습니다!
3
|
| 17953 | |
| 17950 | |
| 17947 | |
| 4403 | |
| 17944 |
jQuery
메뉴에서 무엇이 문제인가요?
2
|
| 17943 |
JavaScript
스크립트 소숫점 자르기
|
| 17941 | |
| 17939 |
Linux
리눅스 yum으로 apm설치하기
1
|
| 17935 |
jQuery
FAQ 예제입니다.
3
|
| 17928 | |
| 4391 | |
| 17926 |
Flash
저도 또 플래시 기본플레이어 질문이네요;
1
|
| 17923 | |
| 17920 |
jQuery
jquery 라이브러리 개발자 사이트
2
|
| 17917 |
jQuery
[질문] 이미지 메뉴 페이드 효과 넣고 싶어요.
2
|
| 26380 | |
| 17916 |
PHP
멀티스크린 대응
|
| 30565 |
HTML
[접기 펴기]간단 소스 문의좀..
2
|
| 17910 | |
| 17907 |
JavaScript
숫자 계산시 NaN 이 나올경우질문드립니다
2
|
| 17905 |
MySQL
ms sql 작업하실분 구합니다.
1
|
| 30555 | |
| 17904 |
MySQL
ssh 터널링을 통한 mysql 접속
|
| 30552 | |
| 17901 |
JavaScript
버튼 롤아웃시에 버튼 온 이미지를 줄수있는 방법 좀 갈켜 주세요.
2
|
| 17900 |
JavaScript
따라다니는 배너 스크립트인데요
|
| 17898 |
Flash
플래시가 검게만 보입니다 ㅠㅠ
1
|
| 30549 | |
| 17895 | |
| 26379 | |
| 26378 | |
| 26377 | |
| 17893 | |
| 17891 |
JavaScript
메뉴바 - 이런걸 원하시는건가??
1
|
| 17888 | |
| 17885 | |
| 17883 | |
| 17882 | |
| 17861 | |
| 17859 |
Flash
플레시 메뉴 만들기중 질문드립니다.
1
|
| 17857 | |
| 4388 | |
| 24413 | |
| 4383 | |
| 17849 | |
| 17847 |
PHP
효과에 대한 질문입니다.
1
|
| 17845 |
Flash
플래시 플레이어가 안나오네요!
1
|
| 17844 |
Linux
mod_ssl 설치 문제
|
| 17839 | |
| 17838 | |
| 30548 |
HTML
이미지 게시판 질문드려요
|
| 17836 |
JavaScript
메뉴바 도움 부탁드립니다.
1
|
| 17833 | |
| 17831 | |
| 17827 |
JavaScript
모바일 홈페이지 연동소스들중에 베가레이스2 기종이 연동이 안된다고 하는데
3
|
| 17826 | |
| 17823 |
JavaScript
네이버 나눔글꼴 적용 좀 봐 주세요
2
|
| 17820 |
MySQL
중복제거 쿼리문좀 간절히 부탁드립니다^^
2
|
| 17818 | |
| 24412 | |
| 30547 |
HTML
모바일 퍼스트와 반응형 웹
|
| 17814 |
MySQL
정중히 문제해결 도움 요청합니다
3
|
| 4377 | |
| 30544 |
HTML
프레임 문의 드려요 ^^;;
2
|
| 17813 |
JavaScript
새창뜨우기 소스에요
|
| 17810 |
기타
서브도메인
2
|
| 26373 | |
| 17804 | |
| 30543 |
HTML
HTML5 스터디가 가능할까요?
|
| 17803 | |
| 4370 | |
| 17801 |
JavaScript
스맛폰 에서 보면 메뉴가 뒤로 숨어서 안보이는데요?
1
|
| 17796 | |
| 26372 | |
| 17794 | |
| 30536 |
HTML
반응형 웹 스타디 초안?
6
|
| 17791 |
JavaScript
클래스 안에 태그의 src 추출
2
|
| 4364 | |
| 17789 | |
| 30535 |
HTML
opacity 질문입니다.!
|
| 17788 |
JavaScript
페이지 경고창 없애고 무한 롤링
|
| 30527 | |
| 30525 | |
| 30524 | |
| 4358 | |
| 30521 | |
| 17781 |
기타
DTD가 뭔가요?
6
|
| 26371 | |
| 17776 | |
| 4343 | |
| 17772 | |
| 17768 |
댓글 작성
댓글을 작성하시려면 로그인이 필요합니다.
로그인하기