PHP 웹 스크래퍼 만들기 : guzzle + dom-crawler

누리컴즈

· 1년 전 · 조회 812 812 · 댓글 1 1

PHP 웹 크롤러 또는 스크래퍼를 만들 때 guzzle 과 dom-crawler 조합으로 구현할 수 있습니다.

설치는 컴포저를 이용하는 것이 좋겠죠?

[code]

composer require guzzlehttp/guzzle
composer require symfony/dom-crawler

[/code]

잘 되는지 간단히 테스트해 볼까요?

[code]

<?php

require 'vendor/autoload.php';

use GuzzleHttp\Client;
use Symfony\Component\DomCrawler\Crawler;

$client = new Client();
$response = $client->request('GET', 'http://example.com');

$html = (string) $response->getBody();

$crawler = new Crawler($html);

$links = $crawler->filter('a')->each(function (Crawler $node, $i) {
    return $node->attr('href');
});

var_dump($links);

[/code]

궁금하신 부분이 있으시면 댓글로 남여 주세요.

오늘도 즐거운 코딩 하세요~~^^

댓글 작성

댓글을 작성하시려면 로그인이 필요합니다.

로그인하기

댓글 1개

리오닥터

프로필 보기 이 회원 글보기 이 회원의 댓글보기

1년 전

요새 크롤링 쓸만한게 많은가요? 크롤링 너무 안한지 오래 되어서요

게시판 목록

개발자팁

개발과 관련된 유용한 정보를 공유하세요.
질문은 QA에서 해주시기 바랍니다.

글쓰기

번호	분류	제목	글쓴이	날짜	조회
5186	PHP	PHP 로직 실행과정을 웹페이지에 런타임현시 [2]	swallow 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	946
5185	PHP	세션타임아웃기능	swallow 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	963
5184	PHP	유니큐 문자열 생성 함수를 공유해드립니다.	swallow 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	540
5183	PHP	나만의 프레임워크를 만들어 본다	swallow 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	848
5182	PHP	완벽한 UTF8 지원하기	swallow 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	779
5181	기타	CSS3으로 3디텍스트애니 작성하기 [2]	swallow 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	1022
5180		Season2 // How To Force SSL On All Pages In .htaccess File	울라프 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	575
5179	기타	CSS의 마우스커서 리스트 [1]	swallow 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	1437
5178	PHP	PHP에서 HTML구문을 파싱하는 샘플코드	swallow 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	797
5177	JavaScript	자바스크립트로 ctrl+F기능과 유사한 웹페이지내 문자검색기능 작성 [1]	swallow 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	1493
5176	PHP	PHP로 숫자캡챠 이미지 생성하기 [2]	swallow 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	1190
5175		라이트세일 리소스 문제 알림	리오닥터 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	566
5174	기타	selenium 네이버 카페 게시판 제일 첫번째 글 선택하기 [3]	라균 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	821
5173	PHP	$_SERVER 명려어중에서... [5]	piadream 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	970
5172	PHP	소스 코드가 이상하게 변질되어서 파일 기부[ No Bug 파일 완전판] [7]	piadream 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	1254
5171	기타	팁 다운 팁좀 씁시다. [8]	그누GPT 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	1558
5170	PHP	사이트 정보(파비콘, 제목, 설명) 가져오는 함수	친절한태엽씨 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	1056
5169	PHP	xampp의 phpmyadmin 암호 처리 끝내기.	piadream 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	1229
5168	PHP	스크립트 해킹 방어 구문 간단 셀프 작성한 것인데... 웬지 쎈 소스 [3]	piadream 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	1201
5167	JavaScript	지정한 범위내에서 랜덤으로 숫자출력하는 스크립트 [3]	안드류KIM 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	1000
5166	MySQL	배너 노출 관련 쿼리 [4]	하얀감자 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	1195
5165	MySQL	이진 트리 순회... 무한 계층형 트리 [2]	스팸마요 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	1258
5164	PHP	1에서 45까지 랜덤이면서 연속 숫자도 가능한 소스 [3]	하늘뚱 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	1505
5163	OS	리눅스 퍼미션에 무조건. 7계열을 써야 패키지 실행된다?	piadream 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	844
5162	웹서버	phpmyadmin config.inc.php 않건드리고 사용자 생성(구닥다리정보일수도?)	piadream 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	895
5161	웹서버	REWRITE 설계도 해주는 사이트 [3]	piadream 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	977
5160	PHP	멤버십 탈퇴할때 탈퇴문구 넣기 그러나 왜 단일?	piadream 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	846
5159	PHP	글은 화면에 차고. 카테고리길어져 카테고리는 그냥 화면만큼쓰고 싶고	piadream 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	910
5158	PHP	맨 앞글자만 크게 써먹게 하기.(네이트 뉴스 서비스 사용하다 보면 이해함)	piadream 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	919
5157	PHP	technote ipage를 다르게 구현 (소스가 같으려나....)	piadream 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	945