PHP 웹 스크래퍼 만들기 : guzzle + dom-crawler

누리컴즈

· 1년 전 · 조회 809 809 · 댓글 1 1

PHP 웹 크롤러 또는 스크래퍼를 만들 때 guzzle 과 dom-crawler 조합으로 구현할 수 있습니다.

설치는 컴포저를 이용하는 것이 좋겠죠?

[code]

composer require guzzlehttp/guzzle
composer require symfony/dom-crawler

[/code]

잘 되는지 간단히 테스트해 볼까요?

[code]

<?php

require 'vendor/autoload.php';

use GuzzleHttp\Client;
use Symfony\Component\DomCrawler\Crawler;

$client = new Client();
$response = $client->request('GET', 'http://example.com');

$html = (string) $response->getBody();

$crawler = new Crawler($html);

$links = $crawler->filter('a')->each(function (Crawler $node, $i) {
    return $node->attr('href');
});

var_dump($links);

[/code]

궁금하신 부분이 있으시면 댓글로 남여 주세요.

오늘도 즐거운 코딩 하세요~~^^

댓글 작성

댓글을 작성하시려면 로그인이 필요합니다.

로그인하기

댓글 1개

리오닥터

프로필 보기 이 회원 글보기 이 회원의 댓글보기

1년 전

요새 크롤링 쓸만한게 많은가요? 크롤링 너무 안한지 오래 되어서요

게시판 목록

개발자팁

개발과 관련된 유용한 정보를 공유하세요.
질문은 QA에서 해주시기 바랍니다.

글쓰기

번호	분류	제목	글쓴이	날짜	조회
5246	node.js	노드로 멀티스레드 기능 구현하기 [2]	swallow 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	1106
5245	PHP	PHP에서 대량의 푸시 메시지를 보내기 위한 팁 [5]	swallow 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	2528
5244	PHP	PHP로 인쇄명령주기 [1]	swallow 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	1287
5243	JavaScript	Javascript로 JSON데이터를 보기좋게 만들기	swallow 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	687
5242	node.js	NodeJS에서 콘솔명령 실행하고 그 리턴값을 파일로 저장하기	swallow 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	667
5241	node.js	NodeJS CORS (Cross-Origin Resource Sharing) 허용하기 [2]	swallow 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	779
5240	MySQL	MySQL과 PostgreSQL의 우단점	swallow 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	808
5239	MySQL	프로시저 cursor 사용 예	하얀감자 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	785
5238	JavaScript	바닐라 ajax 파일업로드 예제	비타주리 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	983
5237	웹서버	PHP에서 CORS (Cross-Origin Resource Sharing) 허용하기 [1]	swallow 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	3991
5236	PHP	PHP로 AES-256-GCM 복호화	swallow 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	900
5235	PHP	PHP와 NodeJS의 강점 [2]	swallow 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	1379
5234	기타	트래픽 로그(실시간?) 그래프로 보기?	Tak2 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	763
5233	jQuery	jquery datepicker 선택한 날짜의 요일을 얻기	swallow 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	2037
5232		크롤러 *업데이트	Tak2 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	619
5231		게시글 본문에서 qr코드 출력 (gpt) [3]	Tak2 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	1174
5230		웹사이트 크롤러 [4]	Tak2 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	1077
5229	PHP	PHP에서 가상 게이트웨이를 구현하여 패킷 라우팅 [1]	swallow 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	1025
5228	MySQL	프로시저 기본편	하얀감자 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	727
5227	PHP	PHP에서 특정 네트워크 인터페이스(망카드)를 선택하여 통신 [2]	swallow 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	838
5226	PHP	PHP로 웹소켓서버를 창조하는 방법 한가지 [1]	swallow 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	1814
5225	PHP	MSSQL서버에 접속하지 못할때	슈퍼디브 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	576
5224	node.js	NodeJS로 ffmpeg 사용하여 rtsp 데이터를 websocket 으로 방송하기 [2]	swallow 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	4084
5223	PHP	PHP로 백그라운드 서비스를 실행하는 방법 [1]	swallow 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	1317
5222	기타	이전글,다음글 기능이 안되는 경우	techstar 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	563
5221	PHP	아파치, PHP에서 MSSQL 리용할때	슈퍼디브 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	653
5220		MVC구조의 PHP프레임워크들이 꼭 사용하는 spl_autoload_register() [4]	swallow 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	906
5219		mp4 미디어바 중앙정렬 [8]	비타주리 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	881
5218		Laravel에서 php artisan migrate --seed 실행시 "Specified key was too long error" 오류발생 [1]	슈퍼디브 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	524
5217		상단으로 를 상하 이동 및 퍼센트 표시 하기 [6]	들레아빠 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	1001