PHP 웹 스크래퍼 만들기 : guzzle + dom-crawler

누리컴즈

· 1년 전 · 조회 802 802 · 댓글 1 1

PHP 웹 크롤러 또는 스크래퍼를 만들 때 guzzle 과 dom-crawler 조합으로 구현할 수 있습니다.

설치는 컴포저를 이용하는 것이 좋겠죠?

[code]

composer require guzzlehttp/guzzle
composer require symfony/dom-crawler

[/code]

잘 되는지 간단히 테스트해 볼까요?

[code]

<?php

require 'vendor/autoload.php';

use GuzzleHttp\Client;
use Symfony\Component\DomCrawler\Crawler;

$client = new Client();
$response = $client->request('GET', 'http://example.com');

$html = (string) $response->getBody();

$crawler = new Crawler($html);

$links = $crawler->filter('a')->each(function (Crawler $node, $i) {
    return $node->attr('href');
});

var_dump($links);

[/code]

궁금하신 부분이 있으시면 댓글로 남여 주세요.

오늘도 즐거운 코딩 하세요~~^^

댓글 작성

댓글을 작성하시려면 로그인이 필요합니다.

로그인하기

댓글 1개

리오닥터

프로필 보기 이 회원 글보기 이 회원의 댓글보기

1년 전

요새 크롤링 쓸만한게 많은가요? 크롤링 너무 안한지 오래 되어서요

게시판 목록

개발자팁

개발과 관련된 유용한 정보를 공유하세요.
질문은 QA에서 해주시기 바랍니다.

글쓰기

번호	분류	제목	글쓴이	날짜	조회
5216		Laravel 오유 "failed to open stream: Permission denied" 퇴치방법 [1]	슈퍼디브 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	950
5215		php 몇분전, 몇시간전, 몇일전 함수 [6]	그누소스 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	1083
5214		내 계정 파일, DB 백업 스크립트	진서기 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	725
5213	PHP	PHP 배열순설정 [1]	swallow 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	669
5212	PHP	PHP로 PDF파일 다루기 [4]	swallow 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	1693
5211	PHP	PHP를 사용하여 FTP를 이용하는 방법 [1]	swallow 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	1455
5210	PHP	PHP와 MSSQL의 연동 코드 실례 [1]	swallow 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	2142
5209	PHP	객체로 간단한 부트스트랩 매뉴 제작 함수	식물집사 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	692
5208	JavaScript	jQuery없이 네티브자바스크립트로 서버에 요청보내기 7 - JSONP [5]	swallow 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	830
5207	JavaScript	jQuery없이 네티브자바스크립트로 서버에 요청보내기 6- CORS [1]	swallow 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	682
5206	JavaScript	jQuery없이 네티브자바스크립트로 서버에 요청보내기5- 파일업로드 [1]	swallow 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	604
5205	PHP	include와 DB해킹. 그러나 Fopen의 r 옵션만? 트릭으로 쓴다면? [1]	piadream 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	696
5204	기타	자동방지문자가 안보이는 경우 - 유블럭	techstar 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	749
5203	JavaScript	jQuery없이 네티브자바스크립트로 서버에 요청보내기4 - JSON	swallow 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	576
5202	JavaScript	jQuery없이 네티브자바스크립트로 서버에 요청보내기3 - URL Encoding [3]	swallow 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	604
5201	JavaScript	jQuery없이 네티브자바스크립트로 서버에 요청보내기2 - POST	swallow 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	667
5200	JavaScript	jQuery없이 네티브자바스크립트로 서버에 요청보내기1 - GET [2]	swallow 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	858
5199	JavaScript	express로 간단한 부트스트랩 내비게이션 메뉴 생성기(아주 쉬움)	식물집사 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	619
5198	기타	C#에서 WWW-Authenticate를 통과하는 방법	swallow 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	651
5197	PHP	PHP로 채트서버 만들기	swallow 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	731
5196	JavaScript	ThreeJS로 3디 지구 만들기	swallow 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	598
5195	PHP	PHP에서 파일다운로드기능 구현하기	swallow 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	2051
5194	PHP	PHP 랜덤생성하기	swallow 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	612
5193	기타	cmd, powershell 명령 몇가지	swallow 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	663
5192	MySQL	DB백업코드 [5]	swallow 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	1382
5191	JavaScript	숫자에 천단위로 콤마(,) 찍기 [11]	swallow 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	1071
5190	PHP	PHP CURL로 사이트 로그인 하고 그 정보 유지하기 [1]	swallow 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	1924
5189	MySQL	utf8mb4_unicode_ci와 utf8mb4_general_ci의 차이점 [3]	swallow 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	6184
5188	node.js	운영중인 서비스가 알지못할 에러(uncaughtException)발생으로 중지되지 않게 하기	swallow 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	1041
5187	node.js	nodejs 에서 CSV파일 파싱하여 배열로 변환하기	swallow 프로필 보기 이 회원 글보기 이 회원의 댓글보기	2년 전	789