PHP 웹 스크래퍼 만들기 : guzzle + dom-crawler

누리컴즈

· 1년 전 · 조회 801 801 · 댓글 1 1

PHP 웹 크롤러 또는 스크래퍼를 만들 때 guzzle 과 dom-crawler 조합으로 구현할 수 있습니다.

설치는 컴포저를 이용하는 것이 좋겠죠?

[code]

composer require guzzlehttp/guzzle
composer require symfony/dom-crawler

[/code]

잘 되는지 간단히 테스트해 볼까요?

[code]

<?php

require 'vendor/autoload.php';

use GuzzleHttp\Client;
use Symfony\Component\DomCrawler\Crawler;

$client = new Client();
$response = $client->request('GET', 'http://example.com');

$html = (string) $response->getBody();

$crawler = new Crawler($html);

$links = $crawler->filter('a')->each(function (Crawler $node, $i) {
    return $node->attr('href');
});

var_dump($links);

[/code]

궁금하신 부분이 있으시면 댓글로 남여 주세요.

오늘도 즐거운 코딩 하세요~~^^

댓글 작성

댓글을 작성하시려면 로그인이 필요합니다.

로그인하기

댓글 1개

리오닥터

프로필 보기 이 회원 글보기 이 회원의 댓글보기

1년 전

요새 크롤링 쓸만한게 많은가요? 크롤링 너무 안한지 오래 되어서요

게시판 목록

개발자팁

개발과 관련된 유용한 정보를 공유하세요.
질문은 QA에서 해주시기 바랍니다.

글쓰기

번호	분류	제목	글쓴이	날짜	조회
5066	기타	[mariadb] 10.6 버전에 추가된 json_table 함수	DogFoot개발 프로필 보기 이 회원 글보기 이 회원의 댓글보기	4년 전	1817
5065	PHP	DB 세션 핸들링 [2]	DogFoot개발 프로필 보기 이 회원 글보기 이 회원의 댓글보기	4년 전	1522
5064	PHP	혹시 뭐가 잘못되었는지 봐주실수 있나요?? [2]	happyl 프로필 보기 이 회원 글보기 이 회원의 댓글보기	4년 전	1914
5063	node.js	c++로 만들어진 코드를 바인딩하기 [1]	DogFoot개발 프로필 보기 이 회원 글보기 이 회원의 댓글보기	4년 전	1671
5062	node.js	express이용하여 간단하게 api 서버 만들기 [1]	DogFoot개발 프로필 보기 이 회원 글보기 이 회원의 댓글보기	4년 전	1687
5061	node.js	Redos ( Regular expression Denial of Service ) 대응관련 모듈	DogFoot개발 프로필 보기 이 회원 글보기 이 회원의 댓글보기	4년 전	1410
5060	node.js	Mac os에서 nvm + node 설치편	DogFoot개발 프로필 보기 이 회원 글보기 이 회원의 댓글보기	4년 전	1246
5059	node.js	nvm설치 + nodejs 설치	DogFoot개발 프로필 보기 이 회원 글보기 이 회원의 댓글보기	4년 전	1245
5058	기타	[mariadb]자연어검색	DogFoot개발 프로필 보기 이 회원 글보기 이 회원의 댓글보기	4년 전	2692
5057	웹서버	ubuntu 20.0 php 8.0 + nginx 설치	DogFoot개발 프로필 보기 이 회원 글보기 이 회원의 댓글보기	4년 전	2715
5056	MySQL	adminer를 이용하여 Table Data 다운로드 하기	리자 프로필 보기 이 회원 글보기 이 회원의 댓글보기	4년 전	1499
5055	기타	그누보드5에서 소셜로그인, 소셜댓글 사용시 트위터 프로젝트 앱 설정하기	리자 프로필 보기 이 회원 글보기 이 회원의 댓글보기	4년 전	1427
5054	OS	AWS Lightsail 에서 PHP5.x 버전 설치하기	리자 프로필 보기 이 회원 글보기 이 회원의 댓글보기	4년 전	2063
5053	웹서버	AWS Lightsail 에서 PHP8 빠르게 설치하기 [9]	리자 프로필 보기 이 회원 글보기 이 회원의 댓글보기	4년 전	3617
5052	OS	opendkim 설치	리자 프로필 보기 이 회원 글보기 이 회원의 댓글보기	4년 전	2414
5051	PHP	PHP에서 aws cli 를 이용하여 Lambda 함수 생성하기 [4]	편리 프로필 보기 이 회원 글보기 이 회원의 댓글보기	4년 전	2183
5050	웹서버	apache log 에 접속자의 cookie 정보를 포함하지 않도록 설정하기	리자 프로필 보기 이 회원 글보기 이 회원의 댓글보기	4년 전	1713
5049	MySQL	INSERT IGNORE INTO `user` (field1, field2, ..., fieldn) SELECT field1, field2, ..., fieldn WHERE user = 'user_id';	리자 프로필 보기 이 회원 글보기 이 회원의 댓글보기	4년 전	1887
5048	OS	rsync 실행시 password(암호) 묻지 않기 [2]	리자 프로필 보기 이 회원 글보기 이 회원의 댓글보기	4년 전	2690
5047	PHP	vscode 에서 AWS Lightsail 인스턴스에 접속하기 [10]	리자 프로필 보기 이 회원 글보기 이 회원의 댓글보기	4년 전	4364
5046	MySQL	WHERE Clasuse 사용해서 특정 조건의 데이타를 가지고 와 HTML Table로 출력하기 [1]	김철용 프로필 보기 이 회원 글보기 이 회원의 댓글보기	4년 전	1805
5045	MySQL	PHP Mysql Databae - INSERT INTO Multiple Records, 데이타베이스에 여러개 데이타입력하기 [2]	김철용 프로필 보기 이 회원 글보기 이 회원의 댓글보기	4년 전	1928
5044	MySQL	MariaDB 에서 open_files_limit 변경하기 [1]	리자 프로필 보기 이 회원 글보기 이 회원의 댓글보기	4년 전	4122
5043	MySQL	SELECT data FROM TABLE 유튜브 영상입니다. [1]	김철용 프로필 보기 이 회원 글보기 이 회원의 댓글보기	4년 전	1879
5042	기타	[Selenium] proxy를 사용하지 않고 개발자도구에서 Network 탭의 로그를 얻기	Innisfree 프로필 보기 이 회원 글보기 이 회원의 댓글보기	4년 전	2629
5041	MySQL	PHP Mysql Database - INSERT INTO [2]	김철용 프로필 보기 이 회원 글보기 이 회원의 댓글보기	4년 전	1986
5040	MySQL	PHP Mysql Database - CREATE TABLE	김철용 프로필 보기 이 회원 글보기 이 회원의 댓글보기	4년 전	1712
5039	MySQL	PHP Mysql Database - CREATE DATABASE	김철용 프로필 보기 이 회원 글보기 이 회원의 댓글보기	4년 전	1485
5038	MySQL	PHP Mysql Database - Mysql CONNECT	김철용 프로필 보기 이 회원 글보기 이 회원의 댓글보기	4년 전	1327
5037	OS	rsync, lsyncd 를 이용한 서버 동기화 [9]	리자 프로필 보기 이 회원 글보기 이 회원의 댓글보기	4년 전	4424