PHP 웹 스크래퍼 만들기 : guzzle + dom-crawler
PHP 웹 크롤러 또는 스크래퍼를 만들 때 guzzle 과 dom-crawler 조합으로 구현할 수 있습니다.
설치는 컴포저를 이용하는 것이 좋겠죠?
[code]
composer require guzzlehttp/guzzle
composer require symfony/dom-crawler
[/code]
잘 되는지 간단히 테스트해 볼까요?
[code]
<?php
require 'vendor/autoload.php';
use GuzzleHttp\Client;
use Symfony\Component\DomCrawler\Crawler;
$client = new Client();
$response = $client->request('GET', 'http://example.com');
$html = (string) $response->getBody();
$crawler = new Crawler($html);
$links = $crawler->filter('a')->each(function (Crawler $node, $i) {
return $node->attr('href');
});
var_dump($links);
[/code]
궁금하신 부분이 있으시면 댓글로 남여 주세요.
오늘도 즐거운 코딩 하세요~~^^
댓글 1개
1년 전
요새 크롤링 쓸만한게 많은가요? 크롤링 너무 안한지 오래 되어서요
게시판 목록
개발자팁
개발과 관련된 유용한 정보를 공유하세요.
질문은 QA에서 해주시기 바랍니다.
질문은 QA에서 해주시기 바랍니다.
| 번호 | 분류 | 제목 | 글쓴이 | 날짜 | 조회 |
|---|---|---|---|---|---|
| 26 | MySQL |
아우겐나이스
|
21년 전 | 5831 | |
| 25 | JavaScript |
아우겐나이스
|
21년 전 | 5214 | |
| 24 | MySQL | 21년 전 | 7770 | ||
| 23 | MySQL | 21년 전 | 5067 | ||
| 22 | 기타 | 21년 전 | 8065 | ||
| 21 | 기타 | 21년 전 | 5970 | ||
| 20 | MySQL | 21년 전 | 6608 | ||
| 19 | MySQL | 21년 전 | 9362 | ||
| 18 | 기타 | 21년 전 | 6955 | ||
| 17 | MySQL | 21년 전 | 9485 | ||
| 16 | JavaScript | 21년 전 | 6731 | ||
| 15 | 기타 | 21년 전 | 4760 | ||
| 14 | 기타 | 21년 전 | 7670 | ||
| 13 | 기타 | 21년 전 | 5474 | ||
| 12 | JavaScript |
Recluse
|
21년 전 | 6492 | |
| 11 | 기타 |
아우겐나이스
|
21년 전 | 5429 | |
| 10 | 기타 |
Recluse
|
21년 전 | 5063 | |
| 9 | 기타 | 21년 전 | 5936 | ||
| 8 | MySQL | 21년 전 | 7462 | ||
| 7 | PHP | 21년 전 | 6939 | ||
| 6 | JavaScript | 21년 전 | 8172 | ||
| 5 | PHP | 21년 전 | 6200 | ||
| 4 | Linux | 21년 전 | 7067 | ||
| 3 | PHP | 21년 전 | 7313 | ||
| 2 | 기타 | 21년 전 | 5662 | ||
| 1 | JavaScript | 22년 전 | 7674 |
댓글 작성
댓글을 작성하시려면 로그인이 필요합니다.
로그인하기