테스트 사이트 - 개발 중인 베타 버전입니다

크롬 개발자 모드에서 보이는 네트워크 응답 값을 가져오고 싶습니다. 채택완료

평상심NZ 2년 전 조회 2,658

안녕하세요.

 

오클랜드도서관의 한글장서를 크롤링해서 별도의 DB를 만들어 교민에서 제공하고 있습니다.

https://bookcafe.co.nz/index.php?mid=libBookList&lib=aklib" target="_blank">https://bookcafe.co.nz/index.php?mid=libBookList&lib=aklib

어제까진 도서관 페이지를 긁고 거기서 isbn를 추출했습니다.

 

헐... 오늘부터 도서관 도서관리 시스템이 변경되었습니다.

https://discover.aucklandlibraries.govt.nz/search?query=*&searchType=everything&pageSize=10&materialTypeIds=z,x,p,a&languageIds=kor&pageNum=0" target="_blank">https://discover.aucklandlibraries.govt.nz/

개별 도서로 접근한 다음, Edit Informatin > Details를 통해야 isbn이 나옵니다. 이래가지고는 크롤링할 수 없더라구요.

즉 브라우징되는 페이지에서 isbn을 추출할 수 없었습니다.

 

그런데 크롬 개발자 화면으로 들어가서 네트워크를 확인하니 특정 흐름의 응답 내용에 isbn 이 있더군요.

 

 

캡쳐에서 특정 요구의 응답에서 제가 원하는 값이 있었습니다.

여러군데에 있는데, 이것이 HTML 소스에는 없어서 제가 긁을 수 없습니다. ㅠㅠ

 

해당 URL은 요거https://discover.aucklandlibraries.govt.nz/search/card?id=1d558301-7640-58e8-82ef-b966f0f7c638&entityType=FormatGroup&showcase=resources&identifier=1d558301-7https:%2F%2Fdiscover.aucklandlibraries.govt.nz%2Fsearch" target="_blank">===>입니다.

 

10년 가까이 난관을 해쳐가며 요리조리 유지했던 작업인데, 서버가 무엇으로 바뀌었기에......

 

혹시 도움을 주실 분이 있다면, 분명 복받으실 겁니다.

 

감사합니다.

 

* 자매 홈페이지 https://club.bookcafe.co.nz/" target="_blank">club.bookcafe.co.nz은 그누보드(망고테마)로 만들었습니다, 감사합니다.

댓글을 작성하려면 로그인이 필요합니다.

답변 2개

채택된 답변
+20 포인트
2년 전

소스보기해서 내용이 보이지않는 것은 자바스크립트로 출력하는 것입니다

개발자도구에서는 내용이 보이지만 일반적인 크롤링으로는 원하는 내용을 추출할 수 없습니다

이런 경우 파이썬 + 셀레니움 으로 가능합니다

파이썬 크롤링으로 구글링해보세요

 

 

 

로그인 후 평가할 수 있습니다

답변에 대한 댓글 1개

평상심NZ
2년 전
감사합니다.
신세계로의 초대시네요.

파이썬 관련 스터디 싸이트 소개 부탁드립니다.

댓글을 작성하려면 로그인이 필요합니다.

각 URL의 헤더 부분을 검토해 보세요.

로그인 후 평가할 수 있습니다

댓글을 작성하려면 로그인이 필요합니다.

답변을 작성하려면 로그인이 필요합니다.

로그인