[Python] Requests <-> Selenium 쿠키 연동

Python으로 웹크롤링을 할 때

HTTP 전송을 위해 가장 많이 사용하는 모듈은 Requests일 것이고,

직접 브라우저를 컨트롤하기 위해 사용하는 모듈은 Selenium입니다.

Requests로 로그인하기 까다로운 사이트도 있기 때문에

다음과 같이 Selnium의 쿠키를 Requests로 보내는 방법으로

일단 Selenium으로 로그인한 후 Requests로 접근할 수 있습니다 ^^

(이 방법을 응용하면 클플을 우회할 수도 있는데 다음 기회에 설명 드리겠습니다.)

[code]

import requests
from selenium import webdriver

driver = webdriver.Chrome()
driver.get('URL')
cookies = driver.get_cookies()

s = requests.Session()
for cookie in cookies:    
    s.cookies.set(cookie['name'], cookie['value'])

[/code]

반대로 Requests의 쿠키를 Selenium으로 보낼 수도 있습니다.

Javscript 렌더링이 필요할 때 주로 이 방법을 사용하겠죠 ^^

(Selenium을 사용하지 않더라도 Requests_HTML 모듈 등을 이용하여 렌더링을 할 수도 있습니다.)

[code]

import requests

from selenium import webdriver

s.get('URL')

driver = webdriver.Firefox()

driver.get('URL') # 이 부분이 들어가지 않으면 cookie-averse 에러가 발생합니다.

for c in s.cookies:

   driver.add_cookie({'name': c.name, 'value': c.value, 'path': c.path, 'expiry': c.expires})

driver.refresh()

[/code]