[파이썬] 크롤링 Selenium 예제, 웹크롤러 만들기 - 유딩동 Tistory

안녕하세요, 유딩동입니다.

BeautifulSoup만 사용하는 것이 한정적이기 때문에

Selenium 예제를 가지고 와 봤어요~!

 

↓ 파이썬 BeautifulSoup 사용예제 ↓

[파이썬] 크롤링 BeautifulSoup 사용법, 웹크롤러 만들기 - 유딩동 Tistory

 

1. 패키지 insntall 해줍니다.

2. 패키지 설치 완료! XD

3. chromedriver 다운 해줍니다.

https://chromedriver.chromium.org/downloads

ChromeDriver - WebDriver for Chrome - Downloads

 

여기서 다운하시기 전에, 버전을 아무거나 설치하시면 안돼요!

크롬탭을 열고, chrome://version 버전을 확인하시고 맞게 다운 해주셔야 합니다.

 

4. 상대경로에 넣어줍니다.

저는 상대경로에 넣는게 편해서 저기 두었는데,

편한 곳에 넣고 절대경로로 표기하셔도 괜찮아요!

from selenium import webdriver
import bs4

driver = webdriver.Chrome(executable_path='./chromedriver') #상대경로로변경

 

빈창이 이렇게 뜹니다 :D

성공이에요!

 

from selenium import webdriver
import bs4

driver = webdriver.Chrome(executable_path='./chromedriver')

driver.get('https://www.naver.com')
soup = bs4.BeautifulSoup(driver.page_source, 'lxml')  #
list = soup.find_all('div', class_='group_theme')

for a in list[0:]:
    print(a.text.replace('\n',''))
    print()

 

naver main에 div 태그 중에, group_theme 이라는 class명을 가지고 있는 내용을

가지고 오도록 해보았어요.

 

이렇게 줄줄 뜨네요!

replace를 한 이유는, 너무 줄바꿈이 많아서, 일부러 줄바꿈을 없앴습니다.

 

 

요렇게, 내용을 줄줄 읽어옵니다!

다른 예제로 또 돌아올게요!