selenium을 사용한 데이터 크롤링하기

사전 설치

1. Selenium & BeautifulSoup설치하기
pip install selenium
pip install BeautifulSoup4
2. 구글 웹 드라이브 설치 & 다운로드

Selenium을 사용해서 크롤링을 하기 위해서는 웹 드라이브가 필요하다. 나는 구글 웹 드라이브를 사용해본다.

구글 웹 드라이브 다운로드 홈페이지 : https://chromedriver.chromium.org/downloads

다운로드 홈페이지에 접속하면 아래와 같이 다운을 받을수가 있다. 아래에서 다운을 받을 때, 주의 해야 할 부분이 있는데 내가 사용하는 크롬의 버전과 일치를 해야한다.chrome_donwload_homepage.png

나의 크롬 정보를 살펴보기 위해서 크롬에서 Settings - About Chrome 으로 들어가 확인을 해본다.about_chrome.png크롬의 버전이 89.0.~ 이므로 89 버전의 웹 드라이버를 다운받는다.

0
0
이 글을 페이스북으로 퍼가기 이 글을 트위터로 퍼가기 이 글을 카카오스토리로 퍼가기 이 글을 밴드로 퍼가기

파이썬 Python

번호 제목 글쓴이 날짜 조회수
16 비큐냐(Vicuna)와 text-generation-webu 관리자 04-17 1,290
15 Pyjosa - 파이썬 한글 조사 처리 모듈 관리자 03-11 1,262
14 Python 에서 한글 조사 을/를, 이/가, 은/는, 와/과 출력하기 관리자 06-10 2,899
13 flask multifile upload 관리자 05-25 1,359
12 Fast api로 머신러닝 기반 웹사이트 만들고 배포하기 관리자 05-16 2,164
11 CentOS에서 Python 버전 변경 관리자 05-04 1,162
10 fastapi 관리자 05-04 1,214
9 PyQt5 프린트 할 위젯 선택하고 프린트 하는 예제 관리자 02-22 1,284
8 Python 가상환경 - venv 관리자 02-15 1,039
7 MacOS에서 Pyenv PYENV_VIRTUALENV_DISABLE_PROMPT 문구 제거 하기 관리자 02-05 951
6 Mac VSCODE에서 가상환경내 Python으로 Python Interpreter 설정 관리자 02-05 1,612
5 NAVER API를 사용해서 크롤링하기 - 2 관리자 02-05 2,611
4 NAVER API를 사용해서 크롤링하기 - 1 관리자 02-05 1,033
3 selenium을 사용한 데이터 크롤링하기 관리자 02-05 973
2 Using both Python 2.x & 3.x 관리자 02-05 871
1 MacOS] Python(pyenv) 설치 및 버전관리 관리자 02-05 900