윈도우에서 scrapy 설치 및 확인

Anaconda Prompt를 켜고(없다면 설치..) conda create -n py27 python=2.7을 입력한다. 설치를 기다린다. 설치가 완료된 뒤

python --version을 입력하면 기존에 사용하던 버전이 나온다. 3.6이라던가..

activate py27을 입력해서 아까 만든 가상 환경을 실행하고 python --version을 입력한다 그러면 python2.7.x.가 나온다.

가상환경을 종료하려면 deactivate py27 입력

scrapy를 설치할 때 lxml 라이브러리가 필요하다. https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml 여기로 이동해서 운영체제 비트 수에 맞는 파일을 받는다 32비트면 

• lxml‑4.2.1‑cp27‑cp27m‑win32.whl

64비트면 

• lxml‑4.2.1‑cp27‑cp27m‑win_amd64.whl

다운로드 폴더에 들어가서 해당 파일을 잘라내기 한 뒤 C:\사용자\xx 에 붙여넣기 한다. 이 곳이 홈에 해당하기 때문이다.

명령창으로 이동해서 pip install lxml-4.2.1-cp27-cp27m-win_amd64.whl을 입력한다. 파일명은 바뀔 수 있다. pip install lxml까지만 치고 tab키를 누르면 자동 완성된다.

pip install pypiwin32 명령어로 pypiwin32를 설치해야 한다. 설치가 다 되면 python 2.7 compiler를 설치해야 한다.

http://www.microsoft.com/en-us/download/details.aspx?id=44266

설치가 완료되면

다시 명령창으로 이동해서 pip install Scrapy를 입력해서 scrapy를 설치한다.

설치가 되면

pip install selenium을 입력해서 설치한다. selenium은 자동화 브라우저 라이브러리이다. 크롬에서 제공하는 드라이버를 설치해야 한다.

https://sites.google.com/a/chromium.org/chromedriver/downloads

설치하고 압축을 푼 뒤 드라이버를 C:\사용자\xx에 이동시킨다.

동작 테스트

scrapy shell "http://www.naver.com"

response.text 를 입력하면 해당 url의 html 소스코드를 얻어 올 수 있다. exit()으로 나온다.

pip install ipython으로 설치 후 ipython 입력

from selenium import webdriver

browser = webdriver.Chrome("C:\Users\xx\chromedriver.exe") 입력하면 크롬 창이 하나 뜬다

browser.get("http://www.naver.com") 입력하면 네이버가 들어가진다.

browser.quit()을 입력하면 브라우저가 꺼지고

exit()을 입력하면 selenium이 종료된다.

출처 https://www.youtube.com/watch?v=uTDjtDVVXR4 http://nittaku.tistory.com/134