scrapy를 통해 크롤링 해보기 - 설치

scrapy설치 ( ubuntu에서 진행 ) 

python가상환경을 통해 만들어주었다. 

이런식으로 안 해도 되지만, 프로젝트별로 별도로 환경을 구축하면 라이브러리도 안 꼬이고 편하다.

# 먼저 앱 업데이트를 먼저 해준다.

$ apt-get update 

# gcc나 make등 개발하기 위한 기본 패키지

$ apt-get install build-essential

# python을 설치 하고, pip도 설치해준다.

$ apt-get install python

# 버전 확인

$ python -V

# python package관리를 위해 python-pip설치

$ apt-get install python-pip 

# 파이썬 가상환경 구축 ( 가상환경을 사용 안 해도 되지만, library가 꼬일 가능성이 있기에 가상환경을 구축하였다 ) 

#virtualenvwrapper :  virtualenv을 사용하기 쉽게 제공

$ pip install virtualenv virtualenvwrapper

# vim 이없어서 설치해줌 .. 

$ apt-get install vim

# 환경변수에 넣어준다.

$  vi .bashrc

# 맨 아래 두줄 추가

export WORKON_HOME=$HOME/.virtualenvs

source /usr/local/bin/virtualenvwrapper.sh

# 바로 적용 

$ source .bashrc

# test라는 가상환경 패키지생성

$ mkvirtualenv test

(test) root@447fe7338239:~#

나갈땐 

$ deactivate

들갈 땐 

$ workon test

# 설치되는 위치 

$  cd .virtualenvs/

########## scrapy설치

$ apt-get install libffi-dev libssl-dev

$ pip install Scrapy