scrapy설치 ( ubuntu에서 진행 ) 
python가상환경을 통해 만들어주었다. 
이런식으로 안 해도 되지만, 프로젝트별로 별도로 환경을 구축하면 라이브러리도 안 꼬이고 편하다.

# 먼저 앱 업데이트를 먼저 해준다.
$ apt-get update 
# gcc나 make등 개발하기 위한 기본 패키지
$ apt-get install build-essential

# python을 설치 하고, pip도 설치해준다.
$ apt-get install python
# 버전 확인
$ python -V
# python package관리를 위해 python-pip설치
$ apt-get install python-pip 

# 파이썬 가상환경 구축 ( 가상환경을 사용 안 해도 되지만, library가 꼬일 가능성이 있기에 가상환경을 구축하였다 ) 
#virtualenvwrapper :  virtualenv을 사용하기 쉽게 제공
$ pip install virtualenv virtualenvwrapper

# vim 이없어서 설치해줌 .. 
$ apt-get install vim

# 환경변수에 넣어준다.
$  vi .bashrc
# 맨 아래 두줄 추가
export WORKON_HOME=$HOME/.virtualenvs
source /usr/local/bin/virtualenvwrapper.sh

# 바로 적용 
$ source .bashrc

# test라는 가상환경 패키지생성
$ mkvirtualenv test

(test) root@447fe7338239:~#
나갈땐 
$ deactivate

들갈 땐 
$ workon test

# 설치되는 위치 
$  cd .virtualenvs/


########## scrapy설치
$ apt-get install libffi-dev libssl-dev
$ pip install Scrapy




'apps > crawling' 카테고리의 다른 글

scrapy을 사용하여 크롤링 - 실전  (0) 2018.09.13
scrapy를 통해 크롤링 해보기 - 설치  (0) 2018.09.13

+ Recent posts