Scrapy是一個開源的機遇twisted框架的python的單機爬蟲，該爬蟲實際上包含大多數網頁抓取的工具包，用於爬蟲下載端以及抽取端。
CentOS 6.4 安裝搭建 Scrapy 0.22 環境過程記錄，希望對大家有所幫助。
一、安裝Python2.7.6
1.更新CentOS lib庫文件
yum -y update
2.安裝開發工具包
yum groupinstall -y development
3.安裝擴展包
yum install -y zlib-dev openssl-devel sqlite-devel bzip2-devel
4.下載Python2.7.6
wget http://www.python.org/ftp/python/2.7.6/Python-2.7.6.tar.xz
5.解壓Python2.7.6
tar -xvf Python-2.7.6.tar.xz
6.進入Python2.7.6目錄
cd Python-2.7.6
7.編譯安裝Python2.7.6
./configure
make && make altinstall
二、解決Yum不支持Python2.7的問題
1.將老的Python程序進行備份
mv /usr/bin/python /usr/bin/python2.6.6
2.建立新的Python鏈接
ln -s /usr/local/bin/python2.7 /usr/bin/python
3.修改/usr/bin/yum文件
vi /usr/bin/yum
將第一行的 #!/usr/bin/python 改為 #!/usr/bin/python2.6.6
三、安裝setuptools 和 pip
1.下載setuptools
wget --no-check-certificate https://pypi.python.org/packages/source/s/setuptools/setuptools-1.4.2.tar.gz
2.解壓setuptools
tar -xvf setuptools-1.4.2.tar.gz
3.進入setuptools目錄
cd setuptools-1.4.2
4.通過已安裝的Python2.7.6安裝setuptools
python setup.py install
5.安裝 pip
easy_install pip
6.curl https://raw.github.com/pypa/pip/master/contrib/get-pip.py | python2.7 -
四、安裝libxslt-devel支持lxml
yum install libxslt-devel
五、安裝Scrapy
pip install scrapy
