scrapy是python下的一個開源包,首先你要安裝這個。首先當然是要安裝python環境。。Ubuntu默認自帶一個python環境,Windows下需要自行安裝並配置環境變量等,在此不多做贅述。
1.Windows
Windows下scrapy需要很多的依賴包。
(1)pywin32
pywin32下載地址:https://sourceforge.net/projects/pywin32/files/pywin32/
(2)twisted
當然twisted這個異步通信框架也需要一些依賴包(= =)。
zope.interface 和 pyopenssl
zope下載地址:https://pypi.python.org/pypi/zope.interface#download
pyopenssl下載地址:https://pypi.python.org/pypi/pyOpenSSL
twisted下載地址:http://twistedmatrix.com/trac/wiki/Downloads
(3)lxml
下載地址:https://pypi.python.org/pypi/lxml/
ps:如果遇到.whl的擴展名,只需改成.rar解壓後將裡面的文件夾放到python的系統環境中即可。
(4)安裝scrapy
安裝scrapy有很多方法。可以用easytool
我是用pip裝的:pip install scrapy
2.Ubuntu
(1).升級python至2.7.11(自帶pip) ---可選,也可不升級
wget https://www.python.org/ftp/python/2.7.11/Python-2.7.11.tgz
tar -xvf Python-2.7.11.tgz
cd Python-2.7.11
./configure && make && make install && make clean #
(2)安裝依賴包
apt-get install python-dev libxml2-dev libxslt1-dev libssl-dev libffi-dev #
(3)安裝scrapy
pip install Scrapy
http://xxxxxx/Linuxjc/1145132.html TechArticle
為ubuntu操作系統增加root用戶,ubuntu操作系統root
轉載--改變ubuntu默認編碼為GBK,ubuntugbk
跳入linux的第一個坑-因為安裝Ubuntu導致的硬盤被誤格的恢復.(記TestDisk使用記錄),ubuntutestdisk
Vmware虛擬機安裝Ubuntu 16.04 LTS(長期支持)版本+VMware tools安裝,ubuntu16.04
【21天實戰Caffe】學習筆記(一)Caffe+Ubuntu16.04環境搭建,caffeubuntu16.04
Ubuntu16.04 靜態IP設置,ubuntu16.04靜態ip
Ubuntu 16.04 LTS sublime text 3 解決不能輸入中文,16.04sublime
沈逸老師ubuntu速學筆記(2)-- ubuntu16.04下 apache2.4和php7結合編譯安裝,並安裝PDOmysql擴展,php7pdomysql