centos6.7+python3.5.2安装scrapy（待修改完善）

在安装scrapy的前提需要安装python，pip，setuptools，OpenSSL，lxml

安装python3.5，pip参考这篇文章

安装lxml：

安装之前记得安装libxslt和libxml

yum install libxml* -y
yum install libxslt-y

wget http://lxml.de/files/lxml-3.1.2.tgz
tar xzvf lxml-3.1.2.tgz
cd lxml-3.1.2
python setup.py build
python setup.py install

#验证是否安装成功
shell > python
>>> import lxml

  为了确保依赖被安装，执行命令： 
 sudo yum install gcc libffi-devel python-devel openssl-devel 

  单独装Twisted： 

  下载 
 https://pypi.python.org/packages/source/T/Twisted/Twisted-15.2.1.tar.bz2#md5=4be066a899c714e18af1ecfcb01cfef7 

  tar -jxvf Twisted-15.2.1.tar.bz2 

  cd Twisted-15.2.1python setup.py install 

  检验： 

  >>>import Twisted 

  此时twisted已经安装成功。 

  在验证import OpenSSL时出现错误：ImportError: No module named 'cryptography' 

  然后单独安装easy_install cryptography，出现：from pkg_resources import load_entry_point 

  ImportError: No module named pkg_resources 

  重装一下setuptools即可解决：wget https://bootstrap.pypa.io/ez_setup.py -O - | python 

  重新执行easy_install cryptography，安装成功。 

  验证： 

  >>>import OpenSSL 

  重新装scrapy：easy_install scrapy 

  出现错误：ImportError: Twisted requires Python 2.7 or later. 

  网上说需要首先安装Twsisted的两个依赖库pyOpenSSL和pycrypto 。 

  easy_install pyOpenSSL 

  easy_install pycrypto 

  执行easy_install scrapy 

  验证：>>>import scrapy 

  则安装成功！ 

centos6.7+python3.5.2安装scrapy（待修改完善）

相关文章