Centos6.5x64安裝scrapy1.0.4成功-創(chuàng)新互聯(lián)

最近在自學(xué)爬蟲框架scrapy，看了看官網(wǎng)文檔，迫不及待動手安裝。結(jié)果錯誤百出，慘不忍睹。網(wǎng)上搜了一篇文章，（原文鏈接 http://www.tuicool.com/articles/URNVV3E）。

網(wǎng)站的建設(shè)成都創(chuàng)新互聯(lián)專注網(wǎng)站定制,經(jīng)驗(yàn)豐富,不做模板,主營網(wǎng)站定制開發(fā).小程序定制開發(fā),H5頁面制作!給你煥然一新的設(shè)計體驗(yàn)!已為主動防護(hù)網(wǎng)等企業(yè)提供專業(yè)服務(wù)。

首先，介紹下環(huán)境：

1、Centos6.5 x64 安裝在VMware虛擬機(jī)中，因?yàn)楹笃谛枰浦玻爝x擇了兼容vm10.0。

# yum -y update

升級下系統(tǒng)

2、Python2.7.9。系統(tǒng)自帶為2.6.6。

cd ~/Download

管網(wǎng)下載源碼：

wget --no-check-certificate https://www.python.org/ftp/python/2.7.9/Python-2.7.9.tar.xz

tar xvf Python-2.7.9.tar.xz

cd Python-2.7.9

./configure --with-ensurepip=install   #其余保持默認(rèn)

make

sudo make install # 如果python2.7.9做副版本的話使用make altinstall

[Mikky@localhost Python-2.7.9]$ python
Python 2.7.9 (default, Feb 1 2016, 21:30:54)
[GCC 4.4.7 20120313 (Red Hat 4.4.7-16)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>>

升級了下libffi-devel因?yàn)椴人犹?，所以直接又更新了下，此步選做：

sudo yum install update libffi-devel

至此環(huán)境準(zhǔn)備妥當(dāng)，下面就是踩坑環(huán)節(jié)o(╯□╰)o

安裝失敗方法：

sudo /usr/local/bin/pip install scrapy

錯誤很多，參考文首的鏈接依然無法解決?？泳筒毁N出來了，慢慢踩吧。

那么多坑的主要原因在于pip安裝軟件的依賴庫問題，尤其是：cryptography。

pip默認(rèn)安裝最新的而不是最穩(wěn)定的版本，安裝的cryptography為最新版（1.2.2   我的安裝時間為2016年2月初），因此：

sudo /usr/local/bin/pip install cryptography==0.9

........無視warn

Successfully installed cryptography idna pyasn1 six enum34 ipaddress cffi pycparser
Cleaning up...

到這大功告成一大半了，接下來請主角出場：

sudo /usr/local/bin/pip install scrapy
.........

Successfully installed scrapy pyOpenSSL queuelib service-identity lxml w3lib cssselect Twisted pyasn1-modules characteristic zope.interface
Cleaning up...

[Mikky@localhost ~]$ scrapy version
/usr/local/lib/python2.7/site-packages/cffi/model.py:526: UserWarning: 'point_conversion_form_t' has no values explicitly defined; next version will refuse to guesswhich integer type it is meant to be (unsigned/signed, int/long)
 % self._get_c_name())
Scrapy 1.0.4
繼續(xù)無視警告，已經(jīng)被這些警告整瘋了。

$ scrapy startproject tutorial
/usr/local/lib/python2.7/site-packages/cffi/model.py:526: UserWarning: 'point_conversion_form_t' has no values explicitly defined; next version will refuse to guess which integer type it is meant to be (unsigned/signed, int/long)
 % self._get_c_name())
New Scrapy project 'tutorial' created in:
   /home/Mikky/scrapy/tutorial

You can start your first spider with:
   cd tutorial
   scrapy genspider example example.com
[Mikky@localhost scrapy]$ ll
total 4
drwxrwxr-x. 3 Mikky Mikky 4096 Feb 3 22:27 tutorial

安裝完成，關(guān)于這個warning，參見https://bitbucket.org/cffi/cffi/issues/234/cffi-131-userwarning-about 。

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點(diǎn)與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

網(wǎng)頁標(biāo)題：Centos6.5x64安裝scrapy1.0.4成功-創(chuàng)新互聯(lián)
網(wǎng)頁網(wǎng)址：http://www.jbt999.com/article22/dgjijc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供響應(yīng)式網(wǎng)站、App設(shè)計、關(guān)鍵詞優(yōu)化、微信公眾號、網(wǎng)站制作、網(wǎng)站收錄

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：[email protected]。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)