Windows7（32位）安裝爬蟲利器Scrapy小結

Windows7（32位）安裝爬蟲利器Scrapy小結

安裝環境說明

我家中筆記本的環境非常簡單：

• Windows 7旗艦版32位（非SP1）
• Python 3.4.4（非SP1的WIN7下無法安裝版本3.5+）

  Scrapy安裝

  Scrapy重度依賴于lxml和twisted兩個框架。這也正是問題所在。開源環境下工具的安裝往往需要我們事先確定要安裝的工具庫依賴于哪些第三方庫及其相關的依賴。如果有一個依賴安裝要求滿足不了，則安裝失敗。因此，安裝前要做好必要的調查分析。

  試驗安裝Scrapy失敗

  最開始時，我在DOS命令行下使用如下命令安裝，但是失敗了：
  pip install scrapy

運行上述命令時，pip會默認從https://files.pythonhosted.org網站上下載并安裝最新版本的scrapy庫，當然它會自動分析當前系統中已經安裝的python版本。盡管如此，其所依賴的其他第三方庫并不會作嚴格檢查，結果會導致整個安裝僅查最后的百分之幾卻是以失敗結果而告終。

安裝lxml

絕大多數網站上推薦的Lxml安裝思路是從Python第三方庫的網站http://www.lfd.uci.edu/~gohlke/pythonlibs/上下載編譯好的.whl壓縮文件，如下圖：

但是，很遺憾，當我現在跳轉到此網站找Python 3.4對應版本的.WHL文件時，早已不存在了。但是，以它提供的合適的文件作參考lxml-3.7.3-cp34-cp34m-win32.whl，我再次從網絡上搜索，最終從開源網站github（https://github.com/Lucterios2/core/blob/master/packages/lxml-3.4.4-cp34-none-win32.whl）上找到一個文件lxml-3.4.4-cp34-none-win32.whl。

下載沒有問題，安裝前需要先安裝wheel，也很容易，最后安裝成功！

twisted不需要單獨專門安裝

成功安裝Scrapy

值得慶幸的是，Scrapy當前最新版本也正是1.7.3，我從網絡上搜索到的文件名是Scrapy-1.7.3-py2.py3-none-any.whl。

下載地址也很經典，是https://pypi.org/project/Scrapy/#files

下載容易，安裝也非常簡單，成功安裝！
而沒有直接使用命令pip install scrapy安裝。

小結

安裝過程中經歷的挫折很多很多，盡管沒有細述，但是經驗卻已經寫了最前面。希望有興趣的讀者在行動前先要做到心中有數，而不是盲目地跟著某些文章中介紹的那樣上來就直接安裝，這樣的話，很可能會導致安裝了一些半成品——甚至算是垃圾，給自己的清理后的重新安裝都帶來很多麻煩！