這篇文章主要介紹了Python3爬蟲利器Scrapyrt的安裝方法是什么，具有一定借鑒價值，需要的朋友可以參考下。希望大家閱讀完這篇文章后大有收獲。下面讓小編帶著大家一起了解一下。
Scrapyrt為Scrapy提供了一個調度的HTTP接口，有了它，我們就不需要再執行Scrapy命令而是通過請求一個HTTP接口來調度Scrapy任務了。Scrapyrt比Scrapyd更輕量，如果不需要分布式多任務的話，可以簡單使用Scrapyrt實現遠程Scrapy任務的調度。
1. 相關鏈接
GitHub：https://github.com/scrapinghub/scrapyrt
官方文檔：http://scrapyrt.readthedocs.io
2. pip安裝
這里推薦使用pip安裝，命令如下：
pip3 install scrapyrt
接下來，在任意一個Scrapy項目中運行如下命令來啟動HTTP服務：
scrapyrt
運行之后，會默認在9080端口上啟動服務，類似的輸出結果如下：
scrapyrt 2017-07-12 22:31:03+0800 [-] Log opened. 2017-07-12 22:31:03+0800 [-] Site starting on 9080 2017-07-12 22:31:03+0800 [-] Starting factory <twisted.web.server.Site object at 0x10294b160>
如果想更換運行端口，可以使用-p參數，如：
scrapyrt -p 9081
這樣就會在9081端口上運行了。
3. Docker安裝
另外，Scrapyrt也支持Docker。比如，要想在9080端口上運行，且本地Scrapy項目的路徑為/home/quotesbot，可以使用如下命令運行：
docker run -p 9080:9080 -tid -v /home/user/quotesbot:/scrapyrt/project scrapinghub/scrapyrt
這樣同樣可以在9080端口上監聽指定的Scrapy項目。
感謝你能夠認真閱讀完這篇文章，希望小編分享Python3爬蟲利器Scrapyrt的安裝方法是什么內容對大家有幫助，同時也希望大家多多支持億速云，關注億速云行業資訊頻道，遇到問題就找億速云，詳細的解決方法等著你來學習!
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
