溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

Python3爬蟲利器Scrapyd API如何安裝

發布時間:2020-08-05 13:56:07 來源:億速云 閱讀:244 作者:小新 欄目:編程語言

Python3爬蟲利器Scrapyd API如何安裝?這個問題可能是我們日常學習或工作經常見到的。希望通過這個問題能讓你收獲頗深。下面是小編給大家帶來的參考內容,讓我們一起來看看吧!

安裝好了Scrapyd之后,我們可以直接請求它提供的API來獲取當前主機的Scrapy任務運行狀況。比如,某臺主機的IP為192.168.1.1,則可以直接運行如下命令獲取當前主機的所有Scrapy項目:

curl http://localhost:6800/listprojects.json

運行結果如下:

{"status": "ok", "projects": ["myproject", "otherproject"]}

返回結果是JSON字符串,通過解析這個字符串,便可以得到當前主機的所有項目。

但是用這種方式來獲取任務狀態還是有點煩瑣,所以Scrapyd API就為它做了一層封裝,下面我們來看下它的安裝方式。

1. 相關鏈接

GitHub:https://pypi.python.org/pypi/python-scrapyd-api/

PyPI:https://pypi.python.org/pypi/python-scrapyd-api

官方文檔:http://python-scrapyd-api.readthedocs.io/en/latest/usage.html

2. pip安裝

這里推薦使用pip安裝,命令如下:

pip install python-scrapyd-api

3. 驗證安裝

安裝完成之后,便可以使用Python來獲取主機狀態了,所以上面的操作便可以用Python代碼實現:

from scrapyd_api import ScrapydAPI
scrapyd = ScrapydAPI('http://localhost:6800')
print(scrapyd.list_projects())

運行結果如下:

["myproject", "otherproject"]

這樣我們便可以用Python直接來獲取各個主機上Scrapy任務的運行狀態了。

感謝各位的閱讀!看完上述內容,你們對Python3爬蟲利器Scrapyd API如何安裝大概了解了嗎?希望文章內容對大家有所幫助。如果想了解更多相關文章內容,歡迎關注億速云行業資訊頻道。

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

亚洲午夜精品一区二区_中文无码日韩欧免_久久香蕉精品视频_欧美主播一区二区三区美女