如何使用Python爬蟲Scrapy爬取中國地震數據,針對這個問題,這篇文章詳細介紹了相對應的分析和解答,希望可以幫助更多想解決這個問題的小伙伴找到更簡單易行的方法。
總感覺最近好多地震的新聞,就想著爬一波地震相關的數據來看看。
Python 版本:3.6.4
相關模塊:
scrapy模塊;
jieba模塊;
pyecharts模塊;
folium模塊;
wordcloud模塊;
fake_useragent模塊;
以及一些Python自帶的模塊。
安裝Python并添加到環境變量,pip安裝需要的相關模塊即可。
首先新建一個project:
然后打開中國地震臺網:
http://news.ceic.ac.cn/index.html
發現使用網站自帶的查詢功能就可以查詢到指定時間和經緯度范圍的地震數據:
圖片
OK,那就開始寫代碼吧~
先在items.py文件內定義我們要爬取的數據:
class EarthquakeItem(scrapy.Item):
在spiders文件夾下新建main.py函數寫我們爬蟲主程序,這里我們爬取的是從2000年1月1日開始至今網站上所有有記錄的地震數據(事實上,跑完代碼發現網站里只有從2012年開始的地震數據T_T):
'''main'''
OK,大功告成了,在第一個earthquake文件夾下運行如下命令就行了:
scrapy crawl earthquake -o eqdata.json -t json
爬取的數據將保存在eqdata.json文件內。
關于如何使用Python爬蟲Scrapy爬取中國地震數據問題的解答就分享到這里了,希望以上內容可以對大家有一定的幫助,如果你還有很多疑惑沒有解開,可以關注億速云行業資訊頻道了解更多相關知識。
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。