溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

用實例解析Python如何爬取YY評級分數并保存數據

發布時間:2020-07-20 14:17:53 來源:億速云 閱讀:318 作者:小豬 欄目:開發技術

這篇文章主要用實例解析Python如何爬取YY評級分數并保存數據,內容清晰明了,對此有興趣的小伙伴可以學習一下,相信大家閱讀完之后會有幫助。

前言

當需要進行大規模查詢時(比如目前遇到的情形:查詢某個省所有發債企業的YY評級分數),人工查詢顯然太過費時,那就寫個爬蟲吧。

由于該爬蟲實在過于簡單,就只簡單概述下。

一、請求端

通過觀察YY評級的網頁信息,如下圖(F12或右擊進入檢查,點擊network—>XHR—>headers)。

紅色框表明是個get請求(其實這種網頁基本都是Ajax get,需要總結實際url的規律的)。

綠色框即為實際URL,通過分析該URL,其由兩部分組成。前半部分為“
https://web.ratingdog.cn/v1/search?”,后半部分為黃色框內內容用“&”符號連接后的結果。黃色框內的內容,只有企業名稱為變量,且為已知變量,那URL即可據此確定了。

用實例解析Python如何爬取YY評級分數并保存數據

另外需注意,YY評級需要登錄才可查詢數據,在構建頭部信息進行訪問時,一定要提前登錄,并在頭部信息中放入登錄信息和登錄狀態。

二、響應端

通過觀察網頁的響應信息(F12或右擊進入檢查,點擊network—>XHR—>response),如下圖。響應信息及其簡單,我們所需要的YY評級分數安詳地躺在那里,簡單到一個正則表達式就可以提取出該數據。正則如下:

"msg".*?"IssuerName":"(.*?)","YYRating":"(.*?)/10","IntrinsicRating".*?"

用實例解析Python如何爬取YY評級分數并保存數據

三、代碼

所需數據較少,代碼相對簡單,就不建立函數了,直接一路到底吧。如下:

用實例解析Python如何爬取YY評級分數并保存數據

運行代碼后,得到結果如下。安徽省的100多條數據,就到了本地了

用實例解析Python如何爬取YY評級分數并保存數據

用實例解析Python如何爬取YY評級分數并保存數據

看完上述內容,是不是對用實例解析Python如何爬取YY評級分數并保存數據有進一步的了解,如果還想學習更多內容,歡迎關注億速云行業資訊頻道。

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

亚洲午夜精品一区二区_中文无码日韩欧免_久久香蕉精品视频_欧美主播一区二区三区美女