這篇文章主要用實例解析Python如何爬取YY評級分數并保存數據,內容清晰明了,對此有興趣的小伙伴可以學習一下,相信大家閱讀完之后會有幫助。
前言
當需要進行大規模查詢時(比如目前遇到的情形:查詢某個省所有發債企業的YY評級分數),人工查詢顯然太過費時,那就寫個爬蟲吧。
由于該爬蟲實在過于簡單,就只簡單概述下。
一、請求端
通過觀察YY評級的網頁信息,如下圖(F12或右擊進入檢查,點擊network—>XHR—>headers)。
紅色框表明是個get請求(其實這種網頁基本都是Ajax get,需要總結實際url的規律的)。
綠色框即為實際URL,通過分析該URL,其由兩部分組成。前半部分為“
https://web.ratingdog.cn/v1/search?”,后半部分為黃色框內內容用“&”符號連接后的結果。黃色框內的內容,只有企業名稱為變量,且為已知變量,那URL即可據此確定了。

另外需注意,YY評級需要登錄才可查詢數據,在構建頭部信息進行訪問時,一定要提前登錄,并在頭部信息中放入登錄信息和登錄狀態。
二、響應端
通過觀察網頁的響應信息(F12或右擊進入檢查,點擊network—>XHR—>response),如下圖。響應信息及其簡單,我們所需要的YY評級分數安詳地躺在那里,簡單到一個正則表達式就可以提取出該數據。正則如下:
"msg".*?"IssuerName":"(.*?)","YYRating":"(.*?)/10","IntrinsicRating".*?"

三、代碼
所需數據較少,代碼相對簡單,就不建立函數了,直接一路到底吧。如下:

運行代碼后,得到結果如下。安徽省的100多條數據,就到了本地了


看完上述內容,是不是對用實例解析Python如何爬取YY評級分數并保存數據有進一步的了解,如果還想學習更多內容,歡迎關注億速云行業資訊頻道。
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。