小編給大家分享一下怎么用python爬蟲獲取豆瓣的書評，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！
python的五大特點：1.簡單易學，開發程序時，專注的是解決問題,而不是搞明白語言本身。2.面向對象，與其他主要的語言如C++和Java相比, Python以一種非常強大又簡單的方式實現面向對象編程。3.可移植性，Python程序無需修改就可以在各種平臺上運行。4.解釋性，Python語言寫的程序不需要編譯成二進制代碼,可以直接從源代碼運行程序。5.開源，Python是 FLOSS(自由/開放源碼軟件)之一。
1、分析網站
整個豆瓣的框架設計都是簡單的靜態頁面，只需要頁面代碼參數。
urls=[]
pages=79 #可以根據頁面數據來設定
for page in range(0,pages):
url = 'https://book.douban.com/subject/26369699/reviews?start={}'.format(page)
urls=urls.append(url)通過觀察每個頁面的網站規則，可以推測start的計算公式，例如上面的代碼自動生成所有數據的地址。
2、爬取網頁
需要登錄并將cookie傳遞給請求頭，以便正常請求數據。您可以在開發人員模型的RequestHeaders中獲得cookies值。
def getHTML(url):
headers={'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36',
'Connection': 'keep-alive',
'Cookie': '', #你的cookies
'Referer': 'https://book.douban.com/subject/26369699/reviews',
}
request = urllib.request.Request(url,headers=headers)
response = urllib.request.urlopen(request)
content = response.read().decode('utf-8')
return content以上是“怎么用python爬蟲獲取豆瓣的書評”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業資訊頻道！
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
