這篇文章將為大家詳細講解有關用python爬取網頁文字的方法，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。
用Python進行爬取網頁文字的代碼：
#!/usr/bin/python # -*- coding: UTF-8 -*- import requests import re # 下載一個網頁 url = 'https://www.biquge.tw/75_75273/3900155.html' # 模擬瀏覽器發送http請求 response = requests.get(url) # 編碼方式 response.encoding='utf-8' # 目標小說主頁的網頁源碼 html = response.text print(html)
1、編寫爬蟲思路：
確定下載目標，找到網頁，找到網頁中需要的內容。對數據進行處理。保存數據。
2、知識點說明：
1）確定網絡中需要的信息，打開網頁后使用F12打開開發者模式。
在Network中可以看到很多信息，我們在頁面上看到的文字信息都保存在一個html文件中。點擊文件后可以看到response，文字信息都包含在response中。
對于需要輸入的信息，可以使用ctrl+f，進行搜索。查看信息前后包含哪些特定字段。
對于超鏈接的提取，可以使用最左邊的箭頭點擊超鏈接，這時Elements會打開有該條超鏈接的信息，從中判斷需要提取的信息。從下載小說來看，在目錄頁提取出小說的鏈接和章節名。
2）注意編碼格式
輸入字符集一定要設置成utf-8。頁面大多為GBK字符集。不設置會亂碼。
關于用python爬取網頁文字的方法就分享到這里了，希望以上內容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
