今天就跟大家聊聊有關使用python爬蟲怎么獲取表情包,可能很多人都不太了解,為了讓大家更加了解,小編給大家總結了以下內容,希望大家根據這篇文章可以有所收獲。
1、創建請求頭,也被稱為偽裝瀏覽器
如果不添加請求頭的話,可能會出現當前網站沒有訪問權限。
2、使用requests 網絡請求庫完成網站數據請求
3、獲取數據后使用bs4對頁面數據進行提取
需要用到一個非常好用的第三方包:bs4。
4、實例
import os import requests from bs4 import BeautifulSoup if not os.path.exists('./images/'): os.mkdir('./images/') headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36' } url = 'https://fabiaoqing.com/biaoqing/lists/page/1.html' response = requests.get(url, headers=headers).text ''' lxml: html解析庫,因為python和html兩者沒有關系 python沒有辦法直接控制html代碼 我們就需要使用lxml這個庫將html代碼轉成python對象 需要大家去下載 pip install lxml ''' soup = BeautifulSoup(response, 'lxml') img_list = soup.find_all('img', class_='ui image lazy') for img in img_list: img_url = img['data-original'] img_title = img['title'] print(img_url, img_title) try: with open('./images/' + img_title + os.path.splitext(img_url)[-1], 'wb') as f: ''' 因為一張圖片是二進制數據 如果我們使用text文本形式返回 會對文件造成破壞 使用content去返回原始數據 ''' image = requests.get(img_url, headers=headers).content # 寫入二進制數據 image這個變量是存儲requests返回的二進制數據的 f.write(image) print('保存成功:', img_title) except: pass
python的數據類型:1. 數字類型,包括int(整型)、long(長整型)和float(浮點型)。2.字符串,分別是str類型和unicode類型。3.布爾型,Python布爾類型也是用于邏輯運算,有兩個值:True(真)和False(假)。4.列表,列表是Python中使用最頻繁的數據類型,集合中可以放任何數據類型。5. 元組,元組用”()”標識,內部元素用逗號隔開。6. 字典,字典是一種鍵值對的集合。7. 集合,集合是一個無序的、不重復的數據組合。
看完上述內容,你們對使用python爬蟲怎么獲取表情包有進一步的了解嗎?如果還想了解更多知識或者相關內容,請關注億速云行業資訊頻道,感謝大家的支持。
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。