溫馨提示×

怎么使用BeautifulSoup與requests庫爬取網頁

小億
111
2024-05-14 12:47:13
欄目: 編程語言

首先需要安裝BeautifulSoup和requests庫,可以通過以下命令安裝:

pip install beautifulsoup4
pip install requests

接下來可以使用以下代碼來爬取網頁內容:

import requests
from bs4 import BeautifulSoup

# 發起GET請求
url = 'https://www.example.com'
response = requests.get(url)

# 解析網頁內容
soup = BeautifulSoup(response.text, 'html.parser')

# 找到需要的內容
content = soup.find('div', class_='content').text

print(content)

在上面的代碼中,首先發起一個GET請求并獲取網頁的內容,然后使用BeautifulSoup解析網頁內容。接著通過find方法找到需要的內容,最后打印出來??梢愿鶕W頁的具體結構和需要的內容做相應的調整。

0
亚洲午夜精品一区二区_中文无码日韩欧免_久久香蕉精品视频_欧美主播一区二区三区美女