怎么用python爬取貓眼電影的前100部影片

怎么用Python爬取貓眼電影的前100部影片

在當今信息爆炸的時代，數據已經成為了一種寶貴的資源。對于電影愛好者、數據分析師或是市場研究人員來說，獲取電影相關的數據是非常有價值的。貓眼電影作為中國領先的電影信息平臺，提供了豐富的電影數據，包括電影評分、票房、評論等。本文將詳細介紹如何使用Python爬取貓眼電影的前100部影片數據。

1. 準備工作

在開始爬取數據之前，我們需要做一些準備工作。首先，確保你已經安裝了Python環境。接下來，我們需要安裝一些必要的Python庫，包括requests、BeautifulSoup和pandas。這些庫將幫助我們發送HTTP請求、解析HTML頁面以及處理數據。

pip install requests beautifulsoup4 pandas

2. 分析目標網站

在爬取數據之前，我們需要對目標網站進行分析。打開貓眼電影的官方網站（https://maoyan.com），找到電影排行榜頁面。通常，排行榜頁面會列出當前熱門的電影，并按照一定的規則進行排序。

我們需要確定以下幾個關鍵點：

• 目標URL：電影排行榜頁面的URL。
• 頁面結構：電影信息在HTML頁面中的位置和標簽。
• 分頁機制：如果排行榜有分頁，我們需要確定如何獲取下一頁的數據。

3. 發送HTTP請求

使用requests庫發送HTTP請求，獲取目標頁面的HTML內容。我們可以通過以下代碼實現：

import requests

url = "https://maoyan.com/board/4"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"
}

response = requests.get(url, headers=headers)
if response.status_code == 200:
    html = response.text
else:
    print("Failed to retrieve the webpage")

4. 解析HTML頁面

獲取到HTML內容后，我們需要使用BeautifulSoup庫解析頁面，提取出我們需要的電影信息。首先，我們需要找到電影信息所在的HTML標簽。通過瀏覽器的開發者工具，我們可以發現每部電影的信息都包含在一個<dd>標簽中。

from bs4 import BeautifulSoup

soup = BeautifulSoup(html, "html.parser")
movies = soup.find_all("dd")

接下來，我們可以遍歷這些<dd>標簽，提取出每部電影的名稱、主演、上映時間、評分等信息。

for movie in movies:
    name = movie.find("p", class_="name").text.strip()
    stars = movie.find("p", class_="star").text.strip()
    release_time = movie.find("p", class_="releasetime").text.strip()
    score = movie.find("p", class_="score").text.strip()
    
    print(f"Name: {name}")
    print(f"Stars: {stars}")
    print(f"Release Time: {release_time}")
    print(f"Score: {score}")
    print("-" * 40)

5. 處理分頁

如果排行榜有分頁，我們需要處理分頁機制，以獲取更多的電影數據。通常，分頁的URL會包含一個頁碼參數。我們可以通過修改URL中的頁碼參數來獲取不同頁面的數據。

base_url = "https://maoyan.com/board/4?offset={}"
for i in range(0, 100, 10):
    url = base_url.format(i)
    response = requests.get(url, headers=headers)
    if response.status_code == 200:
        html = response.text
        soup = BeautifulSoup(html, "html.parser")
        movies = soup.find_all("dd")
        
        for movie in movies:
            name = movie.find("p", class_="name").text.strip()
            stars = movie.find("p", class_="star").text.strip()
            release_time = movie.find("p", class_="releasetime").text.strip()
            score = movie.find("p", class_="score").text.strip()
            
            print(f"Name: {name}")
            print(f"Stars: {stars}")
            print(f"Release Time: {release_time}")
            print(f"Score: {score}")
            print("-" * 40)
    else:
        print(f"Failed to retrieve the webpage for offset {i}")

6. 存儲數據

獲取到電影數據后，我們可以將其存儲到CSV文件中，以便后續分析。使用pandas庫可以方便地將數據存儲為CSV文件。

import pandas as pd

data = []
for i in range(0, 100, 10):
    url = base_url.format(i)
    response = requests.get(url, headers=headers)
    if response.status_code == 200:
        html = response.text
        soup = BeautifulSoup(html, "html.parser")
        movies = soup.find_all("dd")
        
        for movie in movies:
            name = movie.find("p", class_="name").text.strip()
            stars = movie.find("p", class_="star").text.strip()
            release_time = movie.find("p", class_="releasetime").text.strip()
            score = movie.find("p", class_="score").text.strip()
            
            data.append([name, stars, release_time, score])
    else:
        print(f"Failed to retrieve the webpage for offset {i}")

df = pd.DataFrame(data, columns=["Name", "Stars", "Release Time", "Score"])
df.to_csv("maoyan_top_100_movies.csv", index=False)

7. 完整代碼

以下是完整的Python代碼，用于爬取貓眼電影的前100部影片數據并存儲到CSV文件中。

import requests
from bs4 import BeautifulSoup
import pandas as pd

base_url = "https://maoyan.com/board/4?offset={}"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"
}

data = []
for i in range(0, 100, 10):
    url = base_url.format(i)
    response = requests.get(url, headers=headers)
    if response.status_code == 200:
        html = response.text
        soup = BeautifulSoup(html, "html.parser")
        movies = soup.find_all("dd")
        
        for movie in movies:
            name = movie.find("p", class_="name").text.strip()
            stars = movie.find("p", class_="star").text.strip()
            release_time = movie.find("p", class_="releasetime").text.strip()
            score = movie.find("p", class_="score").text.strip()
            
            data.append([name, stars, release_time, score])
    else:
        print(f"Failed to retrieve the webpage for offset {i}")

df = pd.DataFrame(data, columns=["Name", "Stars", "Release Time", "Score"])
df.to_csv("maoyan_top_100_movies.csv", index=False)

8. 總結

通過本文的介紹，我們學習了如何使用Python爬取貓眼電影的前100部影片數據。我們首先分析了目標網站的結構，然后使用requests庫發送HTTP請求，獲取HTML頁面內容。接著，我們使用BeautifulSoup庫解析HTML頁面，提取出電影信息。最后，我們將數據存儲到CSV文件中，以便后續分析。

爬取數據是一項非常有用的技能，但在實際操作中，我們需要注意遵守網站的robots.txt文件中的規定，避免對目標網站造成過大的訪問壓力。此外，爬取數據時還需要注意數據的合法性和隱私問題。

希望本文對你有所幫助，祝你在數據爬取的道路上越走越遠！