如何用python做一個簡單的爬蟲

這篇文章給大家分享的是有關如何用python做一個簡單的爬蟲的內容。小編覺得挺實用的，因此分享給大家做個參考。一起跟隨小編過來看看吧。

爬蟲技術是一個獲取信息和數據的重要手段。學習用python做一個簡單的爬蟲。

爬蟲主要分為兩個部分：

獲取數據

urllib 內建模塊(url.request)

Requests 第三方庫

Scrapy框架

第三方的API

解析數據

BeautifulSoup庫

re模塊

一.從網絡上取的數據

簡單的爬蟲是可以使用Requests庫來完成的。

Requests的基本使用方法

requests.get()用來請求指定URL位置的資源，對應的是HTTP協議的GET方法。

爬蟲有各式各樣的，做個簡單的來玩耍一下，下面以爬豆瓣讀書上《利用Python進行數據分析》這本書的的書評作為例子。

最簡單的爬回來一個頁面

import requests

r = requests.get('https://book.douban.com/subject/25779298/comments/')
with open(r'D:\demo.txt', 'w') as file:
    file.writelines(r.text)

使用requests模塊的get方法，從網站上把一整個頁面全都保存到了本地的D盤中的demo.txt文件中。這是一個極度簡單的爬蟲。其中requests本身自己還有許多屬性和方法，可以去官網參考學習。如果需要把爬蟲收集回來的數據保存到本地的話，還需要去了解一下文件操作和數據庫操作的知識。

二.把數據解析出來

一般的標簽網頁解析--BeautifulSoup

安裝的時候要注意：Pyhton3要安裝BeautifulSoup4才是正常使用的。

打開剛才生成的demo.txt文件，會發現文件中保存的是一整個頁面的代碼，內容十分復雜，所以需要去解析一下頁面的內容，才能夠把我們需要的短評抽取出來。我們先研究一下。

打開文件，或者在網頁頁面按F12進入調試模式會發現，短評基本上是在一個相同的class的p標簽里面的

<p class="comment-content">入門書，零基礎看了這本書也能用python的pandas和matplotlib進行一些簡單的數據分析，
數據分析不在乎用什么工具，而是有目的地去找一y些insight，下一步我需要達到的效果是：如果產生一個想法，
能用工具快速驗證（如數據預處理，繪出圖標等）。</p>

引入beautifulsoup來解析一下。要使用到的lxml解析包同樣是需要安裝的。

修改一下剛才的極簡爬蟲：

import requests
from bs4 import BeautifulSoup

r = requests.get('https://book.douban.com/subject/25779298/comments/')
bs = BeautifulSoup(r.text, 'lxml')
comments = bs.find_all('p', 'comment-content')

with open(r'D:\demo1.txt', 'w') as file:
    for item in comments:
        file.writelines(item.string)

激動的打開了demo.txt 文件后，發現天吶擼，所有的評論都窩在一行了，我們要給他區分出來，并且換行，再簡單也要有點可讀性。

修改一下剛才的小爬蟲：

file.writelines(item.string + '\n')

只要寫文件的時候加入這么一個簡單的換行符，就可以把每個評論換行來看了，而不是擠成一坨。

復雜細節解析--正則表達式

玩玩爬完文字評論，可以發現，豆瓣本身還是有一個評星星等級的一個評價，把這個也爬下來作為一個數據收集起來。打開網頁，F12找到這個評星星會發現，這個直接讀取標簽內的內容不一樣，它是寫在標簽的class里面的。例如下面的五星推薦 是 allstar50,而一個四星評價是 allstar40。

<span class="user-stars allstar50 rating" title="力薦"></span>

<span class="user-stars allstar40 rating" title="推薦"></span>

這里就需要使用正則表達式來提取這種復雜的情況。因為不是所有人都有打分，把有分數都拿出來，然后給算一個平均值作為參考。

再讓小爬蟲變身一下：

import requests
import re
from bs4 import BeautifulSoup

# 得到評論正文
r = requests.get('https://book.douban.com/subject/25779298/comments/')
bs = BeautifulSoup(r.text, 'lxml')
comments = bs.find_all('p', 'comment-content')

# 得到評論的評分并計算總分和平均分
rule = re.compile('<span class="user-stars allstar([0-9]*?) rating"') # 配置匹配規則
comments_star = re.findall(rule, r.text)
totalsocre = 0
for star in comments_star:
    totalsocre += int(star)
avgsocre = totalsocre / len(comments_star)

with open(r'D:\demo1.txt', 'w') as file:
    file.write('此書的評價平均分(滿分50):  ' + str(avgsocre) + '\n')
    for item in comments:
        file.write(item.string + '\n')

感謝各位的閱讀！關于如何用python做一個簡單的爬蟲就分享到這里了，希望以上內容可以對大家有一定的幫助，讓大家可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！