整篇文章分為兩部分:1.爬取愛奇藝中該劇第一集的彈幕 2.對爬取出來的彈幕做處理,并制作詞云。
1.爬取愛奇藝彈幕
相比于其他視頻網站來說,愛奇藝的彈幕難爬一些,為啥呢,因為你爬取出來的文件是亂碼的(下邊會貼圖),需要自己再把該文件二進制編碼之后才能用。具體步驟如下:
首先,打開瀏覽器,進入愛奇藝頁面,點開該劇,彈幕打開,然后F12,瀏覽器下方或者右側會彈出一些界面,選擇Network,在我圖上標注的框中輸入“bullet”搜索彈幕相關的文件,為啥輸入這個搜索呢,因為這個單詞的意思就是彈幕,程序員命名東西一般也是有規律的,還有大多視頻網站的彈幕相關文件都是這個名字哈哈。如果你F12搜索之后無內容,那直接點擊下瀏覽器刷新按鈕即可。下圖中箭頭指的分別是Network、搜索框、彈幕文件名和彈幕內容(你可以看到,彈幕內容是亂七八糟的亂碼)。還有說明一點,彈幕文件一集不止一個,愛奇藝5分鐘加載一個彈幕文件(為啥5分鐘,下邊會解釋)。

接下來,觀察彈幕文件出現的規律以及彈幕文件地址中的規律,總結為以下:
彈幕文件鏈接規律為
https://cmts.iqiyi.com/bullet/tvid倒數4位的前兩位/tvid最后兩位/tvid_300_x.z;
x的計算方式為片子總時長除以300秒向上取整,即按每5分鐘一個包。
tvid是啥呢,就是你URL導航欄里的這塊,x為啥按5分鐘一個包呢,是因為我F12之后查看兩個相鄰的彈幕文件包,它就是5分鐘加載一個。



那第一集總共時長77分鐘,按5分鐘加載一個彈幕文件的話,向上取整,我們總共要抓取16個(77/5+1)彈幕文件。
抓取代碼為:
import zlib
import requests
for x in range(16):
x+=1
#x是從1到16,16怎么來的,第一集總共77分鐘,愛奇藝每5分鐘會加載新的彈幕
#77除以5向上取整
url='https://cmts.iqiyi.com/bullet/92/00/9000000005439200_300_'+str(x)+'.z'
bulletold=requests.get(url).content #這步取出來的文件是亂碼的
bulletnew = bytearray(bulletold)#將上一步的亂碼文件用二進制再編碼下
xml=zlib.decompress(bulletnew, 15+32).decode('utf-8')
#把編碼好的文件分別寫入16個xml文件中(類似于txt文件),方便后邊取數據
with open('./iqiyi'+str(x)+'.xml','a+',encoding='utf-8') as f:
f.write(xml)
f.close()
抓取出來的xml文件為下圖,能看出來content字段就是彈幕:

將xml文件中的content字段取出來存為dan_mu.txt文件,方便我們之后做詞云:
from xml.dom.minidom import parse
import xml.dom.minidom
for x in range(16):
x+=1
DOMTree = xml.dom.minidom.parse(r"C:\Users\dmj\PycharmProjects\test\iqiyi"+str(x)+".xml")
collection = DOMTree.documentElement
# 在集合中獲取所有entry數據
entrys = collection.getElementsByTagName("entry")
print(entrys)
for entry in entrys:
content = entry.getElementsByTagName('content')[0]
print(content.childNodes[0].data)
i = content.childNodes[0].data
with open("dan_mu.txt", mode="a+", encoding="utf-8") as f:
f.write(i)
f.write("\n")dan_mu.txt文件大概長這樣:

2.制作詞云
制作詞云使用python的wordcloud庫和jieba庫,代碼如下:
from wordcloud import WordCloud
import jieba
import matplotlib.pyplot as plt
#讀取彈幕txt文件
with open('./dan_mu.txt',encoding = 'utf-8', mode = 'r')as f:
myText = f.read()
myText = " ".join(jieba.cut(myText))
list = myText.split(" ")
#清洗無用數據
for i in range(len(list)-1,-1,-1):
if len(list[i])==1 or list[i]=="這個" or \
list[i]=="不是" or list[i]=="這么" \
or list[i]=="怎么" or list[i]=="這是"\
or list[i]=="還是":
list.remove(list[i])
#print(list)
myText= " ".join(list)
print(myText)
# 制作詞云
wordcloud = WordCloud(background_color="white", font_path="simsun.ttf", height=300, width = 400).generate(myText)
# 圖片展示
plt.imshow(wordcloud)
plt.axis("off")
plt.show()
# 將詞云圖片導出到當前文件夾
wordcloud.to_file("wordCloudMo.png")在此處可能會遇到的問題是,wordcloud這個外部庫你在下載的時候可能會遇到各種花式報錯,如何解決呢,參見下邊這位老哥的方法:
https://blog.csdn.net/qq_42813128/article/details/82020510
詞云圖結果如下:

從詞云圖中我們可以看到,“真實”,“孩子”,“嚴良”,“普普”,“演技”等詞語出現的頻率很高?!罢鎸崱?,“演技”,“厲害”等詞語是大家對這部劇的肯定;“孩子”指的是這三個主演的小孩;“普普”的演技真的很不錯,大家都猜測她會不會成為下一個張子楓。
總體來講,彈幕中大家對這部劇基本都是好評,所以還是值得一看的。


