python爬蟲如何爬取微博粉絲數據

這篇文章主要介紹了python爬蟲如何爬取微博粉絲數據，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

python可以做什么

Python是一種編程語言，內置了許多有效的工具，Python幾乎無所不能，該語言通俗易懂、容易入門、功能強大，在許多領域中都有廣泛的應用，例如最熱門的大數據分析，人工智能，Web開發等。

現如今，微博成為大多數追星族追星的渠道之一，通過超話打卡，微博打榜，控評等維護自己的偶像。而品牌方會根據明星粉絲流量選取合適的代言人或活動嘉賓，微博中的粉絲數據可以很簡單的分析出。

1、自動登錄微博

driver = webdriver.Chrome(driver_path)  # 打開Chrome
driver.maximize_window()  # 將瀏覽器最大化顯示
driver.get(weibo_url)  # 打開微博登陸頁面
time.sleep(10)  # 加載頁面需要時間，延時10s來確保頁面已加載完畢
time.sleep(2)
driver.find_element_by_name("username").send_keys(username)  ##輸入用戶名
driver.find_element_by_name("password").send_keys(password)  ##輸入密碼
driver.find_element_by_xpath("//a[@node-type='submitBtn']").click()  ##點擊登錄按鈕

2、獲取cookie并將返回的Cookies數組轉成微博需要的cookie格式

for x in range(len(cookies)):
value = cookies[x]['name'] + "=" + cookies[x]['value'] + ";"
cookie = cookie + value
return cookie

3、利用BeautifulSoup庫進行解析html操作

headers['Cookie']=cookie
info_response = requests.get('http://s.weibo.com/user/' + names_list[x], headers)  # 微博搜索的頁面url
info_soup = BeautifulSoup(info_response.text, 'html5lib')  # 利用BeautifulSoup庫進行解析html操作
info_soup = get_html(info_soup, "pl_user_feedList")

4、找到用戶信息的html

weibo_info = info_soup.find_all('a', attrs={"class": "W_linkb", "target": "_blank"})  # 找到用戶信息的html
id = weibo_info[0].get('href')  # 用戶id
subs_size = weibo_info[0].string  # 關注數
fans_size = weibo_info[1].string  # 粉絲數
contents_size = weibo_info[2].string  # 微博數
subs_size = int(re.sub("\D", "", subs_size))  # 只取出數字,其它的不管用,下面同理
fans_size = int(re.sub("\D", "", fans_size))
contents_size = int(re.sub("\D", "", contents_size))
id = int(re.findall('\d+', id)[0])
return [subs_size, fans_size, contents_size, id]

5、進行爬取

if __name__ == '__main__':
    browser = WeiboFansCrawler()
    browser.login()

    # 明星列表
    star_lists = ['謝娜', '何炅', 'Angelababy', '楊冪', '陳坤', '趙薇', '姚晨',
             '林心如', '鄧超', '郭德綱', '林志穎', '張小嫻', '趙麗穎', '范冰冰',
             '賈乃亮', '唐嫣', '胡歌', '陳喬恩', '王力宏', '黃曉明', '文章同學',
             '劉亦菲', '陳羽凡']

    # 若本地緩存中沒有，則在線獲取ID
    if len(browser.stars) == 0:
        for star in star_lists:
            browser.get_page_id(star)

    # ID緩存到本地
    with open('star_id.txt', 'w') as f:
        f.write(str(browser.stars))

    # 獲取主頁數據
    browser.get_fan_cnt()
    browser.get_home_data()
    browser.dump_home_data()

    # 獲取并緩存數據到本地
    loop = 0
    while True:
        browser.get_fans_data()
        browser.dump_fans_data()
        loop += 1
        if loop > 20:
            break
        time.sleep(100)
    
    print(browser.stars)
    print(browser.data)

感謝你能夠認真閱讀完這篇文章，希望小編分享的“python爬蟲如何爬取微博粉絲數據”這篇文章對大家有幫助，同時也希望大家多多支持億速云，關注億速云行業資訊頻道，更多相關知識等著你來學習!