溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

爬昵稱網站昵稱

發布時間:2020-07-19 09:21:14 來源:網絡 閱讀:852 作者:努力的C 欄目:開發技術

項目需要繼續爬點昵稱~~~先上代碼

#coding=utf-8
import urllib,urllib2
import re
from bs4 import BeautifulSoup
import time
import sys
reload(sys)  
sys.setdefaultencoding('utf-8')
#獲取要下載圖片的整個頁面的信息
def getHtml(url):
    page=urllib2.urlopen(url)
    html=page.read()
    # print html
    return html
 #篩選數據并打印到本地
def getImg(html):
    soup=BeautifulSoup(html,'html.parser')
    dls=soup.find_all('dl',attrs={'class':'feed_list'})
    for index in range(len(dls)):
        p=dls[index].find_all('p')[0]
        print p.text
    f=open("nichengnan.txt","a")
    for index in range(len(dls)):
        nicheng=dls[index].find_all('p')[0].text
        f.write(nicheng)
        f.write('\r\n')
    f.close()
user_agent='Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_4) AppleWebKit/600.7.12 (KHTML, like Gecko) Version/8.0.7 Safari/600.7.12'
headers={"User-Agent":user_agent}
page=201
length=0
while page<231:
    url='http://www.qzone.cc/wangming/fav/list_'+str(page)+'.html'
    print "正在爬取第"+str(page)+"頁......."
    # print "這里呢"
    request=urllib2.Request(url,headers=headers)
    html=getHtml(request)
    getImg(html)
    page=page+1
    time.sleep(0.5)
f=open('nichengnan.txt','r')
lines=f.readlines()
print "當前一共"+str(len(lines))+"條昵稱"
f.close()

爬的是網址

http://www.qzone.cc/wangming/day/list_1.html

跟上一個帖子里基本一樣。。。找到規則后直接BS爬取。區別就是這里是手動輸入定義要爬取的頁碼數,不必像那個一樣一個網址一個網址復制。不過手動改寫網址貌似還是有點麻煩。。。。后面可以通過分析最后一頁的“下一頁”和前面的有啥區別。稍后看看能不能解決。先這樣

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

亚洲午夜精品一区二区_中文无码日韩欧免_久久香蕉精品视频_欧美主播一区二区三区美女