python爬蟲基礎url管理器去重的方法

小編給大家分享一下python爬蟲基礎url管理器去重的方法，希望大家閱讀完這篇文章后大所收獲，下面讓我們一起去探討吧！

URL管理器到底應該具有哪些功能？

URL下載器應該包含兩個倉庫，分別存放沒有爬取過的鏈接和已經爬取過的鏈接。

應該有一些函數負責往上述兩個倉庫里添加鏈接

應該有一個函數負責從新url倉庫中隨機取出一條鏈接以便下載器爬取

URL下載器應該能識別重復的鏈接，已經爬取過的鏈接就不需要放進倉庫了

如果一個URL管理器能夠具有以上4點功能，也算是“麻雀雖小，五臟俱全”了。然而，鏈接去重這個功能，應該怎么實現？

鏈接去重是關系爬蟲效率的一個比較關鍵的點，尤其是爬取的數據量極大的時候。在這個簡單的例子里，由于數據量較少，我們不需要太過復雜的算法，直接借助于python的set()函數即可，該函數可以生成一個集合對象，其元素不可重復。

根據以上分析，URL管理器的w代碼如下：

'''
UrlManager
'''
class UrlManager(object):
    def __init__(self):
        #初始化的時候就生成兩個url倉庫
        self.new_urls = set()
        self.old_urls = set()
 
    #判斷新url倉庫中是否還有沒有爬取的url
    def has_new_url(self):
        return len(self.new_urls)
 
    #從new_url倉庫獲取一個新的url
    def get_new_url(self):
        return self.new_urls.pop()
 
    def add_new_url(self, url):    #這個函數后來用不到了……
        '''
        將一條url添加到new_urls倉庫中
        parm url: str
        return:
        '''
        if url is None:
            return
        #只需要判斷old_urls中沒有該鏈接即可，new_urls在添加的時候會自動去重
        if url not in self.old_urls:
            self.new_urls.add(url)
 
    def add_new_urls(self, urls):
        '''
        將多條url添加到new_urls倉庫中
        parm url: 可迭代對象
        return:
        '''
        print "start add_new_urls"
        if urls is None or len(urls) == 0:
            return
        for url in urls:
            self.add_new_url(url)
 
    def add_old_url(self, url):
        self.old_urls.add(url)
        print "add old url succefully"
 
    #獲取已經爬取過的url的數目
    def old_url_size(self):
        return len(self.old_urls)

看完了這篇文章，相信你對python爬蟲基礎url管理器去重的方法有了一定的了解，想了解更多相關知識，歡迎關注億速云行業資訊頻道，感謝各位的閱讀！