這篇文章主要介紹了python使用生成器的方法的相關知識,內容詳細易懂,操作簡單快捷,具有一定借鑒價值,相信大家閱讀完這篇python使用生成器的方法文章都會有所收獲,下面我們一起來看看吧。
單機處理較大數據量時,生成器往往很有用,因為它是分小片逐次讀取,最大程度節省內存,如下網頁爬取時使用yield
import requests import re def get_pages(link): pages_to_visit = [] pages_to_visit.append(link) pattern = re.compile('https?') while pages_to_visit: current_page = pages_to_visit.pop(0) page = requests.get(current_page) for url in re.findall('<a href="([^" rel="external nofollow" ]+)">', str(page.content)): if url[0] == '/': url = current_page + url[1:] if pattern.match(url): pages_to_visit.append(url) # yield yield current_page webpage = get_pages('http://www.example.com') for result in webpage: print(result)
關于“python使用生成器的方法”這篇文章的內容就介紹到這里,感謝各位的閱讀!相信大家對“python使用生成器的方法”知識都有一定的了解,大家如果還想學習更多知識,歡迎關注億速云行業資訊頻道。
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。