這篇文章主要為大家展示了Python并發請求下如何實現限制QPS，內容簡而易懂，希望大家可以學習一下，學習完之后肯定會有收獲的，下面讓小編帶大家一起來看看吧。
前兩天有一個需求，需要訪問某API服務器請求數據，該服務器限制了QPS=2，因為QPS很小所以就使用阻塞式請求。后來開通了服務，QPS提高到了20，阻塞式請求滿足不了這個QPS了，于是使用了GRequests來并發請求數據，但這里又遇到了一個問題：并發太快，服務器通過發送錯誤碼拒絕了很多數據的響應，造成了資源的浪費。
故在此記錄以下幾種 節流(Throttle) 方法：
以下均假設有如下包和數據前提：
import grequests urls = [ "https://www.baidu.com", "https://www.google.com" ] requests = [ grequests.get(url) for url in urls ] * 1000 rate = 20 # 表示 20 請求/秒
time.sleep(1)
這是最簡單的方法，通過time.sleep(1)阻塞進程來控制每秒并發數量。用公式表達如下：Time=請求準備時延+請求發送時延+time.sleep(1)Time = 請求準備時延 + 請求發送時延 + time.sleep(1)Time=請求準備時延+請求發送時延+time.sleep(1) 但是這種方法有一個較小的問題：不精確 。數據量越大，方差越大。
from time import sleep req_groups = [ requests[i: i+rate] for i in range(0, len(requests), rate) ] ret = [] for req_group in req_groups: ret += grequests.map(req_group) sleep(1) print(ret)
令牌桶(token bucket)方法
這種方法較精確，可以確保誤差不超過±1（當然前提是你的電腦和目標服務器都能承受的了高并發）。以下是耗時的公式表示：Time=請求準備時延+請求發送時延+令牌桶阻塞時延Time = 請求準備時延 + 請求發送時延 + 令牌桶阻塞時延Time=請求準備時延+請求發送時延+令牌桶阻塞時延令牌桶阻塞時延≈1−請求準備時延+請求發送時延令牌桶阻塞時延 ≈ 1 - 請求準備時延 + 請求發送時延令牌桶阻塞時延請求準備時延+請求發送時延 這種方法當然也有一點缺陷，CPU看起來會很高（這是由于 while pass），盡管CPU真實使用率很低。
from time import time class Throttle: def __init__(self, rate): self.rate = rate self.tokens = 0 self.last = 0 def consume(self, amount=1): now = time() if self.last == 0: self.last = now elapsed = now - self.last if int(elapsed * self.rate): self.tokens += int(elapsed * self.rate) self.last = now self.tokens = ( self.rate if self.tokens > self.rate else self.tokens ) if self.tokens >= amount: self.tokens -= amount else: amount = 0 return amount throttle = Throttle(rate) req_groups = [ requests[i: i+rate] for i in range(0, len(requests), rate) ] ret = [] for req_group in req_groups: ret += grequests.map(req_group) while throttle.consume(): pass # 阻塞 print(ret)
GRequests-Throttle
這是一個使用令牌桶(token bucket)方法進行封裝的GRequests修改版，使用方法很簡單：
首先安裝grequests-throttle(清華鏡像源更新較慢，推薦使用阿里鏡像源)
pip install grequests-throttle
import grequests_throttle as gt ret = gt.map(requests, rate=rate) print(ret)
以上就是關于Python并發請求下如何實現限制QPS的內容，如果你們有學習到知識或者技能，可以把它分享出去讓更多的人看到。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
