溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

淺談Python中的全局鎖(GIL)問題

發布時間:2020-08-30 19:23:03 來源:腳本之家 閱讀:192 作者:xsj_blog 欄目:開發技術

CPU-bound(計算密集型) 和I/O bound(I/O密集型)

計算密集型任務(CPU-bound) 的特點是要進行大量的計算,占據著主要的任務,消耗CPU資源,一直處于滿負荷狀態。比如復雜的加減乘除、計算圓周率、對視頻進行高清解碼等等,全靠CPU的運算能力。這種計算密集型任務雖然也可以用多任務完成,但是任務越多,花在任務切換的時間就越多,CPU執行任務的效率就越低,所以,要最高效地利用CPU,計算密集型任務同時進行的數量應當等于CPU的核心數。

計算密集型任務由于主要消耗CPU資源,因此,代碼運行效率至關重要。Python這樣的腳本語言運行效率很低,完全不適合計算密集型任務。對于計算密集型任務,最好用C語言編寫。

IO密集型任務(I/O bound)的特點是指磁盤IO、網絡IO占主要的任務,CPU消耗很少,任務的大部分時間都在等待IO操作完成(因為IO的速度遠遠低于CPU和內存的速度)。

IO密集型任務執行期間,99%的時間都花在IO上,花在CPU上的時間很少,因此,用運行速度極快的C語言替換用Python這樣運行速度極低的腳本語言,完全無法提升運行效率。

對于IO密集型任務,任務越多,CPU效率越高,但也有一個限度。常見的大部分任務都是IO密集型任務,比如請求網頁、讀寫文件等。當然我們在Python中可以利用sleep達到IO密集型任務的目的。

對于IO密集型任務,最合適的語言就是開發效率最高(代碼量最少)的語言,腳本語言是首選,C語言最差。

全局鎖問題:

解釋器被一個全局解釋器鎖保護著,它確保任何時候都只有一個Python線程執行。

GIL最大的問題就是Python的多線程程序并不能利用多核CPU的優勢 (比如一個使用了多個線程的計算密集型程序只會在一個單CPU上面運行)。

GIL只會影響到那些嚴重依賴CPU的程序(比如計算型的)

如果你的程序大部分只會設計到I/O,比如網絡交互,那么使用多線程就很合適, 因為它們大部分時間都在等待。實際上,你完全可以放心的創建幾千個Python線程, 現代操作系統運行這么多線程沒有任何壓力,沒啥可擔心的。

解決方案:

首先,如果你完全工作于Python環境中,你可以使用 multiprocessing 模塊來創建一個進程池, 并像協同處理器一樣的使用它。

pool = None

# Performs a large calculation (CPU bound)
def some_work(args):
 ...
 return result

def some_thread():
 while True:
  ...
  r = pool.apply(some_work, (args))
  ...

# Initiaze the pool
if __name__ == '__main__':
 import multiprocessing
 pool = multiprocessing.Pool()

另外一個解決GIL的策略是使用C擴展編程技術。 主要思想是將計算密集型任務轉移給C,跟Python獨立,在工作的時候在C代碼中釋放GIL。

以上這篇淺談Python中的全局鎖(GIL)問題就是小編分享給大家的全部內容了,希望能給大家一個參考,也希望大家多多支持億速云。

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

亚洲午夜精品一区二区_中文无码日韩欧免_久久香蕉精品视频_欧美主播一区二区三区美女