小編給大家分享一下解決python中svm內存不足的方法,希望大家閱讀完這篇文章后大所收獲,下面讓我們一起去探討方法吧!
支持向量機(Support Vector Machine, SVM)是一類按監督學習(supervised learning)方式對數據進行二元分類的廣義線性分類器。
在python中使用SVM處理大數據時可能會遇到內存不足的情況,新我們就來看一下如何解決內存不足的問題:
我們可以使用python分塊讀取大數據來避免內存不足,實現代碼如下:
import pandas as pd def read_data(file_name): ''' file_name:文件地址 ''' inputfile = open(file_name, 'rb') #可打開含有中文的地址 data = pd.read_csv(inputfile, iterator=True) loop = True chunkSize = 1000 #一千行一塊 chunks = [] while loop: try: chunk = data.get_chunk(chunkSize) chunks.append(chunk) except StopIteration: loop = False print("Iteration is stopped.") data = pd.concat(chunks, ignore_index=True) #print(train.head()) return data
看完了這篇文章,相信你對解決python中svm內存不足的方法有了一定的了解,想了解更多相關知識,歡迎關注億速云行業資訊頻道,感謝各位的閱讀!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。