溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

Python中gensim庫word2vec怎么用

發布時間:2021-08-10 11:18:44 來源:億速云 閱讀:177 作者:小新 欄目:開發技術

這篇文章主要介紹了Python中gensim庫word2vec怎么用,具有一定借鑒價值,感興趣的朋友可以參考下,希望大家閱讀完這篇文章之后大有收獲,下面讓小編帶著大家一起了解一下。

pip install gensim安裝好庫后,即可導入使用:

1、訓練模型定義

from gensim.models import Word2Vec 
model = Word2Vec(sentences, sg=1, size=100, window=5, min_count=5, negative=3, sample=0.001, hs=1, workers=4)

參數解釋:

1.sg=1是skip-gram算法,對低頻詞敏感;默認sg=0為CBOW算法。

2.size是輸出詞向量的維數,值太小會導致詞映射因為沖突而影響結果,值太大則會耗內存并使算法計算變慢,一般值取為100到200之間。

3.window是句子中當前詞與目標詞之間的最大距離,3表示在目標詞前看3-b個詞,后面看b個詞(b在0-3之間隨機)。

4.min_count是對詞進行過濾,頻率小于min-count的單詞則會被忽視,默認值為5。

5.negative和sample可根據訓練結果進行微調,sample表示更高頻率的詞被隨機下采樣到所設置的閾值,默認值為1e-3。

6.hs=1表示層級softmax將會被使用,默認hs=0且negative不為0,則負采樣將會被選擇使用。

7.workers控制訓練的并行,此參數只有在安裝了Cpython后才有效,否則只能使用單核。

詳細參數說明可查看word2vec源代碼。

2、訓練后的模型保存與加載

model.save(fname) 
model = Word2Vec.load(fname)

3、模型使用(詞語相似度計算等)

model.most_similar(positive=['woman', 'king'], negative=['man']) 
#輸出[('queen', 0.50882536), ...] 
 
model.doesnt_match("breakfast cereal dinner lunch".split()) 
#輸出'cereal' 
 
model.similarity('woman', 'man') 
#輸出0.73723527 
 
model['computer'] # raw numpy vector of a word 
#輸出array([-0.00449447, -0.00310097, 0.02421786, ...], dtype=float32)

感謝你能夠認真閱讀完這篇文章,希望小編分享的“Python中gensim庫word2vec怎么用”這篇文章對大家有幫助,同時也希望大家多多支持億速云,關注億速云行業資訊頻道,更多相關知識等著你來學習!

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

亚洲午夜精品一区二区_中文无码日韩欧免_久久香蕉精品视频_欧美主播一区二区三区美女