溫馨提示×

怎么使用NLTK庫實現文本分詞

小億
246
2024-05-11 17:24:47
欄目: 編程語言

在NLTK庫中,可以使用自帶的分詞器來實現文本分詞。以下是一個簡單的示例代碼:

import nltk
from nltk.tokenize import word_tokenize

# 定義文本
text = "Hello, how are you today?"

# 使用NLTK的word_tokenize函數進行分詞
tokens = word_tokenize(text)

# 打印分詞結果
print(tokens)

運行以上代碼,將會輸出以下結果:

['Hello', ',', 'how', 'are', 'you', 'today', '?']

在NLTK中還有其他不同類型的分詞器,可以根據需要選擇合適的分詞器來實現文本分詞。

0
亚洲午夜精品一区二区_中文无码日韩欧免_久久香蕉精品视频_欧美主播一区二区三区美女