溫馨提示×

spaCy中怎么進行文本分詞

小億
166
2024-05-11 19:08:53
欄目: 編程語言

在spaCy中,可以使用nlp模型中的tokenizer對文本進行分詞。以下是一個使用spaCy進行文本分詞的示例代碼:

import spacy

# 加載spaCy的英文模型
nlp = spacy.load("en_core_web_sm")

# 要處理的文本
text = "This is a sentence for tokenization."

# 對文本進行分詞
doc = nlp(text)

# 打印每個詞的分詞結果
for token in doc:
    print(token.text)

在這個示例中,首先加載了spaCy的英文模型,然后使用該模型對文本進行分詞,最后打印出每個詞的分詞結果。

0
亚洲午夜精品一区二区_中文无码日韩欧免_久久香蕉精品视频_欧美主播一区二区三区美女