在Python中，可以使用nltk（Natural Language Toolkit）或jieba庫來對文本進行分詞。以下是使用這兩個庫對文本進行分詞的示例代碼：
使用nltk庫：
import nltk
from nltk.tokenize import word_tokenize
text = "This is a sample text for tokenization."
tokens = word_tokenize(text)
print(tokens)
使用jieba庫：
import jieba
text = "這是一個用于分詞的示例文本。"
tokens = jieba.cut(text)
print(list(tokens))
以上代碼分別使用nltk和jieba庫對文本進行分詞，并輸出分詞結果。根據文本的語言和需求，可以選擇合適的庫進行分詞操作。
