這篇文章將為大家詳細講解有關在python中分句的方法,小編覺得挺實用的,因此分享給大家做個參考,希望大家閱讀完這篇文章后可以有所收獲。
在處理文本時,會遇到需要將文本以 句子 為單位進行切分(分句)的場景,而文本又可以分為 中文文本 和 英文文本 ,處理的方法會略有不同。本文會介紹 Python 是如何處理 分句 的。
分句的關鍵是找到合適的結束符號,比如:中文里的 。,英文里的 . 等,而且,在這一點上中英也是有很大區分的。
這里介紹一種純用 Python 實現的分句函數。
def cut_sentences(content):
# 結束符號,包含中文和英文的
end_flag = ['?', '!', '.', '?', '!', '。', '…']
content_len = len(content)
sentences = []
tmp_char = ''
for idx, char in enumerate(content):
# 拼接字符
tmp_char += char
# 判斷是否已經到了最后一位
if (idx + 1) == content_len:
sentences.append(tmp_char)
break
# 判斷此字符是否為結束符號
if char in end_flag:
# 再判斷下一個字符是否為結束符號,如果不是結束符號,則切分句子
next_idx = idx + 1
if not content[next_idx] in end_flag:
sentences.append(tmp_char)
tmp_char = ''
return sentences
content = '在處理文本時,會遇到需要將文本以 句子 為單位進行切分(分句)的場景,而文本又可以分為 中文文本 和 英文文本 ,處理的方法會略有不同。本文會介紹 Python 是如何處理 分句 的。'
sentences = cut_sentences(content)
print('\n\n'.join(sentences))
在處理文本時,會遇到需要將文本以 句子 為單位進行切分(分句)的場景,而文本又可以分為 中文文本 和 英文文本 ,處理的方法會略有不同。
本文會介紹 Python 是如何處理 分句 的。這個函數可以通過修改 end_flag (結束符號),來自定義特定的句子切分方式,比如加入 ; 等符號。
當然,也可以用正則表達式來完成分句,使用 re.split 的方法。
import re
def cut_sentences(content):
sentences = re.split(r'(\.|\!|\?|。|!|?|\.{6})', content)
return sentences
content = content = '在處理文本時,會遇到需要將文本以 句子 為單位進行切分(分句)的場景,而文本又可以分為 中文文本 和 英文文本 ,處理的方法會略有不同。本文會介紹 Python 是如何處理 分句 的。'
sentences = cut_sentences(content)
print('\n\n'.join(sentences))
在處理文本時,會遇到需要將文本以 句子 為單位進行切分(分句)的場景,而文本又可以分為 中文文本 和 英文文本 ,處理的方法會略有不同。
本文會介紹 Python 是如何處理 分句 的。關于在python中分句的方法就分享到這里了,希望以上內容可以對大家有一定的幫助,可以學到更多知識。如果覺得文章不錯,可以把它分享出去讓更多的人看到。
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。