怎樣用Java正則表達式查找重復單詞

在Java中使用正則表達式查找重復單詞，可以借助java.util.regex包中的Pattern和Matcher類。以下是一個示例代碼，演示如何實現這一功能：

import java.util.regex.Matcher;
import java.util.regex.Pattern;

public class DuplicateWordsFinder {
    public static void main(String[] args) {
        String text = "這是一個測試句子，用于測試重復的重復單詞。重復單詞是不好的。";

        // 正則表達式解釋：
        // \\b      : 單詞邊界
        // (\\w+)    : 捕獲一個或多個字母、數字或下劃線（即單詞）
        // \\s+      : 一個或多個空白字符
        // \\1      : 引用第一個捕獲組，即之前匹配到的單詞
        String regex = "\\b(\\w+)\\b\\s+\\1\\b";

        // 編譯正則表達式
        Pattern pattern = Pattern.compile(regex, Pattern.CASE_INSENSITIVE);
        Matcher matcher = pattern.matcher(text);

        // 查找并輸出重復的單詞
        while (matcher.find()) {
            System.out.println("找到重復單詞: " + matcher.group(1));
        }
    }
}

代碼說明：

1. 定義文本：

   String text = "這是一個測試句子，用于測試重復的重復單詞。重復單詞是不好的。";
   

   這是需要檢查重復單詞的文本。

2. 編寫正則表達式：

   String regex = "\\b(\\w+)\\b\\s+\\1\\b";
   

   • \\b：表示單詞邊界，確保匹配的是完整的單詞。
   • (\\w+)：捕獲一個或多個字母、數字或下劃線，作為第一個捕獲組。
   • \\s+：匹配一個或多個空白字符（如空格、制表符等）。
   • \\1：引用第一個捕獲組的內容，即之前匹配到的單詞，確保與第一個單詞相同。

3. 編譯正則表達式：

   Pattern pattern = Pattern.compile(regex, Pattern.CASE_INSENSITIVE);
   

   • Pattern.CASE_INSENSITIVE：忽略大小寫，適用于不區分大小寫的重復檢測。

4. 創建Matcher并查找匹配：

   Matcher matcher = pattern.matcher(text);
   while (matcher.find()) {
       System.out.println("找到重復單詞: " + matcher.group(1));
   }
   

   • matcher.find()：在文本中查找下一個匹配項。
   • matcher.group(1)：獲取第一個捕獲組的內容，即重復的單詞。

注意事項：

• 語言特性：上述正則表達式適用于英文或其他基于字母的語言。如果處理中文文本，由于中文沒有明顯的單詞邊界（如空格分隔），需要使用其他方法進行分詞，例如使用第三方庫如HanLP或jieba進行中文分詞后再進行重復檢測。

• 標點符號：正則表達式中未特別處理標點符號，如果文本中包含標點，可能需要預處理文本，移除或處理標點符號以避免誤判。

處理中文文本的示例：

如果需要處理中文文本，可以先使用分詞工具將文本分割成單詞，然后再應用正則表達式查找重復。以下是使用jieba庫的一個簡單示例：

1. 添加依賴（以Maven為例）：

   <dependency>
       <groupId>com.huaban</groupId>
       <artifactId>jieba-analysis</artifactId>
       <version>1.0.2</version>
   </dependency>
   

2. 代碼實現：

   import com.huaban.analysis.jieba.JiebaSegmenter;
   import java.util.HashSet;
   import java.util.Set;
   import java.util.regex.Matcher;
   import java.util.regex.Pattern;
   
   public class DuplicateWordsFinderChinese {
       public static void main(String[] args) {
           String text = "這是一個測試句子，用于測試重復的重復單詞。重復單詞是不好的。";
   
           // 使用jieba進行分詞
           JiebaSegmenter segmenter = new JiebaSegmenter();
           Set<String> wordSet = new HashSet<>();
           Set<String> duplicates = new HashSet<>();
   
           for (String word : segmenter.sentenceProcess(text)) {
               if (!wordSet.add(word)) { // 如果添加失敗，說明已經存在
                   duplicates.add(word);
               }
           }
   
           // 輸出重復的單詞
           if (!duplicates.isEmpty()) {
               System.out.println("找到重復單詞: " + duplicates);
           } else {
               System.out.println("沒有找到重復的單詞。");
           }
       }
   }
   

總結

使用Java正則表達式查找重復單詞適用于英文等有明顯單詞邊界的語言。對于中文等沒有明顯單詞邊界的語言，建議先進行分詞處理，再應用正則表達式或其他方法進行重復檢測。