在Linux中，我們可以使用uniq命令來去重
uniq
示例：
echo -e "apple\napple\norange\norange\nbanana" | uniq
輸出：
apple
orange
banana
uniq -u
示例：
echo -e "apple\napple\norange\norange\nbanana" | uniq -u
輸出：
apple
banana
uniq -d -f 1
示例：
echo -e "file1.txt\nfile2.txt" | xargs cat | awk '{print $1}' | uniq -d -f 1
輸出：
file1.txt
file2.txt
在這個示例中，我們首先使用xargs cat將兩個文件的行合并到一個輸入流中，然后使用awk '{print $1}'提取每行的第一個字段，最后使用uniq -d -f 1去除指定列（這里是第一個字段）的重復行。
注意：這些命令適用于文本文件。如果你的數據是二進制文件或者結構較復雜的數據，你可能需要使用其他工具，如awk、sed或perl來處理去重。
