在Linux中，有許多方法可以用來去除重復的行
使用sort和uniq命令組合：
sort input_file.txt | uniq > output_file.txt
這個命令首先使用sort對文件進行排序，然后通過管道（|）將排序后的結果傳遞給uniq，從而去除重復的行。最后，將結果重定向（>）到一個新的文件。
使用awk命令：
awk '!seen[$0]++' input_file.txt > output_file.txt
這個命令使用awk處理輸入文件，對于每一行，如果它不在seen數組中，就將其添加到數組中并輸出。這樣，重復的行將被忽略。
使用grep命令：
grep -vE "^" input_file.txt > output_file.txt
這個命令使用grep搜索不重復的行。-v選項表示反向匹配，-E選項表示擴展正則表達式。這里的正則表達式^表示行的開頭。
使用awk命令去除空行：
awk 'NF>0' input_file.txt > output_file.txt
這個命令使用awk處理輸入文件，只保留非空行。NF表示每行的字段數，當NF>0時，表示該行不為空。
使用diff和comm命令組合：
首先，使用diff命令生成兩個文件之間的差異：
diff -u input_file1.txt input_file2.txt > diff_file.txt
然后，使用comm命令根據差異文件去除重復行：
comm -23 diff_file.txt > output_file.txt
這個命令將生成一個沒有重復行的輸出文件。-23選項表示忽略第二列（重復行）和第三列（唯一行）。
這些技巧可以幫助你在Linux中去重。你可以根據自己的需求和場景選擇合適的方法。
