在Linux中，可以使用uniq命令來去除文件中的重復行
uniq 文件名
例如，如果你有一個名為file.txt的文件，其中包含以下重復行：
apple
banana
apple
orange
banana
運行uniq file.txt后，你將得到一個不包含連續重復行的文件：
apple
banana
orange
要刪除所有重復行，你需要先創建一個已排序的文件，然后將其與原始文件合并。這是一個示例：
sort 文件名 > 排序后的文件名
uniq 排序后的文件名 > 去重后的文件名
例如，如果你有一個名為file.txt的文件，你可以按照以下步驟操作：
sort file.txt > sorted_file.txt
uniq sorted_file.txt > unique_file.txt
這將創建一個名為unique_file.txt的文件，其中包含不重復的行：
apple
banana
orange
請注意，這種方法可能會更改行的順序。如果你需要保留原始順序，可以使用以下命令：
awk '!seen[$0]++' 文件名 > 去重后的文件名
例如：
awk '!seen[$0]++' file.txt > unique_file.txt
這將創建一個名為unique_file.txt的文件，其中包含不重復的行，并保持原始順序：
apple
banana
orange
