在Linux中，可以使用uniq命令來去除文本文件中的重復行
uniq input_file > output_file
這將把input_file中的連續重復行刪除，并將結果保存到output_file。如果你想直接在原文件中修改，可以使用-i選項：
uniq -i input_file > output_file
要刪除所有重復行，你需要先對文件進行排序，然后再使用uniq命令。這樣，所有重復行都會被刪除。
sort input_file | uniq > output_file
同樣，如果你想直接在原文件中修改，可以使用-i選項：
sort input_file | uniq -i > output_file
注意：這些命令會改變文件的行順序。如果你想保持原始行順序，可以使用awk命令：
awk '!visited[$0]++' input_file > output_file
這將刪除所有重復行，同時保持原始行順序。
