如何快速上手Linux的uniq命令

# 如何快速上手Linux的uniq命令

## 一、uniq命令概述

`uniq`是Linux系統中一個非常實用的文本處理工具，主要用于**過濾或統計連續重復的行**。作為系統管理員和開發人員的常用命令，它常與`sort`命令配合使用，能夠高效處理日志分析、數據去重等場景。

### 1.1 基本功能
- 去除連續重復行（默認行為）
- 統計重復行出現次數
- 顯示唯一行或重復行

### 1.2 典型應用場景
- 日志文件分析
- 數據清洗與去重
- 文本統計與報告生成

## 二、安裝與基本使用

### 2.1 檢查是否安裝
```bash
which uniq

通?，F代Linux發行版（Ubuntu/CentOS等）都預裝了該命令。

2.2 基本語法

uniq [選項] [輸入文件] [輸出文件]

2.3 簡單示例

創建一個測試文件test.txt：

apple
apple
banana
orange
orange
orange

執行基本去重：

uniq test.txt

輸出：

apple
banana
orange

注意：uniq僅處理相鄰的重復行，因此通常需要先排序

三、核心選項詳解

3.1 計數模式（-c）

顯示每行重復次數：

uniq -c test.txt

輸出：

2 apple
1 banana
3 orange

3.2 僅顯示重復行（-d）

uniq -d test.txt

輸出：

apple
orange

3.3 僅顯示不重復行（-u）

uniq -u test.txt

輸出：

banana

3.4 忽略大小寫（-i）

echo -e "Apple\napple\nBanana" | uniq -i

輸出：

Apple
Banana

3.5 比較前N個字符（-w）

echo -e "apple1\napple2\nbanana" | uniq -w5

輸出：

apple1
banana

四、高級使用技巧

4.1 結合sort命令使用

典型工作流：

sort file.txt | uniq -c

4.2 統計IP訪問頻次

分析Nginx日志：

awk '{print $1}' access.log | sort | uniq -c | sort -nr

4.3 找出重復文件

find . -type f -exec md5sum {} + | sort | uniq -Dw32

4.4 處理CSV文件

提取唯一列：

cut -d',' -f1 data.csv | sort | uniq

五、常見問題解決方案

5.1 為什么uniq沒有去重？

• 原因：重復行不相鄰
• 解決：先排序再uniq

sort file.txt | uniq

5.2 處理大文件內存不足

使用--buffer-size選項：

sort --buffer-size=1G bigfile.txt | uniq

5.3 忽略空白差異

結合tr命令：

tr -s ' ' < file.txt | sort | uniq

六、性能優化建議

1. 先sort后uniq：確保最佳去重效果
2. 合理使用管道：減少中間文件
3. 大文件處理：

   
   split -l 1000000 bigfile.txt chunk_
   for f in chunk_*; do
    sort $f | uniq >> output.txt
   done
   sort output.txt | uniq > final.txt
   

七、與其他命令對比

八、實戰案例

8.1 分析SSH登錄嘗試

grep 'Failed password' /var/log/auth.log | awk '{print $11}' | sort | uniq -c | sort -nr

8.2 統計單詞頻率

tr ' ' '\n' < document.txt | sort | uniq -c | sort -nr

8.3 清理重復配置項

awk '!seen[$0]++' config.ini

九、擴展知識

9.1 原理實現

uniq通過逐行比較相鄰行來實現去重，時間復雜度為O(n)

9.2 相關命令

• comm：比較兩個已排序文件
• join：連接兩個文件的相同字段
• awk：更強大的文本處理

十、總結

掌握uniq命令能極大提升文本處理效率，關鍵點： 1. 始終記住先sort后uniq 2. 熟練使用-c、-d、-u等常用選項 3. 結合其他命令構建處理管道

最佳實踐：將常用uniq操作封裝為別名或腳本，例如：

> alias uq="sort | uniq -c | sort -nr"
> ```

通過本文的學習，您應該已經能夠熟練運用uniq命令解決實際問題。建議在日常工作中多加練習，逐步掌握更高級的用法。

該文檔共約1580字，采用Markdown格式編寫，包含： - 10個核心章節 - 15個代碼示例 - 3個提示框 - 1個對比表格 - 詳細的選項說明和實戰案例 - 格式規范，符合技術文檔標準