uniq命令如何使用

# uniq命令如何使用

## 一、uniq命令概述

`uniq`是Unix/Linux系統中一個非常實用的文本處理工具，主要用于**檢測和刪除連續重復的行**。它常與`sort`命令配合使用，因為`uniq`只能處理相鄰的重復行。該命令名稱源自"unique"（唯一）的縮寫，體現了其核心功能。

### 基本特點
- 默認行為：刪除連續的重復行
- 典型應用場景：日志分析、數據去重、文本統計
- 輸入要求：通常需要先對文件進行排序
- 輸出方式：默認輸出到標準輸出(stdout)

## 二、基本語法格式

```bash
uniq [選項] [輸入文件] [輸出文件]

如果不指定輸入文件，則從標準輸入讀取數據；如果不指定輸出文件，則結果輸出到標準輸出。

三、常用選項詳解

1. 基礎選項

2. 選項組合示例

# 統計每行出現的次數（需先排序）
sort file.txt | uniq -c

# 找出所有重復行（包括原始行）
uniq -D duplicates.txt

# 忽略前2個字段比較重復行
uniq -f 2 data.csv

四、典型使用場景

場景1：基本去重操作

# 原始文件內容
$ cat fruits.txt
apple
orange
orange
banana
apple
apple

# 直接使用uniq（無效，因為重復行不相鄰）
$ uniq fruits.txt
apple
orange
orange
banana
apple
apple

# 先排序再去重
$ sort fruits.txt | uniq
apple
banana
orange

場景2：統計出現頻率

# 統計日志中各IP出現的次數
$ grep -oE '[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}' access.log | sort | uniq -c
   45 192.168.1.1
   12 192.168.1.2
    3 192.168.1.3

場景3：提取唯一值

# 找出只出現過一次的用戶名
$ sort users.log | uniq -u

五、高級用法技巧

1. 結合字段跳過功能

# 忽略第一列比較重復行（適合CSV文件）
$ sort data.csv | uniq -f 1

2. 字符比較控制

# 只比較每行的前5個字符
$ uniq -w 5 long_lines.txt

3. 多文件處理

# 合并多個文件后去重
$ sort file1.txt file2.txt | uniq > combined_uniq.txt

4. 與find命令結合

# 在所有.txt文件中查找重復內容
$ find . -name "*.txt" -exec cat {} \; | sort | uniq -d

六、常見問題解答

Q1: 為什么uniq處理后還有重復行？

原因：uniq只處理相鄰的重復行。解決方案：

sort file.txt | uniq

Q2: 如何保留原始行順序？

使用GNU擴展選項：

awk '!seen[$0]++' file.txt

Q3: 如何忽略空白字符差異？

結合tr命令：

tr -s ' ' < file.txt | sort | uniq

Q4: 處理大文件時內存不足怎么辦？

使用臨時文件分塊處理：

split -l 1000000 bigfile.txt chunk_
for f in chunk_*; do
    sort $f | uniq > ${f}.uniq
done
sort -m chunk_*.uniq | uniq > final.txt

七、性能優化建議

1. 預處理優化：

   • 先使用grep過濾無關內容
   • 用awk提取關鍵字段

2. 排序參數：

   sort -u可以部分替代sort | uniq
   

3. 并行處理：

   # 使用GNU parallel加速
   parallel --pipe --block 10M sort | uniq < bigfile.txt
   

八、與其他命令對比

九、實際案例演示

案例1：分析網站訪問日志

# 統計訪問量前10的URL
awk '{print $7}' access.log | sort | uniq -c | sort -nr | head -10

案例2：清理重復配置項

# 清理nginx配置中的重復指令
awk '{if ($0 ~ /^[[:space:]]*[^#]/) print $1}' nginx.conf | sort | uniq -d

案例3：檢測重復文件內容

# 使用MD5校驗找出重復文件
find . -type f -exec md5sum {} + | sort | uniq -Dw32

十、注意事項

1. 字符集問題：

   • 處理非ASCII文本時建議設置LC_ALL=C

2. 行尾空白：

   • 使用-w選項時注意行尾可能有不可見字符

3. 性能瓶頸：

   • 超大文件(>10GB)建議使用數據庫工具

4. 版本差異：

   • BSD和GNU版本的選項可能有差異

十一、擴展知識

1. 實現原理

uniq通常使用以下算法： 1. 讀取一行到緩沖區 2. 與下一行比較 3. 根據選項決定輸出行為 4. 循環直到文件結束

2. 相關命令鏈

典型處理流程：

cat file | grep pattern | sort | uniq -c | sort -nr

3. 替代方案

Python實現示例：

from collections import Counter
with open('file.txt') as f:
    print(Counter(f.readlines()))

十二、總結

uniq命令是Linux文本處理工具箱中的重要組件，掌握它可以： - 高效清理重復數據 - 快速統計頻率分布 - 精確提取特征信息

記住關鍵三點： 1. 總是先sort再uniq 2. 活用-c、-d、-u核心選項 3. 結合其他命令構建處理管道

通過本文介紹的各種技巧，您應該能夠應對大多數文本去重和分析場景。如需處理更復雜的需求，可以考慮使用awk或專用數據分析工具。 “`

注：本文實際約2100字，包含了uniq命令的全面使用方法。Markdown格式便于直接發布到支持MD的博客或文檔系統。如需調整內容長度或重點，可以相應增減案例部分。