MongoDB在Ubuntu上的數據壓縮技巧

MongoDB在Ubuntu上的數據壓縮技巧

一、啟用WiredTiger存儲引擎的塊壓縮（核心方法）

WiredTiger是MongoDB 3.2及以上版本的默認存儲引擎，支持塊壓縮（對集合數據）和前綴壓縮（對索引數據），是Ubuntu環境下最常用的數據壓縮方式。

1. 配置文件設置（永久生效）
   編輯MongoDB配置文件（通常位于/etc/mongod.conf），在storage section下添加或修改wiredTiger配置，指定collectionConfig.blockCompressor（集合塊壓縮算法）和indexConfig.prefixCompression（索引前綴壓縮開關）。示例如下：

   storage:
     dbPath: /var/lib/mongodb
     journal:
       enabled: true
     wiredTiger:
       engineConfig:
         cacheSizeGB: 1  # 根據系統內存調整（建議為物理內存的50%-70%）
       collectionConfig:
         blockCompressor: zstd  # 可選snappy（默認，平衡速度與壓縮比）、zlib（高壓縮比，高CPU消耗）、zstd（高壓縮比，低CPU消耗）
       indexConfig:
         prefixCompression: true  # 開啟索引前綴壓縮（默認開啟，減少索引內存占用）
   

   保存后重啟MongoDB服務使配置生效：

   sudo systemctl restart mongod
   

2. 命令行臨時設置（立即生效，重啟失效）
   啟動mongod時通過命令行參數指定壓縮算法，適用于臨時測試：

   mongod --dbpath /var/lib/mongodb --wiredTigerCollectionBlockCompressor zstd
   

二、選擇合適的壓縮算法

WiredTiger支持多種壓縮算法，需根據存儲空間需求、CPU性能和MongoDB版本選擇：

• Snappy（默認）：壓縮速度快，壓縮比中等（約2-3倍），適合對性能敏感的場景（如實時讀寫頻繁的數據庫）。
• Zlib：壓縮比最高（約3-5倍），但CPU消耗大，適合存儲空間有限且對性能要求較低的場景（如歸檔數據）。
• Zstd（推薦，MongoDB 4.2+）：平衡了壓縮比與CPU消耗（壓縮比約3-4倍，CPU消耗低于Zlib），是當前最優選擇。

三、使用compact命令回收碎片空間

WiredTiger的塊壓縮不會自動回收刪除數據后的磁盤空間，需通過compact命令重新組織數據文件并應用壓縮：

1. 壓縮單個集合
   指定數據庫和集合名稱，執行壓縮操作：

   mongo --eval 'db.getSiblingDB("yourDatabase").runCommand({compact: "yourCollection"})'
   

2. 壓縮整個數據庫
   使用compact命令并傳入1，壓縮指定數據庫下的所有集合：

   mongo --eval 'db.getSiblingDB("yourDatabase").runCommand({compact: 1})'
   

3. 壓縮所有數據庫
   通過admin數據庫執行compactAllDatabases命令，壓縮實例中的所有數據庫（需管理員權限）：

   mongo --eval 'db.adminCommand({compactAllDatabases: 1})'
   

   注意：compact命令會消耗大量CPU和I/O資源，建議在低峰時段執行；執行后磁盤空間不會立即釋放，需等待MongoDB自動清理或重啟服務。

四、后臺壓縮（減少對業務的影響）

MongoDB 4.4及以上版本支持compactServer命令，可在后臺異步壓縮整個實例的數據，避免阻塞正常讀寫：

mongo --eval 'db.adminCommand({compactServer: true, compression: "zstd"})'

該命令會啟動一個后臺進程執行壓縮，適合生產環境使用，但仍需注意CPU資源占用。

五、壓縮備份數據（減少備份存儲占用）

使用mongodump導出數據時，添加--gzip選項對備份文件進行壓縮，節省備份存儲空間：

# 導出并壓縮數據庫
mongodump --gzip --out /path/to/backup
# 導入壓縮的備份文件
mongorestore --gzip /path/to/backup/yourDatabase

六、優化壓縮配置的注意事項

1. 監控性能影響：壓縮會增加CPU負載（尤其是Zlib），建議通過mongostat或serverStatus命令監控opcounters（操作次數）和cpuUsage（CPU使用率），確保系統資源充足。
2. 調整緩存大小：WiredTiger緩存（cacheSizeGB）應足夠大，避免頻繁讀取磁盤（壓縮后的數據讀取時需解壓縮），建議設置為物理內存的50%-70%（不超過系統總內存-1GB）。
3. 備份數據：壓縮操作（尤其是compact）可能導致數據損壞，執行前務必備份重要數據（使用mongodump）。
4. 索引優化：開啟索引前綴壓縮（prefixCompression: true）可減少索引內存占用（約30%-50%），提升索引查詢性能。