HDFS在CentOS上的數據壓縮策略

一、常用壓縮算法及適用場景

• Snappy：高速壓縮/解壓，適用于MapReduce中間數據、實時場景，不支持分片。
• Gzip：高壓縮比，速度快，適用于小文件（<130MB），如日志，不支持分片。
• Bzip2：高壓縮比，支持分片，適合大文件歸檔，速度慢，Hadoop原生支持。
• LZO：速度較快，支持分片，適用于大文本文件（>200MB），需額外安裝。
• Zstandard：高壓縮比與速度，支持可變壓縮比，需確認Hadoop版本兼容性。

二、配置步驟

1. 安裝依賴包

   • 基礎壓縮庫（如Gzip）通常已預裝，LZO/Snappy需額外安裝：

     sudo yum install lzo snappy-devel  # 安裝LZO和Snappy庫
     

2. 修改Hadoop配置文件

   • core-site.xml：指定壓縮編解碼器

     <property>
       <name>io.compression.codecs</name>
       <value>org.apache.hadoop.io.compress.SnappyCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec</value>
     </property>
     <property>
       <name>io.compression.codec.snappy.class</name>
       <value>org.apache.hadoop.io.compress.SnappyCodec</value>
     </property>
     

   • hdfs-site.xml：可調整塊大?。ㄈ?28MB或256MB）以適配壓縮算法。
   • mapred-site.xml：啟用MapReduce作業壓縮

     <property>
       <name>mapreduce.map.output.compress</name>
       <value>true</value>
     </property>
     <property>
       <name>mapreduce.map.output.compress.codec</name>
       <value>org.apache.hadoop.io.compress.SnappyCodec</value>
     </property>
     

3. 重啟服務生效

   sudo systemctl restart hadoop-namenode hadoop-datanode
   

三、注意事項

• 分片支持：選擇支持分片的算法（如Bzip2、LZO）可提升并行處理效率。
• 性能測試：實際場景中需對比不同算法的壓縮比、速度及CPU占用，優先選擇平衡方案。
• 透明壓縮：HDFS支持透明壓縮，文件讀取時會自動解壓，無需額外處理。