CentOS HDFS如何進行數據壓縮

在CentOS上使用Hadoop分布式文件系統（HDFS）進行數據壓縮，可以按照以下步驟操作：

1. 安裝Hadoop

首先，確保你已經在CentOS上安裝了Hadoop。如果還沒有安裝，可以參考Hadoop官方文檔進行安裝。

2. 配置Hadoop支持壓縮

編輯Hadoop的配置文件core-site.xml和hdfs-site.xml，以啟用壓縮功能。

core-site.xml

<configuration>
    <property>
        <name>io.compression.codecs</name>
        <value>org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec</value>
    </property>
</configuration>

hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.handler.count</name>
        <value>100</value>
    </property>
    <property>
        <name>dfs.datanode.handler.count</name>
        <value>100</value>
    </property>
</configuration>

3. 創建壓縮文件

使用Hadoop命令行工具創建壓縮文件。

壓縮單個文件

hadoop fs -copyFromLocal -p /local/path/to/file.txt /user/hadoop/file.txt.gz

壓縮目錄

hadoop fs -copyFromLocal -p /local/path/to/directory /user/hadoop/directory.gz

4. 解壓縮文件

使用Hadoop命令行工具解壓縮文件。

解壓縮單個文件

hadoop fs -copyToLocal /user/hadoop/file.txt.gz /local/path/to/file.txt

解壓縮目錄

hadoop fs -copyToLocal /user/hadoop/directory.gz /local/path/to/directory

5. 使用MapReduce進行壓縮

如果你需要在MapReduce作業中進行壓縮，可以在作業配置中設置輸出壓縮。

示例MapReduce作業配置

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;

public class CompressionExample {
    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        conf.set("mapreduce.output.fileoutputformat.compress", "true");
        conf.set("mapreduce.output.fileoutputformat.compress.codec", "org.apache.hadoop.io.compress.GzipCodec");

        Job job = Job.getInstance(conf, "Compression Example");
        job.setJarByClass(CompressionExample.class);
        job.setMapperClass(MyMapper.class);
        job.setReducerClass(MyReducer.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(Text.class);

        FileInputFormat.addInputPath(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));

        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}

6. 驗證壓縮

最后，驗證壓縮文件是否正確創建和解壓縮。

hadoop fs -ls /user/hadoop/
hadoop fs -cat /user/hadoop/file.txt.gz

通過以上步驟，你可以在CentOS上使用HDFS進行數據壓縮和解壓縮操作。