CentOS HDFS配置數據存儲路徑

在CentOS上配置HDFS（Hadoop分布式文件系統）的數據存儲路徑，通常涉及修改Hadoop的配置文件。以下是詳細的步驟：

1. 安裝Hadoop

如果你還沒有安裝Hadoop，請先按照官方文檔進行安裝。以下是一個簡化的安裝步驟：

# 下載Hadoop
wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz

# 解壓
tar -xzvf hadoop-3.3.1.tar.gz -C /opt/

# 配置環境變量
echo "export HADOOP_HOME=/opt/hadoop-3.3.1" >> ~/.bashrc
echo "export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin" >> ~/.bashrc
source ~/.bashrc

# 初始化HDFS
hdfs namenode -format

2. 修改Hadoop配置文件

Hadoop的主要配置文件位于$HADOOP_HOME/etc/hadoop目錄下。你需要修改以下幾個文件：

core-site.xml

這個文件定義了Hadoop的核心配置，包括默認文件系統的URI和臨時目錄。

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoop-3.3.1/tmp</value>
    </property>
</configuration>

hdfs-site.xml

這個文件定義了HDFS的配置，包括數據存儲路徑和副本數。

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/opt/hadoop-3.3.1/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/opt/hadoop-3.3.1/data/datanode</value>
    </property>
</configuration>

3. 創建數據目錄

根據hdfs-site.xml中的配置，創建相應的數據目錄。

mkdir -p /opt/hadoop-3.3.1/data/namenode
mkdir -p /opt/hadoop-3.3.1/data/datanode

4. 格式化NameNode

如果你是第一次配置HDFS，需要格式化NameNode。

hdfs namenode -format

5. 啟動HDFS

啟動HDFS集群。

start-dfs.sh

6. 驗證HDFS狀態

使用以下命令檢查HDFS的狀態。

hdfs dfsadmin -report

你應該能看到NameNode和DataNode的狀態信息。

7. 停止HDFS

如果你需要停止HDFS集群，可以使用以下命令。

stop-dfs.sh

通過以上步驟，你就可以在CentOS上成功配置HDFS的數據存儲路徑。根據你的具體需求，可能需要調整配置文件中的路徑和其他參數。