CentOS HDFS配置文檔在哪里找

在CentOS系統上配置Hadoop分布式文件系統（HDFS）涉及多個步驟，包括安裝Hadoop、配置環境變量、修改配置文件以及啟動HDFS服務等。以下是一個詳細的配置步驟指南：

安裝Java環境

在CentOS上安裝Java環境是配置Hadoop的前提條件。你可以使用以下命令來安裝OpenJDK：

sudo yum install java-1.8.0-openjdk-devel

然后，設置Java環境變量：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export PATH=$JAVA_HOME/bin:$PATH

安裝Hadoop

從Apache Hadoop官網下載最新版Hadoop，并解壓到指定目錄。例如：

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz
tar -xzvf hadoop-3.3.4.tar.gz -C /usr/local/

然后，配置環境變量，將Hadoop路徑添加到/etc/profile文件中：

export HADOOP_HOME=/usr/local/hadoop-3.3.4
export PATH=$HADOOP_HOME/bin:$PATH

使配置生效：

source /etc/profile

配置Hadoop環境變量

編輯 /etc/profile.d/hadoop.sh 文件，添加以下內容：

export HADOOP_HOME=/usr/local/hadoop-3.3.4
export PATH=$HADOOP_HOME/bin:$PATH

使環境變量生效：

source /etc/profile.d/hadoop.sh

配置HDFS

配置core-site.xml

編輯 $HADOOP_HOME/etc/hadoop/core-site.xml 文件，添加以下內容：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://namenode:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/tmp/hadoop</value>
  </property>
</configuration>

配置hdfs-site.xml

編輯 $HADOOP_HOME/etc/hadoop/hdfs-site.xml 文件，添加以下內容：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/path/to/namenode/dir</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/path/to/datanode/dir</value>
  </property>
</configuration>

配置yarn-site.xml

編輯 $HADOOP_HOME/etc/hadoop/yarn-site.xml 文件，添加以下內容：

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
</configuration>

配置mapred-site.xml

編輯 $HADOOP_HOME/etc/hadoop/mapred-site.xml 文件，添加以下內容：

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

格式化NameNode

在啟動HDFS之前，需要格式化NameNode：

hdfs namenode -format

啟動HDFS

在NameNode節點上啟動HDFS服務：

start-dfs.sh

驗證HDFS配置

可以使用以下命令檢查HDFS進程是否正常運行：

jps

預期看到NameNode、DataNode等進程。

此外，還可以訪問HDFS的Web界面來驗證配置是否成功。默認的端口是50070，訪問 http://namenode:50070 查看HDFS的狀態。

請注意，以上步驟是一個基本的指南，具體配置可能會根據你的實際環境和需求有所不同。在進行任何配置更改后，都建議進行適當的測試以驗證其正確性。