HDFS在CentOS上的配置步驟是什么

在CentOS上配置Hadoop分布式文件系統（HDFS）是一個涉及多個步驟的過程。以下是一個基本的配置步驟指南，基于CentOS 7或更高版本，使用Hadoop 3.x版本：

1. 環境準備

• 安裝Java環境：
  • 確保系統已安裝合適的JDK版本，并配置好JAVA_HOME環境變量。

  sudo yum install java-1.8.0-openjdk-devel
  export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
  export PATH=$PATH:$JAVA_HOME/bin
  

• 安裝SSH：
  • 確保所有節點之間可以通過SSH無密碼登錄。

  sudo yum install openssh-server openssh-clients
  sudo systemctl start sshd
  sudo systemctl enable sshd
  ssh-keygen -t rsa
  ssh-copy-id root@node2
  ssh-copy-id root@node3
  

• 配置網絡：
  • 修改主機名和IP地址映射。
  • 設置靜態IP地址和網關。

  vi /etc/hosts
  vi /etc/sysconfig/network-scripts/ifcfg-eth0
  

• 配置時間同步（可選）：
  • 使用NTP服務同步所有節點的時間。

  sudo yum install ntp
  sudo systemctl start ntpd
  sudo systemctl enable ntpd
  

2. 安裝Hadoop

• 下載并解壓Hadoop：
  • 從Apache Hadoop官方網站下載對應版本的Hadoop發行包，并解壓到指定目錄。

  wget https://downloads.apache.org/hadoop/core/hadoop-3.3.4/hadoop-3.3.4.tar.gz
  tar -xzvf hadoop-3.3.4.tar.gz -C /usr/local/
  sudo mv /usr/local/hadoop-3.3.4 /usr/local/hadoop
  

3. 配置Hadoop環境變量

• 編輯/etc/profile文件：
  • 添加Hadoop的路徑和環境變量。

  vi /etc/profile
  export HADOOP_HOME=/usr/local/hadoop
  export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  source /etc/profile
  

4. 配置Hadoop

• 配置core-site.xml：
  • 配置HDFS的默認文件系統地址和臨時目錄。

  <configuration>
      <property>
          <name>fs.defaultFS</name>
          <value>hdfs://namenode:9000</value>
      </property>
  </configuration>
  

• 配置hdfs-site.xml：
  • 配置HDFS的數據節點目錄、副本數等。

  <configuration>
      <property>
          <name>dfs.replication</name>
          <value>3</value>
      </property>
      <property>
          <name>dfs.namenode.name.dir</name>
          <value>/usr/local/hadoop/data/namenode</value>
      </property>
      <property>
          <name>dfs.datanode.data.dir</name>
          <value>/usr/local/hadoop/data/datanode</value>
      </property>
  </configuration>
  

• 配置mapred-site.xml（如果需要）：
  • 配置MapReduce框架。

  <configuration>
      <property>
          <name>mapreduce.framework.name</name>
          <value>yarn</value>
      </property>
  </configuration>
  

• 配置yarn-site.xml（如果需要）：
  • 配置YARN資源管理器。

  <configuration>
      <property>
          <name>yarn.resourcemanager.hostname</name>
          <value>namenode</value>
      </property>
      <property>
          <name>yarn.nodemanager.aux-services</name>
          <value>mapreduce_shuffle</value>
      </property>
  </configuration>
  

5. 格式化NameNode

• 在NameNode節點上執行格式化命令：

  hdfs namenode -format
  

6. 啟動HDFS

• 在NameNode節點上啟動HDFS服務：

  sbin/start-dfs.sh
  

7. 驗證HDFS

• 使用jps命令檢查HDFS進程是否啟動成功。
• 在瀏覽器中訪問NameNode的Web界面（通常是http://namenode:50070）確認配置。

8. 配置防火墻（可選）

• 確保防火墻允許Hadoop使用的端口（默認是9000、50010、50020、50070、50075、50090）。

sudo firewall-cmd --permanent --zone=public --add-port=9000/tcp
sudo firewall-cmd --permanent --zone=public --add-port=50010/tcp
sudo firewall-cmd --permanent --zone=public --add-port=50020/tcp
sudo firewall-cmd --permanent --zone=public --add-port=50070/tcp
sudo firewall-cmd --permanent --zone=public --add-port=50075/tcp
sudo firewall-cmd --permanent --zone=public --add-port=50090/tcp
sudo firewall-cmd --reload

9. 配置SSH無密碼登錄（可選）

• 確保所有節點之間可以通過SSH無密碼登錄。

以上步驟提供了一個基本的指南，具體的配置可能會因版本和環境的不同而有所差異。建議參考Hadoop官方文檔進行詳細配置。