CentOS下HDFS安裝步驟是什么

在CentOS下安裝HDFS（Hadoop分布式文件系統）通常涉及以下幾個步驟：

1. 環境準備

• 安裝Java：Hadoop需要Java環境，建議安裝Java 8或更高版本。

  sudo yum install java-1.8.0-openjdk-devel
  java -version
  

• 網絡配置：確保所有節點之間可以互相通信，配置好hosts文件。
• SSH無密碼登錄：配置SSH無密碼登錄，以便在節點之間進行無密碼訪問。

  ssh-keygen -t rsa
  ssh-copy-id hadoop@namenode
  ssh-copy-id hadoop@datanode1
  ssh-copy-id hadoop@datanode2
  

2. 下載并解壓Hadoop

從Apache Hadoop官方網站下載最新版本的Hadoop，并解壓到指定目錄。

wget https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
tar -xzvf hadoop-3.3.1.tar.gz -C /usr/local/
sudo mv /usr/local/hadoop-3.3.1 /usr/local/hadoop

3. 配置Hadoop環境變量

編輯 /etc/profile.d/hadoop.sh 文件，添加以下內容：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使環境變量生效：

source /etc/profile.d/hadoop.sh

4. 配置Hadoop集群

編輯Hadoop配置文件，通常位于 HADOOP_HOME/etc/hadoop 目錄下。

• core-site.xml：

  <configuration>
      <property>
          <name>fs.defaultFS</name>
          <value>hdfs://namenode:9000</value>
      </property>
  </configuration>
  

• hdfs-site.xml：

  <configuration>
      <property>
          <name>dfs.replication</name>
          <value>3</value>
      </property>
      <property>
          <name>dfs.namenode.name.dir</name>
          <value>/usr/local/hadoop/data/namenode</value>
      </property>
      <property>
          <name>dfs.datanode.data.dir</name>
          <value>/usr/local/hadoop/data/datanode</value>
      </property>
  </configuration>
  

• yarn-site.xml 和 mapred-site.xml： 根據需要配置YARN相關設置。

5. 格式化HDFS

在NameNode節點上執行以下命令格式化HDFS：

hdfs namenode -format

6. 啟動Hadoop集群

在NameNode節點上啟動HDFS和YARN：

start-dfs.sh
start-yarn.sh

7. 驗證集群狀態

使用 jps 命令檢查HDFS進程是否啟動成功。你應該看到NameNode、SecondaryNameNode、DataNode、ResourceManager和NodeManager進程。

8. 配置防火墻（可選）

關閉防火墻或配置防火墻允許Hadoop服務通信。

sudo systemctl stop firewalld
sudo chkconfig firewalld off

注意事項

• 確保所有節點的時間同步。
• 根據實際需求調整Hadoop配置參數。
• 配置SSH無密碼登錄，以便Hadoop節點之間可以自動通信。

以上步驟是一個基本的指南，具體的安裝過程可能會因版本和特定需求而有所不同。建議參考Hadoop官方文檔或相關的教程進行操作。