Linux HDFS集群搭建步驟

搭建一個Linux HDFS集群涉及多個步驟，以下是一個基本的指南，假設你有至少三個Linux節點（一個NameNode和兩個DataNode）。

準備工作

1. 準備節點：至少需要準備3臺Linux服務器，分別作為NameNode和DataNode。
2. 網絡配置：確保所有節點在同一個網絡中，并且可以互相通信。修改每臺機器的 /etc/hosts 文件，添加主機名和IP地址的映射。
3. 安裝Java環境：HDFS需要Java運行環境，安裝OpenJDK或Oracle JDK。
4. 關閉防火墻：臨時關閉防火墻以便進行配置，并確保防火墻不會在重啟后自動啟動。
5. 配置SSH免密登錄：在所有節點之間配置SSH免密登錄，以便無需密碼即可互相訪問。

安裝Hadoop

1. 下載并解壓Hadoop：從Apache Hadoop官網下載最新版本的Hadoop，然后解壓到合適的目錄。例如：

   wget https://downloads.apache.org/hadoop/core/hadoop-3.3.0/hadoop-3.3.0.tar.gz
   tar -xzvf hadoop-3.3.0.tar.gz -C /usr/local/
   

2. 配置環境變量：編輯 /etc/profile 文件，添加Hadoop的路徑和環境變量。例如：

   export HADOOP_HOME=/usr/local/hadoop-3.3.0
   export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
   

   然后運行以下命令使配置生效：

   source /etc/profile
   

配置Hadoop

1. 修改配置文件：
   • core-site.xml：

     <configuration>
         <property>
             <name>fs.defaultFS</name>
             <value>hdfs://namenode:9000</value>
         </property>
     </configuration>
     

   • hdfs-site.xml：

     <configuration>
         <property>
             <name>dfs.namenode.name.dir</name>
             <value>/path/to/namenode/data</value>
         </property>
         <property>
             <name>dfs.datanode.data.dir</name>
             <value>/path/to/datanode/data</value>
         </property>
         <property>
             <name>dfs.replication</name>
             <value>3</value>
         </property>
     </configuration>
     

   • slaves：在所有DataNode節點上編輯 /etc/hosts 文件，添加NameNode的主機名。

格式化NameNode

在NameNode節點上執行以下命令格式化文件系統：

hdfs namenode -format

啟動HDFS集群

1. 啟動NameNode和SecondaryNameNode：

   start-dfs.sh
   

2. 啟動DataNode：在其他DataNode節點上啟動HDFS服務。

   start-dfs.sh datanode
   

驗證集群

1. 檢查進程：使用 jps 命令檢查NameNode和DataNode是否正在運行。
2. 訪問Web界面：在瀏覽器中訪問NameNode的Web界面（默認是 http://namenode:50070）查看集群狀態。

高可用性配置（可選）

對于生產環境，建議配置HDFS的高可用性（HA）。這通常涉及設置Secondary NameNode、ZooKeeper以及故障轉移控制器（ZKFC）。具體步驟可以參考Hadoop官方文檔或相關教程。

請注意，以上步驟是一個基本的指南，具體細節可能會根據不同的Hadoop版本和Linux發行版有所變化。建議參考Hadoop官方文檔以獲取更詳細的指導。