在CentOS上搭建HDFS集群需要多個步驟，以下是詳細的步驟概述：
1. 環境準備
- 安裝Java：在所有節點上安裝JDK，推薦使用JDK 8。
- 配置網絡：設置靜態IP地址，并確保所有節點在同一個網段內。
- 修改主機名：為每個節點設置唯一的主機名，并更新
/etc/hosts文件。
2. 安裝Hadoop
- 下載Hadoop：從Apache Hadoop官網下載對應版本的安裝包。
- 解壓安裝包：將所有節點上的Hadoop解壓到指定目錄。
- 配置環境變量：編輯
/etc/profile文件，添加Hadoop的環境變量，如HADOOP_HOME和PATH。
3. 配置Hadoop
- 配置core-site.xml：設置文件系統的默認名稱和其他核心配置。
- 配置hdfs-site.xml：配置NameNode和DataNode的地址、數據塊大小等參數。
- 配置mapred-site.xml和yarn-site.xml：配置MapReduce和YARN的相關參數。
4. 啟動Hadoop服務
- 格式化NameNode：在NameNode節點上執行
hdfs namenode -format。
- 啟動HDFS：運行
start-dfs.sh啟動所有HDFS服務。
- 啟動YARN：運行
start-yarn.sh啟動YARN服務。
5. 驗證集群狀態
- 檢查服務狀態：使用
jps命令檢查各個服務是否啟動成功。
- 訪問Web UI：訪問NameNode的Web UI（默認端口50070）查看集群狀態。
6. 高可用性配置（可選）
- 配置ZooKeeper：用于監控NameNode的狀態并進行故障轉移。
- 配置JournalNode：用于元數據的備份和同步，防止腦裂。
通過以上步驟，可以在CentOS上成功搭建一個HDFS集群。確保每個步驟都仔細操作，以保證集群的穩定性和可靠性。
