搭建CentOS HDFS集群是一個相對復雜的過程，需要多個步驟和配置。以下是一個基本的搭建步驟指南：
1. 環境準備
- 硬件要求：確保每個節點有足夠的內存和磁盤空間。
- 網絡配置：所有節點應配置靜態IP地址，并設置正確的網絡參數。
2. 安裝Java環境
- 在所有節點上安裝Java，推薦使用OpenJDK 8。
3. 配置SSH免密登錄
- 在所有節點上生成SSH密鑰對，并將公鑰復制到其他節點的
~/.ssh/authorized_keys文件中，以實現無密碼登錄。
4. 下載并解壓Hadoop
- 從Apache Hadoop官網下載對應版本的Hadoop安裝包，并解壓到指定目錄。
5. 配置Hadoop環境變量
- 編輯
/etc/profile文件，添加Hadoop的路徑和環境變量，然后執行source /etc/profile使其生效。
6. 配置Hadoop配置文件
- core-site.xml：配置默認文件系統和臨時目錄。
- hdfs-site.xml：配置HDFS相關參數，如數據節點目錄、副本數、NameNode地址等。
- mapred-site.xml：配置MapReduce框架相關參數。
- yarn-site.xml：配置YARN相關參數。
7. 初始化NameNode
- 在NameNode節點上執行格式化命令：
hdfs namenode -format
8. 啟動HDFS集群
- 在NameNode節點上執行啟動命令：
sbin/start-dfs.sh
9. 驗證集群狀態
- 使用以下命令檢查HDFS集群狀態：
hdfs dfsadmin -report
10. 配置高可用性（可選）
- 為了實現高可用性，需要配置ZooKeeper和JournalNode，并設置多個NameNode以實現故障轉移。
請注意，以上步驟是一個基本的指南，具體配置可能會根據實際環境和需求有所不同。在搭建過程中，還需要注意防火墻的設置、SELinux的配置、時間同步等問題。建議參考Hadoop官方文檔和相關的技術博客，以獲取更詳細的指導和更準確的配置信息。
