在Ubuntu上搭建HDFS集群涉及多個步驟，包括安裝Hadoop、配置Hadoop環境變量、設置HDFS相關配置文件以及啟動HDFS集群。以下是一個基本的步驟指南：
環境準備
- 確保集群中的節點之間可以相互通信，配置好Java環境。
- 安裝好SSH，并配置免密登錄，以便節點之間可以方便地通信。
- 下載并解壓Hadoop：從Apache Hadoop官網下載對應版本的安裝包。解壓安裝包到每個節點上，并配置Hadoop的環境變量。
配置HDFS
- 修改配置文件：
- core-site.xml：配置Hadoop核心配置文件。
- hdfs-site.xml：配置HDFS核心配置文件。
- yarn-site.xml：配置YARN相關配置。
- mapred-site.xml：配置MapReduce相關配置。
SSH免密登錄
- 配置SSH信任，免密登錄，確保在集群中各節點可以相互通信。
格式化NameNode
- 在NameNode節點上運行
hadoop namenode -format命令，初始化HDFS文件系統。
啟動HDFS集群
- 啟動NameNode和SecondaryNameNode：在NameNode節點上執行
start-dfs.sh。
- 啟動YARN ResourceManager和NodeManager：在ResourceManager節點上執行
start-yarn.sh。
驗證集群狀態
- 使用以下命令檢查HDFS和YARN的狀態：
hdfs dfsadmin -reportyarn node -list
注意事項
- 在配置過程中，確保所有節點的配置文件保持一致。
- 根據實際集群規模和工作負載需求，調整HDFS的配置參數，如塊大小、副本數量等，以優化性能。
請注意，以上步驟提供了一個基本的HDFS集群搭建流程，具體配置可能會根據實際需求和集群規模有所不同。在實際操作中，建議參考Hadoop官方文檔，并根據實際情況進行調整和優化。
