在CentOS上集成HDFS（Hadoop Distributed File System）與YARN（Yet Another Resource Negotiator）涉及多個步驟，包括環境準備、配置文件修改、服務啟動等。以下是詳細的集成步驟：
環境準備
- 安裝CentOS 7：確保所有節點上安裝了CentOS 7操作系統。
- 關閉防火墻：臨時關閉防火墻以便于Hadoop服務啟動和測試。
- 禁用SELinux：禁用SELinux以減少配置復雜性。
- 配置時間同步：配置時間同步以確保集群節點之間的時間一致性。
- 配置IP與主機名映射：在所有節點上配置IP地址與主機名的映射。
- SSH無密鑰登錄：配置SSH無密鑰登錄以便于節點間通信。
- 安裝JDK 8：在所有節點上安裝JDK 8。
HDFS配置
- 解壓Hadoop：在所有節點上解壓Hadoop安裝包。
- 配置環境變量：配置Hadoop環境變量，如
HADOOP_HOME。
- 配置核心-site.xml：配置HDFS的核心屬性，如NameNode和DataNode的地址。
- 配置hdfs-site.xml：配置HDFS的文件系統屬性，如副本數、塊大小等。
- 配置slaves文件：指定DataNode的主機名。
- 格式化NameNode：在NameNode上執行格式化命令。
- 啟動HDFS：使用
start-dfs.sh 腳本啟動HDFS集群并驗證其狀態。
YARN配置
- 修改yarn-site.xml：配置YARN的屬性，如ResourceManager和NodeManager的地址、Zookeeper地址等。對于高可用性配置，需要啟用ResourceManager HA并配置多個ResourceManager實例。
- 同步配置文件：將配置文件同步到所有NodeManager節點。
- 啟動YARN服務：在ResourceManager節點上啟動YARN服務，并在所有NodeManager節點上啟動NodeManager服務。
- 驗證YARN服務狀態：使用YARN提供的Web界面或其他工具驗證YARN服務是否正常運行。
驗證集成
- 使用jps命令：檢查HDFS和YARN的進程是否正常運行。
- 訪問Web界面：
- HDFS: http://namenode-host:50070
- YARN: http://resourcemanager-host:8088
集成的好處
- 提高資源利用率：YARN的資源調度能力使得集群資源得到更高效的利用。
- 支持多種計算框架：HDFS與YARN的集成支持多種大數據處理框架，如MapReduce、Spark等，提高了系統的靈活性和可擴展性。
在進行上述配置時，請確保所有節點的配置文件保持一致。在啟動HDFS和YARN服務之前，請確保所有必要的端口已打開，并且網絡配置正確。對于生產環境，建議使用更高版本的Hadoop，并遵循官方的最佳實踐進行配置和部署。
