在CentOS上部署Hadoop的HDFS（Hadoop Distributed File System）和YARN（Yet Another Resource Negotiator）是大數據處理和分析的基礎。HDFS負責存儲數據，而YARN負責資源管理和調度。以下是它們協同工作的基本原理和步驟：
HDFS與YARN的協同工作
- HDFS的作用：
- HDFS作為分布式文件系統，負責存儲大量的數據文件，并提供高可用性和容錯性。
- 它將數據分成多個塊（block），并將這些塊分布在多個DataNode上，以實現數據的并行讀寫和冗余存儲。
- YARN的作用：
- YARN是Hadoop的資源管理器，負責整個集群資源的分配、調度和管理。
- 它包括兩個主要組件：ResourceManager和NodeManager。ResourceManager負責全局資源管理和調度，而每個NodeManager負責單個節點上的資源管理和容器化應用程序的執行。
- 協同工作流程：
- 當一個應用程序提交到YARN時，ResourceManager會根據集群的資源狀況分配資源，并安排一個或多個Container在NodeManager上運行。
- 這些Container可以運行MapReduce任務或其他類型的分布式計算任務，這些任務由HDFS提供數據存儲。
- YARN的ResourceManager還與HDFS的NameNode和DataNode交互，以獲取所需的數據塊信息。
在CentOS上部署HDFS和YARN的步驟
- 環境準備：
- 安裝JDK并配置環境變量。
- 配置SSH免密登錄。
- 安裝和配置Hadoop。
- 配置HDFS：
- 編輯
hdfs-site.xml文件，配置HDFS相關的屬性，如數據塊大小、副本數等。
- 編輯
core-site.xml文件，配置HDFS的默認文件系統和名稱節點地址。
- 配置YARN：
- 編輯
yarn-site.xml文件，配置YARN相關的屬性，如ResourceManager和NodeManager的設置、資源調度器等。
- 啟動HDFS和YARN：
- 使用命令行啟動HDFS和YARN服務。
- 格式化NameNode并啟動HDFS。
- 啟動YARN的ResourceManager和NodeManager。
- 驗證部署：
- 使用
jps命令檢查HDFS和YARN的進程是否正常運行。
- 通過Web界面或命令行工具驗證HDFS的文件存儲和YARN的資源調度功能。
以上就是CentOS上HDFS與YARN協同工作的基本原理和部署步驟。在實際應用中，可能還需要根據具體需求進行更多的配置和優化。
