在Linux系統里，Hadoop資源管理主要通過YARN（Yet Another Resource Negotiator）來實現。YARN是Hadoop 2.0引入的資源管理器，負責為上層應用提供統一的資源管理和調度。以下是Hadoop資源管理的一些關鍵方面：
YARN資源管理
- ResourceManager (RM)：負責整個集群的資源管理和調度。它接受來自節點的資源使用情況報告，并根據策略分配資源給各個應用程序。
- NodeManager (NM)：在每個集群節點上運行，負責監控節點的健康狀況，執行任務，并報告資源使用情況給ResourceManager。
- ApplicationMaster (AM)：是YARN中的一種特殊類型的應用程序，負責資源請求和任務調度。每個應用程序啟動時，都會啟動一個ApplicationMaster，它與ResourceManager協商資源，并與NodeManager交互以啟動和監控任務。
- Client：與ResourceManager和ApplicationMaster交互，提交應用程序，并可以查詢應用程序的狀態。
HDFS資源管理
- 數據存儲：HDFS是Hadoop的分布式文件系統，負責存儲大量數據，并提供統一的訪問接口。
- 副本機制：為了容錯，文件的所有塊都會有副本，副本數量可以通過配置參數來設置。
實現過程
- 修改配置文件：例如，修改
yarn-site.xml文件以啟用日志聚合功能。
- 配置環境變量：編輯
~/.bashrc或~/.bash_profile文件，添加Hadoop的安裝路徑。
- 啟動Hadoop集群：使用
start-dfs.sh和start-yarn.sh腳本啟動HDFS和YARN服務。
以上步驟提供了在Linux系統上管理Hadoop資源的基本框架。具體的配置和管理步驟可能會根據不同的Hadoop版本和環境有所變化。
