在Linux下，Hadoop使用YARN（Yet Another Resource Negotiator）作為其資源管理和任務調度系統。YARN負責在Hadoop集群中分配資源并調度任務。以下是Hadoop在Linux上進行任務調度的主要組件和步驟：
YARN的主要組件
- ResourceManager：集群資源的總調度者，負責全局資源分配。包含兩個子組件：調度器（Scheduler）和應用程序管理器（ApplicationManager）。
- NodeManager：每個工作節點（DataNode）上的代理，負責管理單個節點上的資源，并向ResourceManager匯報資源使用情況。
- ApplicationMaster：每個應用程序（如MapReduce、Spark Job）的專屬管理者，負責協調和管理應用程序的生命周期，包括資源請求、任務調度和監控。
- Container：YARN中資源分配的基本單位，用于封裝應用程序運行所需的各種資源，如內存、CPU和磁盤空間。
Hadoop任務調度的主要步驟
- 作業提交：用戶通過Hadoop客戶端提交作業（如MapReduce作業）到ResourceManager。
- 資源分配：ResourceManager將作業添加到作業隊列中，并根據調度策略選擇一個合適的NodeManager來運行作業的第一個組件。
- 任務執行：ResourceManager通知選定的NodeManager分配一個容器來執行作業的第一個組件。NodeManager在分配的容器中啟動應用程序，并監控其進度。
- 進度和狀態更新：任務執行過程中，ApplicationMaster會定期向ResourceManager報告任務的進度和狀態。
- 任務完成：當所有組件都完成任務后，ResourceManager將作業標記為完成，并釋放相關資源。
YARN支持的調度策略
- FIFO（先進先出）：按照作業的提交順序執行任務，簡單但資源利用率低。
- Capacity Scheduler：隊列劃分，保證資源隔離，適用于多租戶集群。
- Fair Scheduler：動態平衡資源，公平共享，適用于混合負載場景。
通過以上步驟和策略，Hadoop在Linux下可以實現高效的任務調度和管理。
