Hadoop在Linux上通過YARN（Yet Another Resource Negotiator）實現任務調度，核心流程及組件如下：
-
組件協作
- ResourceManager（RM）：全局資源管理，接收作業提交、調度資源并監控應用狀態。
- NodeManager（NM）：管理單個節點資源，執行RM分配的任務，匯報資源使用情況。
- ApplicationMaster（AM）：代表作業與RM協商資源，啟動并監控任務執行。
-
調度流程
- 作業提交：用戶通過客戶端提交作業（如MapReduce JAR包）至RM。
- 資源分配：RM根據調度策略（如FIFO、Capacity、Fair）選擇NM，分配容器（資源單位）。
- 任務執行：AM在容器中啟動任務（如Map/Reduce任務），NM執行并匯報進度。
- 動態調整：根據資源狀態和任務依賴，RM可調整任務調度順序或重新分配資源。
-
調度策略
- FIFO（先進先出）：按作業提交順序調度，簡單但資源利用率低，適合單用戶場景。
- Capacity Scheduler：支持多隊列，按隊列優先級和資源需求分配資源，適合多用戶共享集群。
- Fair Scheduler：動態分配資源，確保小任務快速響應，大任務維持服務水平，適合公平性要求高的場景。
-
數據與任務優化
- 數據本地化：優先將任務調度到存儲輸入數據的節點，減少數據傳輸開銷。
- 任務監控與容錯：AM監控任務狀態，失敗時重新申請資源重啟任務。
通過上述機制，Hadoop在Linux上實現了高效的分布式任務調度，充分利用集群資源處理大規模數據。
