Hadoop任務調度的工作主要依賴于YARN（Yet Another Resource Negotiator）框架。YARN是Hadoop生態系統中的一個關鍵組件，負責集群資源的分配和管理，并且支持多種計算模型（如批處理、實時處理、交互式查詢等）的資源調度。
以下是Hadoop任務調度的基本工作流程：
1. 應用提交
- 用戶通過YARN客戶端提交應用程序（Application），包括MapReduce作業、Spark作業等。
- 客戶端將應用程序的元數據（如JAR文件、配置文件等）上傳到HDFS，并向ResourceManager提交應用程序。
2. ResourceManager初始化
- ResourceManager接收到應用程序提交請求后，初始化應用程序的運行環境。
- ResourceManager會創建一個ApplicationMaster實例來管理該應用程序的生命周期。
3. ApplicationMaster注冊
- ApplicationMaster向ResourceManager注冊自己，并報告其所需資源（如內存、CPU核數等）。
- ResourceManager根據當前集群的資源狀況和應用程序的需求，分配初始資源給ApplicationMaster。
4. 資源申請與分配
- ApplicationMaster根據應用程序的實際需求，向ResourceManager申請更多的資源。
- ResourceManager會根據集群的空閑資源和策略，動態調整并分配資源給ApplicationMaster。
5. 任務調度與執行
- ApplicationMaster將任務分解為多個子任務（如Map任務、Reduce任務等），并將這些子任務分發到集群中的各個NodeManager上執行。
- NodeManager負責在本地節點上啟動和管理這些子任務，并定期向ApplicationMaster報告任務進度和狀態。
6. 監控與容錯
- ResourceManager持續監控應用程序的運行狀態，包括任務進度、資源使用情況等。
- 如果某個任務失敗或超時，ApplicationMaster會重新調度該任務到其他節點上執行，以確保應用程序能夠順利完成。
7. 應用程序完成
- 當所有子任務都成功完成后，ApplicationMaster會向ResourceManager報告應用程序已完成。
- ResourceManager釋放分配給該應用程序的所有資源，并通知客戶端應用程序已結束。
調度策略
YARN支持多種調度策略，包括：
- FIFO（先進先出）：按照任務提交的順序進行調度。
- Capacity Scheduler：根據隊列的容量限制來分配資源，適用于多租戶環境。
- Fair Scheduler：確保所有應用程序公平地共享集群資源，避免某些應用程序長時間占用資源。
配置與優化
- 用戶可以通過配置文件（如
yarn-site.xml）來調整YARN的調度參數和策略。
- 根據實際應用場景和集群規模，可以進行性能調優，以提高任務執行效率和資源利用率。
總之，Hadoop任務調度通過ResourceManager和ApplicationMaster的協同工作，實現了集群資源的動態分配和管理，確保了應用程序的高效執行。
