Yarn架構

Yarn是為了解決MRv1中JobTracker負載過重，而設計的第二代MR運行架構。
yarn是個master/slave結構，master節點運行Resourcemanager，slave節點運行nodemanager。

1. RM主要有兩個組件：資源調度器（scheduler）和應用程序管理器（Applications Manager）
   scheduler主要進行資源調度，不進行任何與應用程序相關的動作，主要包括Capacity Scheduler和Fair scheduler。
   ASM：主要負責提交、啟動以及監控每個application的application master
2. AM
   每個作業都有一個application master來監控和管理自己的所有任務，具備的功能包括：
   a，與RM交互獲取任務運行的資源；
   b，與NM交互提交任務、監控任務運行情況等
3. NM
   一般集群中每個節點啟動一個NM，NM不但向RM發送心跳，匯報本節點的資源使用情況；并與AM交互，接收并處理來自AM的所有關于container的請求。
4. container
   一個邏輯概念，抽象的資源表示形式，可以代表一組多維度資源，目前yarn主要支持cpu和內存。

yarn工作流程

向yarn提交一個應用程序后，yarn主要分為兩個步驟：第一步先啟動application master；第二步由AM啟動并監控本application中的所有任務，直到完成。

1. 向yarn提交應用程序，包含application master程序，以及啟動am的命令；
2. RM為AM分配一個container，并與NM通信啟動container來運行這個AM（這是唯一一個由RM和NM通信啟動的container，其它的container都是AM與NM通信啟動）
3. AM啟動之后，主動向RM發送心跳注冊自己，此時RM可以監控這個AM，我們可以在yarn web頁面上看到這個任務；
4. AM輪詢方式向RM申請和獲取資源；
5. AM獲取到資源后，與NM通信要求啟動任務；
6. NM設置任務運行環境，啟動任務；
7. 各個NM上的任務，不斷通過RPC向AM發送心跳，匯報自己的狀態和進度；
8. 任務全部完成后，AM向RM注銷自己。