Yarn HA
RM:
a.啟動時會通過向ZK的/hadoop-ha目錄寫一個lock文件,寫成功則為active,否則standyby
standy 的RM會一直監控lock文件是否存在,如果不存在就會嘗試去創建,爭取為active RM
b.會接收客戶端的任務請求,接收和監控nm的資源的匯報,負責資源的分配與調度,啟動和監控我們的ApplicationMaster
NM:
節點上的資源的管理,啟動container容器,運行task的計算,上報資源,container情況匯報給RM和任務的處理情況匯報給作業的ApplicationMaster
ZKFC直接嵌入到RM中
RMStateStore直接存儲到ZK中
ApplicationMaster(AM):
單個application(job)的task的管理和調度,并向rm進行資源的申請,向nm發出 launch conta指令,接收NM的task的處理狀態信息。
面試題:ApplicationMaster 運行在哪里
ApplicationMaster 運行在nm機器上的container。AM也是個任務,只不過在做它自己該完成的職責。
RMstatestore:
a.RM的作業信息存儲在ZK的/rmstore下,active RM向這個目錄寫 作業信息(即Application)
b當activerm掛了,另外一個standby rm成功轉換為active rm后,會從/rmstore目錄讀取相應的作業信息,重新構建作業的內存信息。
然后開始內部服務,開始接受NM的心跳,構建集群資源的信息,并接收客戶端的提交作業的請求等。
ZKFC:
自動故障轉移,只作為RM進行的一個線程,而非獨立的守護進程來啟動。
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。