本文來源：通通學--知識學習與分享平臺
轉載鏈接：http://www.tongtongxue.com/archives/220.html
HDFS: Hadoop Distributed File System 分布式文件系統
MapReduce：并行計算框架
Yarn：集群資源管理和調度框架
適合大數據的分布式存儲、計算、資源管理平臺
作者：Doug Cutting
受Google三篇論文的啟發
主從結構
主節點，只有一個: namenode
從節點，有很多個: datanodes
namenode負責：
接收用戶操作請求
維護文件系統的目錄結構
管理文件與block之間關系，block與datanode之間關系
datanode負責：
存儲文件
文件被分成block存儲在磁盤上
為保證數據安全，文件會有多個副本
主從結構
主節點，只有一個: ResourceManager
控制節點，每個Job都有一個MRAppMaster
從節點，有很多個: YarnChild
ResourceManager負責：
接收客戶提交的計算任務
把Job分給MRAppMaster執行
監控MRAppMaster的執行情況
MRAppMaster負責：
負責一個Job執行的任務調度
把Job分給YarnChild執行
監控YarnChild的執行情況
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
