hadoop中各個組件的介紹

這篇文章主要介紹“hadoop中各個組件的介紹”，在日常操作中，相信很多人在hadoop中各個組件的介紹問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”hadoop中各個組件的介紹”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

HDFS(Hadoop distribute file system)——Hadoop生態系統的基礎組件Hadoop分布式文件系統。它是其他一些工具的基礎HDFS的機制是將大量數據分布到計算機集群上，數據一次寫入，但可以多次讀取用于分析。HDFS讓Hadoop可以最大化利用磁盤。

HBase—— 一個構建在HDFS之上的面向列的NoSql數據庫，HBase用于對打量數據進行快速讀取/寫入。HBase將Zookeeper用于自身的管理，以保證其所有組件都正在運行。HBase使得Hadoop可以最大化利用內存。

MapReduce——MapReduce是Hadoop的主要執行框架，它是一個用于分布式并行數據處理的編程模型，將作業分為mapping階段和reduce階段。開發人員謂Hadoop編寫MapReduce作業，并使用HDFS中存儲的數據，而HDFS可以保證快速的數據訪問。鑒于MapReduce作業的特性，Hadoop以并行的方式將處理過程移向數據。MapReduce使得Hadoop可以最大化利用CPU。

Zookeeper——Zookeeper是Hadoop的分布式協調服務。Zookeeper被設計成可以在機器集群上運行，是一個具有高度可用性的服務，用于Hadoop操作的管理，而且很多Hadoop組件都依賴它。

 Oozie—— Oozie是一個北極測很難過到Hadoop軟件棧中的可擴展的Workflow系統。用于協調多個MapReduce作業的執行。它能夠處理大量的復雜性，基于外部事件來管理執行。

 Pig——Pig是對MapReduce編程復雜性的抽象，Pig平臺包含用于分析Hadoop數據集的執行環境和腳本語言(Pig Latin)。它的編譯器將Pig Latin翻譯為MapReduce程序序列。

Hive——類似于SQL的高級語言，用于執行對存儲在Hadoop中數據的查詢，Hive允許不熟悉MapReduce的開發人員編寫數據查詢語句，它會將翻譯為Hadoop中的MapReduce作業。類似于Pig。Hive是一個抽象層，適合于較熟悉SQL而不是java編程的數據庫分析師。

Hadoop生態系統中還包含一些用于與其他企業級應用進行集成的框架,例如上圖所示的Sqoop和Flume：
 Sqoop是一個連通性工具，用于在關系型數據庫和數據倉庫Hadoop之間移動數據。Sqoop利用數據庫來描述導入/導出數據的模式，并使用MapReduce實現并行操作和容錯。

Fulme是一個分布式的、具有可靠性和高可用性的服務，用于從單獨的機器上將大量數據高效的收集、聚合并移動到HDFS中。它給予一個簡單靈活的架構，童工流式數據操所。它借助于簡單可擴展的數據模型，允許將來自企業中多臺機器上的數據移到Hadoop中。

hbase 是架構在hadoop之上的分布式數據庫，hive即hive sql，用戶可以通過寫hive sql，hive負責將sql生成相關的mapreduce作業，并提交給hadoop集群來運行這樣的作業。hive可以直接分析hdfs上的文件，也可以分析hbase表數據。一般hive是安裝在namenode上運行。
簡單來說hive用來批量處理數據，HBase用來快速索引數據。
HBase是一個分布式的基于列存儲的非關系型數據庫。HBase的查詢效率很高，主要由于查詢和展示結果。
hive是分布式的關系型數據庫。主要用來并行分布式 處理 大量數據。hive中的所有查詢除了"select * from table;"都是需要通過Map\Reduce的方式來執行的。由于要走Map\Reduce，即使一個只有1行1列的表，如果不是通過select * from table;方式來查詢的，可能也需要8、9秒。但hive比較擅長處理大量數據。當要處理的數據很多，并且Hadoop集群有足夠的規模，這時就能體現出它的優勢。

到此，關于“hadoop中各個組件的介紹”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續學習更多相關知識，請繼續關注億速云網站，小編會繼續努力為大家帶來更多實用的文章！