溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

Hive基本概念是什么

發布時間:2021-12-10 11:41:35 來源:億速云 閱讀:209 作者:小新 欄目:大數據

這篇文章主要為大家展示了“Hive基本概念是什么”,內容簡而易懂,條理清晰,希望能夠幫助大家解決疑惑,下面讓小編帶領大家一起研究并學習一下“Hive基本概念是什么”這篇文章吧。

1、Hive基本概念

1.1、什么是hive?

Hive是基于Hadoop的一個數據倉庫工具,能將結構化的數據文件映射為一張表,并提供類SQL查詢功能。Facebook家的。

1.2、hive的本質

本質就是將HQL轉化為MR程序。
工作流程:
Hive數據庫將SQL中常用語句封裝為對應的MapReduce模板并封裝在hive中
----> 客戶使用sql語句對hive提交任務需求
----> hive將根據對應的sql語句調用MapReduce程序
----> MapReduce程序提交到yarn上運行
----> 運行結果返回給客戶

要說的是:

  1. Hive處理的數據是存在hdfs上。(這點一定要明確,不然就會有種hive像數據庫的錯覺)

  2. HQL語句調用的底層是MapReduce。

  3. Hive任務提交在Yarn上。

1.3、hive優缺點

優點:
(1)Hive可以使用類SQL語言進行數據查詢操作,減小了開發難度;
(2)Hive使開發時避免寫冗長的MapReduce程序,提高開發效率;
(3)Hive可以實現對海量數據的分析計算操作;
(4)Hive提供了自定義函數,用戶可根據需求自定義封裝函數。

缺點:
(1)Hive的HQL表達能力有限,其自動生成的MapReduce程序不夠智能,且無法對部分更優的算法進行封裝;
(2)Hive不支持行級別更新,只允許新增與追加,不允許修改刪除操作;
(3)Hive的效率比較低,執行延遲比較高,調優粒度較粗。

1.4、hive框架原理

(1)client:用戶接口,命令行cli、JDBC接口

(2)Metastore:元數據,存儲數據的庫名、表名、字段、類別、存儲目錄、自定義函數等,默認存儲在自帶的derby中

(3)Hadoop:HDFS存放數據,MapReduce進行數據計算

(4)Driver:解析器(SQL-->AST)、編譯器(AST-->執行計劃)、優化器(執行計劃優化)、執行器(執行計劃-->MapReduce)

1.5、hive跟數據庫比較

(1)查詢語言:Hive提供了類SQL查詢語句HQL,但HIve不提供數據存儲于計算環境;

(2)數據更新:Hive不支持對數據庫的刪除、修改;

(3)執行延遲:Hive執行延遲較高

(4)數據規模:Hive可以對海量數據進行分析計算

以上是“Hive基本概念是什么”這篇文章的所有內容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內容對大家有所幫助,如果還想學習更多知識,歡迎關注億速云行業資訊頻道!

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

亚洲午夜精品一区二区_中文无码日韩欧免_久久香蕉精品视频_欧美主播一区二区三区美女