這篇文章給大家分享的是有關Hive的技巧命令有哪些的內容。小編覺得挺實用的,因此分享給大家做個參考,一起跟隨小編過來看看吧。
?desc extended/formatted table;可以查看更詳細的表信息,例如:數據存儲路徑、字段分隔符等。區別是formatted 是格式化后的信息,更方便閱讀。
?set hive.fetch.task.conversion=more; 或者 hive --hiveconf hive.fetch.task.conversion=more 可以做一些不啟動mapreduce job的查詢。
?add file ${path}/a.py;add file ${path}/b.py;可以簡寫為:add file ${path}/a.py ${path}/b.py;(以空格隔開)。
?SELECT uid,COALESCE(sex,0) FROM TABLE; 將sex字段值為NULL的轉換為0,方便0、1化處理。
?可以通過ALTER TABLE table_name SET SERDEPROPERTIES('serialization.null.format'='');修改空值描述符。
?Hive自帶函數collect_set返回的array分隔符是\x02。
?show tables '*a*'; 用正則方式篩選表名包含a的表。
?concat_ws(',', collect_set(channel)) 實現行轉列,select col1, myCol2 from lateralview LATERAL VIEW explode(split(col2,',')) myTable1 as myCol2; 實現列轉行,如果需要添加where條件 需要放在as 別名之后。
?hive查詢導出數據的時候也可以指定分隔符:FIELDS TERMINATED BY '\t'。
?hive- 0.12.0.tar.gz\hive-0.12.0\src\ql\src\java\org\apache\hadoop\hive\ql\udf hive自帶UDF的源代碼路徑。
?設置你提交job的優先級隊列:SET mapreduce.job.queuename=default。
?set hive.exec.parallel參數控制在同一個sql中沒有依賴的job是否可以同時運行(hive.exec.parallel,hive.exec.parallel.thread.number)。
?UNIQUEJOIN:select .. from JOIN TABLES (A,B,C) WITH KEYS (A.key, B.key, C.key) where ....
感謝各位的閱讀!關于“Hive的技巧命令有哪些”這篇文章就分享到這里了,希望以上內容可以對大家有一定的幫助,讓大家可以學到更多知識,如果覺得文章不錯,可以把它分享出去讓更多的人看到吧!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。