本篇內容主要講解“hive中order by與distribute by的區別和聯系是什么”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強。下面就讓小編來帶大家學習“hive中order by與distribute by的區別和聯系是什么”吧!
order by 會對數據進行全局排序,和oracle和mysql等數據庫中的order by 效果一樣，它只在一個reduce中進行所以數據量特別大的時候效率非常低。
而且當設置 ：set hive.mapred.mode=strict的時候不指定limit，執行select會報錯，如下：
LIMIT must also be specified。
sort by 是單獨在各自的reduce中進行排序，所以并不能保證全局有序，一般和distribute by 一起執行，而且distribute by 要寫在sort by前面。
如果mapred.reduce.tasks=1和order by效果一樣，如果大于1會分成幾個文件輸出每個文件會按照指定的字段排序，而不保證全局有序。
sort by 不受 hive.mapred.mode 是否為strict ,nostrict 的影響。
DISTRIBUTE BY 控制map 中的輸出在 reducer 中是如何進行劃分的。使用DISTRIBUTE BY 可以保證相同KEY的記錄被劃分到一個Reduce 中。
distribute by 和 sort by 合用就相當于cluster by，但是cluster by 不能指定排序為asc或 desc 的規則，只能是升序排列。
到此，相信大家對“hive中order by與distribute by的區別和聯系是什么”有了更深的了解，不妨來實際操作一番吧！這里是億速云網站，更多相關內容可以進入相關頻道進行查詢，關注我們，繼續學習！
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
