溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

Filter、Project及Pushdowns實例分析

發布時間:2022-01-04 10:32:54 來源:億速云 閱讀:192 作者:柒染 欄目:大數據

今天就跟大家聊聊有關Filter、Project及Pushdowns實例分析,可能很多人都不太了解,為了讓大家更加了解,小編給大家總結了以下內容,希望大家根據這篇文章可以有所收獲。

1. Filter(過濾) 和 Project(映射)   
在傳統的 OLAP 系統中,在進行 Join 的時候使用過濾和映射會極大的提高性能。同樣的,在 Hadoop 中使用 Filter 和 Projection 同樣可以提高效率,由于減少了一個管道需要處理的數據量。在Hadoop中減少處理的數據量是至關重要的,尤其當需要通過網絡和本地磁盤進行處理的時候。我們都知道,MapReduce 的shuffle 過程會將數據通過網絡寫入到磁盤中,所以擁有更少的數據就意味著Job 和 MapReduce  框架的工作量也就越少,這樣Job的數據傳輸也會更快,CPU、磁盤、網絡設備的壓力也會減少。

Filter、Project及Pushdowns實例分析
使用 filters 和 projection 來減少數據大小

Filter 和 projections 最后靠近數據源進行執行;在MapReduce中,最好在mapper中執行。以下代碼顯示了一個排除30歲以下的用戶,并且只映射他們的姓名和狀態:

   
     
   
   
   
public static class JoinMap extends Mapper<LongWritable, Text, Text, Text> {                  @Override                  protected void map(LongWritable offset, Text value, Context context)                      throws IOException, InterruptedException {              
                   User user = User.fromText(value);                    if (user.getAge() >= 30) {                      context.write(new Text(user.getName()),                          new Text(user.getState()));                    }                  }                }            
在 Join 中使用 filter 需要注意的是,并不是所有連接的數據集都包含你需要過濾的字段。對于這種情況,你需要使用Bloom filter 方法。
2. Pushdowns
謂詞下推(predicate pushdown)屬于邏輯優化。優化器可以將謂詞過濾下推到數據源,從而使物理執行跳過無關數據。在使用Parquet的情況下,更可能存在文件被整塊跳過的情況,同時系統還通過字典編碼把字符串對比轉換為開銷更小的整數對比。在關系型數據庫中,謂詞則被下推到外部數據庫用以減少數據傳輸。
通過以下這張圖,我們可以發現,謂詞下推在邏輯層面可以理解為利用where 條件中的過濾條件將無用的數據進行篩選掉最終得到需要的行列。
Filter、Project及Pushdowns實例分析
投影和謂詞下推通過對存儲格式的映射和謂詞的推送而進一步來進行過濾。針對 Parquet 這樣的存儲格式,我們可以直接跳過整個記錄或者整個塊,這樣極大的提高了 Job 的性能并且減少了不必要的開銷。
Filter、Project及Pushdowns實例分析
這里需要注意的是,Avro 是基于行列的存儲格式。

需要知道的:
1. 對 Inner Join 來說,Hive 只支持等值連接,不支持不等值連接。因為不等值連接在 MapReduce Job 轉換起來很麻煩。
2. 雖然 Hive 不支持等值連接,但是在 Cross Join 和 Where條件中仍然可以使用。下面是 Cross Join發生的條件:
  • 使用 Cross Join 關鍵詞

  • 只有 Join 關鍵詞,沒有 On 條件

  • 有 Join 關鍵詞,On 后面跟著絕對為 Ture (例如 1=1) 的情況 

看完上述內容,你們對Filter、Project及Pushdowns實例分析有進一步的了解嗎?如果還想了解更多知識或者相關內容,請關注億速云行業資訊頻道,感謝大家的支持。

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

亚洲午夜精品一区二区_中文无码日韩欧免_久久香蕉精品视频_欧美主播一区二区三区美女