(版本定制)第14課：Spark Streaming源碼解讀之State管理之updateStateByKey和mapWithState解密

本期內容：

    1、updateStateByKey解密

    2、mapWithState解密

背景：
整個Spark Streaming是按照Batch Duractions劃分Job的。但是很多時候我們需要算過去的一天甚至一周的數據，這個時候不可避免的要進行狀態管理，而Spark Streaming每個Batch Duractions都會產生一個Job，Job里面都是RDD，

所以此時面臨的問題就是怎么對狀態進行維護？這個時候就需要借助updateStateByKey和mapWithState方法完成核心的步驟。

1、簡單看下updateStateByKey源碼：

     在DStream中updateStateByKey和mapWithState是通過隱式轉換來完成，本身沒有這樣的方法。

implicit def toPairDStreamFunctions[K, V](stream: DStream[(K, V)])
    (implicit kt: ClassTag[K], vt: ClassTag[V], ord: Ordering[K] = null):
  PairDStreamFunctions[K, V] = {
new PairDStreamFunctions[K, V](stream)
}

[: ClassTag](
    updateFunc: ([]Option[]) => Option[]
  ): DStream[()] = ssc.withScope {
  updateStateByKey(updateFuncdefaultPartitioner())
}

最終會通過StateDStream中的computeUsingPreviousRDD和compute來完成這樣的功能，簡單的流程圖如下：

2、簡單看下mapWithState源碼

mapWithState是返回MapWithStateDStream對象，維護和更新歷史狀態都是基于Key，使用一個function對key-value形式的數據進行狀態維護

[: ClassTag: ClassTag](
    spec: StateSpec[]
  ): MapWithStateDStream[] = {
MapWithStateDStreamImpl[](
    selfspec.asInstanceOf[StateSpecImpl[]]
  )
}

通過InternalMapWithStateDStream類中的compute來完成，簡單的流程圖如下：