NameNode和SecondaryNameNode工作機制

1.NameNode啟動

（1）首次啟動需要格式化NameNode，創建Fsimage和Edits文件。如果不是第一次啟動，直接加載編輯日志和鏡像文件到內存。

（2）客戶端對元數據進行增刪改的請求。

（3）NameNode記錄操作日志，更新滾動日志。

（4）NameNode在內存中對元數據進行增刪改。

2.SecondaryNameNode工作

（1）SecondaryNameNode詢問NameNode是否需要CheckPoint。直接帶回NameNode是否檢查結果。

（2）SecondaryNameNode請求執行CheckPoint。

（3）NameNode滾動正在寫的Edits日志。

（4）將滾動前的編輯日志和鏡像文件拷貝到SecondaryNameNode。

（5）Secondary NameNode加載編輯日志和鏡像文件到內存，并合并。

（6）生成新的鏡像文件fsimage.chkpoint。

（7）拷貝fsimage.chkpoint到NameNode。

（8）NameNode將fsimage.chkpoint重新命名成fsimage。

       名詞解釋：

       Fsimage：NameNode內存中元數據序列化后形成的文件。

       Edits：記錄客戶端更新元數據信息的每一步操作（可通過Edits運算出元數據）。

3.詳細工作機制

       NameNode啟動時，先滾動Edits并生成一個空的edits.inprogress，然后加載Edits和Fsimage到內存中，此時NameNode內存就持有最新的元數據信息。Client開始對NameNode發送元數據的增刪改的請求，這些請求的操作首先會被記錄到edits.inprogress中（查詢元數據的操作不會被記錄在Edits中，因為查詢操作不會更改元數據信息），如果此時NameNode掛掉，重啟后會從Edits中讀取元數據的信息。然后，NameNode會在內存中執行元數據的增刪改的操作。

       由于Edits中記錄的操作會越來越多，Edits文件會越來越大，導致NameNode在啟動加載Edits時會很慢，所以需要對Edits和Fsimage進行合并（所謂合并，就是將Edits和Fsimage加載到內存中，照著Edits中的操作一步步執行，最終形成新的Fsimage）。SecondaryNameNode的作用就是幫助NameNode進行Edits和Fsimage的合并工作。

       SecondaryNameNode首先會詢問NameNode是否需要CheckPoint（觸發CheckPoint需要滿足兩個條件中的任意一個，定時時間到和Edits中數據寫滿了）。直接帶回NameNode是否檢查結果。SecondaryNameNode執行CheckPoint操作，首先會讓NameNode滾動Edits并生成一個空的edits.inprogress，滾動Edits的目的是給Edits打個標記，以后所有新的操作都寫入edits.inprogress，其他未合并的Edits和Fsimage會拷貝到SecondaryNameNode的本地，然后將拷貝的Edits和Fsimage加載到內存中進行合并，生成fsimage.chkpoint，然后將fsimage.chkpoint拷貝給NameNode，重命名為Fsimage后替換掉原來的Fsimage。NameNode在啟動時就只需要加載之前未合并的Edits和Fsimage即可，因為合并過的Edits中的元數據信息已經被記錄在Fsimage中。

本文來源于：奈學開發者社區 ，如有侵權請聯系我刪除