本篇內容介紹了“一致性hash算法有哪些重要性”的有關知識,在實際案例的操作過程中,不少人都會遇到這樣的困境,接下來就讓小編帶領大家學習一下如何處理這些情況吧!希望大家仔細閱讀,能夠學有所成!
一致性hash算法是個啥?相信很多老牌程序員都不太清楚,為什么?因為它主要用于負載均衡,解決數據相對一致性問題的。一般公司搞個哈希、輪詢、權重都了不得了,用什么一致性哈希算法,但一致性哈希算法是個啥,有點追求的產品經理還是要了解的。
nginx里面有個哈希算法,這個哈希算法的使用場景大概是,我的某一個客戶端要一直連到特定后端服務器上,不許變,變了就會出錯,如此可以解決我們實際場景中一些問題,比如:session問題,redis緩存數據存儲等等。
如果用于緩存場景,普通哈希算法邏輯大概是這樣的,如果有10臺緩存服務器,客戶端 1數據存儲在1節點(1模除10)客戶端2數據存儲在2節點上......客戶端11存儲在1節點上,以此類推。但忽然有一天,有一臺機器老化了,你的總服務器個數變成了9,可想而知,再次做取模運算,可能原來的數據已經不在,可能你會說,沒關系啊,數據庫里面還有一份呢?重新加載下就Ok啦,是的(沒見識),如果對于上億級流量場景,可能就會發生緩存擊穿問題,導致一連串的崩潰。
這時就輪到一致性hash算法上場了,其實一致性hash算法思想和實現非常簡單,每每想到一致性哈希算法,大家都應該想到這個環(不知道怎么回事,每當我看到這個環,總是想到張衡的地震儀)。
實現該算法的大致思路如下:
1、構造一個哈希環
2、把服務器對應的節點映射到哈希環上
3、客戶端請求,順時針找到該哈希環上的服務器節點
如此,足矣!這么簡單的邏輯,用代碼實現下吧,首先需要構造一個哈希環,哈希環看起來比較抽象,如何實現?找下規律發現哈希環上放的是一個KV數據對,key是哈希,value是對應的服務器,而且是順序的,自然就想到了SortedMap。
SortedMap<Integer, String> sortedMap = new TreeMap<Integer, String>();
但哈希函數如何實現呢?這個就比較有意思了,這里不過多介紹哈希函數的生成過程,反正你應該選擇一個分布相對均勻、區間盡可能大的哈希函數,建議采用ketama或者FNV1_32,FNV代碼實現如下:
final int p = 16777619; int hash = (int) 2166136261L; for (int i = 0; i < str.length(); i++) hash = (hash ^ str.charAt(i)) * p; hash += hash << 13; hash ^= hash >> 7; hash += hash << 3; hash ^= hash >> 17; hash += hash << 5; // 如果算出來的值為負數則取其絕對值 if (hash < 0) hash = Math.abs(hash); return hash; }
那么現在如何把服務器節點映射哈希環中呢?且看如下代碼實現:
for (int i = 0; i < servers.length; i++) { int hash = FNVHash(servers[i]); sortedMap.put(hash, servers[i]); }``` 當然客戶端請求過來只需要計算客戶端的哈希值,順時針旋轉找到對應的服務端節點即可,如下為代碼實現: ```private static String getServer(String key) { //得到該key的hash值 int hash = FNVHash(key); //得到大于該Hash值的所有Map SortedMap<Integer, String> subMap = sortedMap.tailMap(hash); if (subMap.isEmpty()) { //如果沒有比該key的hash值大的,則從第一個node開始 Integer i = sortedMap.firstKey(); //返回對應的服務器 return sortedMap.get(i); } else { //第一個Key就是順時針過去離node最近的那個結點 Integer i = subMap.firstKey(); //返回對應的服務器 return subMap.get(i); } }
總結來說,假設有k個節點,數據的取值范圍就是[0, n],我們把[0,n]劃分為m個區間,m遠遠大于k,那么每個機器就負責m/k個區間。這樣如果有將幾個小區間的數據遷移到新區間上,既保證了數據的一致性,也保證了數據的均衡。簡單來說,先根據機器IP生成哈希值,當客戶端數據key進來時,進行哈希操作,落到圓環中的某一點,順時針旋轉落到第一個節點上。
這個時候你可能會發現一個問題,如果說節點過于稀疏,那么很可能所有數據都落到一個節點上,導致數據傾斜,這個時候可以考慮虛擬節點。虛擬節點的添加實現也非常簡單,大致思路是構造哈希環的過程中使用虛擬節點,取出虛擬節點,最后找到對應的真實節點即可。
“一致性hash算法有哪些重要性”的內容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業相關的知識可以關注億速云網站,小編將為大家輸出更多高質量的實用文章!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。