一致hash演算法

㈠ 哈希的演算法是什麼

哈希演算法是一個廣義的演算法，也可以認為是一種思想，使用Hash演算法可以提高存儲空間的利用率，可以提高數據的查詢效率，也可以做數字簽名來保障數據傳遞的安全性。所以Hash演算法被廣泛地應用在互聯網應用中。

哈希演算法也被稱為散列演算法，Hash演算法雖然被稱為演算法，但實際上它更像是一種思想。Hash演算法沒有一個固定的公式，只要符合散列思想的演算法都可以被稱為是Hash演算法。

特點：

加密哈希跟普通哈希的區別就是安全性，一般原則是只要一種哈希演算法出現過碰撞，就會不被推薦成為加密哈希了，只有安全度高的哈希演算法才能用作加密哈希。

同時加密哈希其實也能當普通哈希來用，Git 版本控制工具就是用 SHA-1 這個加密哈希演算法來做完整性校驗的。一般來講越安全的哈希演算法，處理速度也就越慢，所以並不是所有的場合都適合用加密哈希來替代普通哈希。

㈡ Hash綆楁硶綆浠

鍝堝笇綆楁硶錛圚ash Algorithm錛夛紝鍙堢О鏁ｅ垪綆楁硶錛屾槸涓縐嶄粠浠繪剰鏁版嵁涓鎻愬彇灝忕殑鏁板瓧鐨勬柟娉曘傛暎鍒楃畻娉曞氨鏄涓縐嶄互杈冪煭鐨勪俊鎮鏉ヤ繚鏁版嵁鍞涓鎬х殑鏍囧織錛岃繖縐嶆爣蹇椾笌鏁版嵁鐨勬瘡涓涓瀛楄妭閮界浉鍏籌紝鑰屼笖闅句互鎵懼埌閫嗗悜瑙勫緥銆傚洜姝わ紝褰撳師鏁版嵁鍙戠敓鏀瑰彉鏃訛紝鍏舵爣蹇楀間篃浼氬彂鐢熸敼鍙樸

涓涓浼樼鐨 hash 綆楁硶錛屽皢鑳藉疄鐜幫細

浣嗗湪涓嶅悓鐨勪嬌鐢ㄥ満鏅涓錛屽傛暟鎹緇撴瀯鍜屽畨鍏ㄩ嗗煙閲岋紝鍏朵腑瀵規煇涓浜涚壒鐐逛細鏈夋墍渚ч噸銆

浠HashMap涓轟緥錛宬ey錛坔ash鍊礆級瀵瑰簲涓涓(鎴栧氫釜鏁版嵁)錛宬ey鐨勪綔鐢ㄦ槸錛屽逛簬鎶楃版挒鐨勮佹眰娌℃湁閭ｄ箞楂樸傛崲鍙ヨ瘽璇達紝hash鍑烘潵鐨刱ey錛屽彧瑕佷繚璇乿alue澶ц嚧鍧囧寑鐨勬斁鍦ㄤ笉鍚岀殑妗墮噷灝卞彲浠ヤ簡銆備絾鏁翠釜綆楁硶鐨剆et鎬ц兘錛岀洿鎺ヤ笌hash鍊間駭鐢熺殑閫熷害鏈夊叧錛屾墍浠ヨ繖鏃跺欑殑hash鍊肩殑浜х敓閫熷害灝卞挨涓洪噸瑕侊紝濡侸DK涓鐨凷tring.hashCode()錛

鍦ㄥ瘑鐮佸︿腑錛宧ash綆楁硶鐨勪綔鐢ㄤ富瑕佹槸鐢ㄤ簬娑堟伅鎽樿佸拰絳懼悕錛屽規暣涓娑堟伅鐨勫畬鏁存ц繘琛屾牎楠屻傝繖瀵逛簬鎶楃版挒鍜屾姉綃℃敼鑳藉姏瑕佹眰鏋侀珮錛屽歸熷害鐨勮佹眰鍦ㄥ叾嬈°備互MD5涓轟緥錛屽叾杈撳嚭闀垮害涓128浣嶏紝璁捐￠勬湡紕版挒姒傜巼涓1/(2^128)錛岃繖鏄涓涓鏋佸皬鏋佸皬鐨勬暟瀛.

鐩鍓嶆祦琛岀殑 Hash 綆楁硶鍖呮嫭 MD5銆丼HA-1 鍜 SHA-2銆

鍙浠ョ湅鍑猴紝涓婇潰榪欏嚑縐嶆祦琛岀殑綆楁硶錛屽畠浠鏈閲嶈佺殑涓鐐瑰尯鍒灝辨槸鈥濆己鎶楃版挒鎬р濄

㈢ 一致性hash演算法是什麼

一致性哈希演算法是在1997年由麻省理工學院提出的一種分布式哈希（DHT）演算法。其設計目標是為了解決網際網路中的熱點（Hot spot)問題，初衷和CARP十分類似。

一致性Hash是一種特殊的Hash演算法，由於其均衡性、持久性的映射特點，被廣泛的應用於負載均衡領域，如nginx和memcached都採用了一致性Hash來作為集群負載均衡的方案。

一致性哈希演算法的目標是，當K個請求key發起請求時。後台增減節點，只會引起K/N的key發生重新映射。即一致性哈希演算法，在後台節點穩定時，同一key的每次請求映射到的節點是一樣的。而當後台節點增減時，該演算法盡量將K個key映射到與之前相同的節點上。

優點

可擴展性。一致性哈希演算法保證了增加或減少伺服器時，數據存儲的改變最少，相比傳統哈希演算法大大節省了數據移動的開銷。

更好地適應數據的快速增長。採用一致性哈希演算法分布數據，當數據不斷增長時，部分虛擬節點中可能包含很多數據、造成數據在虛擬節點上分布不均衡，此時可以將包含數據多的虛擬節點分裂，這種分裂僅僅是將原有的虛擬節點一分為二、不需要對全部的數據進行重新哈希和劃分。

虛擬節點分裂後，如果物理伺服器的負載仍然不均衡，只需在伺服器之間調整部分虛擬節點的存儲分布。這樣可以隨數據的增長而動態的擴展物理伺服器的數量，且代價遠比傳統哈希演算法重新分布所有數據要小很多。

以上內容參考：網路-一致性哈希

㈣ 一致性hash和hash的區別

一致性哈希基本解決了在P2P環境中最為關鍵的問題——如何在動態的網路拓撲中分布存儲和路由。每個節點僅需維護少量相鄰節點的信息，並且在節點加入/退出系統時，僅有相關的少量節點參與到拓撲的維護中。所有這一切使得一致性哈希成為第一個實用的DHT演算法。
但是一致性哈希的路由演算法尚有不足之處。在查詢過程中，查詢消息要經過O(N)步(O(N)表示與N成正比關系，N代表系統內的節點總數)才能到達被查詢的節點。不難想像，當系統規模非常大時，節點數量可能超過百萬，這樣的查詢效率顯然難以滿足使用的需要。換個角度來看，即使用戶能夠忍受漫長的時延，查詢過程中產生的大量消息也會給網路帶來不必要的負荷。
英文解釋
Consistent hashing is a scheme that provides hash table functionality in a way that the addition or removal of one slot does not significantly change the mapping of keys to slots.

㈤ 哈希演算法的原理

什麼是哈希演算法？哈希是一種加密演算法，也稱為散列函數或雜湊函數。哈希函數是一個公開函數，可以將任意長度的消息M映射成為一個長度較短且長度固定的值H（M），稱H（M）為哈希值、散列值（Hash Value）、雜湊值或者消息摘要。它是一種單向密碼體制，即一個從明文到密文的不可逆映射，只有加密過程，沒有解密過程。

Hash的特點

易壓縮：對於任意大小的輸入x，Hash值的長度很小，在實際應用中，函數H產生的Hash值其長度是固定的。

易計算：對於任意給定的消息，計算其Hash值比較容易。

單向性：對於給定的Hash值，要找到使得在計算上是不可行的，即求Hash的逆很困難。在給定某個哈希函數H和哈希值H（M）的情況下，得出M在計算上是不可行的。即從哈希輸出無法倒推輸入的原始數值。這是哈希函數安全性的基礎。

抗碰撞性：理想的Hash函數是無碰撞的，但在實際演算法的設計中很難做到這一點。

有兩種抗碰撞性：一種是弱抗碰撞性，即對於給定的消息，要發現另一個消息，滿足在計算上是不可行的；另一種是強抗碰撞性，即對於任意一對不同的消息，使得在計算上也是不可行的。

高靈敏性：這是從比特位角度出發的，指的是1比特位的輸入變化會造成1/2的比特位發生變化。消息M的任何改變都會導致哈希值H（M）發生改變。即如果輸入有微小不同，哈希運算後的輸出一定不同。

㈥ MD5加密和哈希演算法是什麼

MD5（Message-Digest Algorithm 5，信息-摘要演算法 5），用於確保信息傳輸完整一致。是計算機廣泛使用的雜湊演算法之一（又譯摘要演算法、哈希演算法、Hash演算法），主流編程語言普遍已有MD5實現。將數據（如英文字元串，漢字，文件等）運算為另一固定長度值是雜湊演算法的基礎原理，MD5的前身有MD2、MD3和MD4。 哈希演算法將任意長度的二進制值映射為固定長度的較小二進制值，這個小的二進制值稱為哈希值。哈希值是一段數據唯一且極其緊湊的數值表示形式。如果散列一段明文而且哪怕只更改該段落的一個字母，隨後的哈希都將產生不同的值。要找到散列為同一個值的兩個不同的輸入，在計算上是不可能的，所以數據的哈希值可以檢驗數據的完整性。
哈希表是根據設定的哈希函數H(key)和處理沖突方法將一組關鍵字映象到一個有限的地址區間上，並以關鍵字在地址區間中的象作為記錄在表中的存儲位置，這種表稱為哈希表或散列，所得存儲位置稱為哈希地址或散列地址。作為線性數據結構與表格和隊列等相比，哈希表無疑是查找速度比較快的一種。

㈦ nginx 負載均衡之一致性hash，普通hash

哈希負載均衡原理
  ngx_http_upstream_hash_mole支持普通的hash及一致性hash兩種負載均衡演算法，默認的是普通的hash來進行負載均衡。
  nginx 普通的hash演算法支持配置http變數值作為hash值計算的key，通過hash計算得出的hash值和總權重的余數作為挑選server的依據；nginx的一致性hash(chash)演算法則要復雜一些。這里會對一致性hash的機制原理作詳細的說明。
一致性hash演算法的原理
一致性hash用於對hash演算法的改進，後端伺服器在配置的server的數量發生變化後，同一個upstream server接收到的請求會的數量和server數量變化之間會有變化。尤其是在負載均衡配置的upstream server數量發生增長後，造成產生的請求可能會在後端的upstream server中並不均勻，有的upstream server負載很低，有的upstream server負載較高，這樣的負載均衡的效果比較差，可能對upstream server造成不良的影響。由此，產生了一致性hash演算法來均衡。
   那麼為什麼一致性hash演算法能改善這種情況呢？這里引用網上資料的一致性hash演算法的圖例。
因為對於hash(k)的范圍在int范圍，所以我們將0~2^32作為一個環。其步驟為：
1，求出每個伺服器的hash（伺服器ip）值，將其配置到一個 0~2^n 的圓環上（n通常取32）。
2，用同樣的方法求出待存儲對象的主鍵 hash值，也將其配置到這個圓環上，然後從數據映射到的位置開始順時針查找，將數據分布到找到的第一個伺服器節點上。
其分布如圖：

除了上邊的優點，其實還有一個優點穗氏：對於熱點數據，如果發現node1訪問量明顯很大，負載高於其他節點，這就說明node1存儲的數據是熱點數據。這時候，為了減少node1的負載，我們可以在熱點數據位置再加入一個node，用來分擔熱點數據的壓力。
雪崩效應

接下來我們來看一下，當有節點宕機時會有什麼問題。如下圖：

如上圖，當B節點宕機後，原本存儲在B節點的k1，k2將會遷移到節點C上，這可能會導致很大的問題。如果B上存儲的是熱點數據，將數據遷移到C節點上，然後C需要承受B+C的數據，也陵族罩承受不住，也掛了。。。。然後繼續CD都掛了。這就造成了雪崩效應。
上面會造成雪崩效應的原因分析：
如果不存在熱點數據的時候，每台機器的承受的壓力是M/2(假設每台機器的最高負載能力為M)，原本是不會有問題的，但是，這個時候A伺服器由於有熱點數據掛了，然後A的數據遷移至B，導致B所需要承受的壓力變為M（還不考慮熱點數據訪問的壓力），所以這個失敗B是必掛的，然後C至少需要承受1.5M的壓力。。。。然後大家一起掛。。。
所以我們通過上面可以看到，之所以會大家一起掛，原因在於如果一台機器掛了，那麼它的壓尺鬧力全部被分配到一台機器上，導致雪崩。

怎麼解決雪崩問題呢，這時候需要引入虛擬節點來進行解決。
虛擬節點

虛擬節點，我們可以針對每個實際的節點，虛擬出多個虛擬節點，用來映射到圈上的位置，進行存儲對應的數據。如下圖：

如上圖：A節點對應A1，A2，BCD節點同理。這時候，如果A節點掛了，A節點的數據遷移情況是:A1數據會遷移到C2，A2數據遷移到D1。這就相當於A的數據被C和D分擔了，這就避免了雪崩效應的發送，而且虛擬節點我們可以自定義設置，使其適用於我們的應用。

ngx_http_upstream_consistent_hash
該模塊可以根據配置參數採取不同的方式將請求均勻映射到後端機器，比如：

指令
語法：consistent_hash variable_name
默認值：none
上下文：upstream

配置upstream採用一致性hash作為負載均衡演算法，並使用配置的變數名作為hash輸入。

參考文檔：
https://www.cnblogs.com/FengGeBlog/p/10615345.html
http://www.ttlsa.com/nginx/nginx-upstream-consistent-hash-mole/

㈧ 分布式系統常用的一致性演算法有哪些

在做伺服器負載均衡時候可供選擇的負載均衡的演算法有很多，包括： 輪循演算法（Round Robin）、哈希演算法（HASH）、最少連接演算法（Least Connection）、響應速度演算法（Response Time）、加權法（Weighted ）等。其中哈希演算法是最為常用的演算法. 典型的應用場景是： 有N台伺服器提供緩存服務，需要對伺服器進行負載均衡，將請求平均分發到每台伺服器上，每台機器負責1/N的服務。 常用的演算法是對hash結果取余數 (hash() mod N)：對機器編號從0到N-1，按照自定義的hash()演算法，對每個請求的hash()值按N取模，得到余數i，然後將請求分發到編號為i的機器。但這樣的演算法方法存在致命問題，如果某一台機器宕機，那麼應該落在該機器的請求就無法得到正確的處理，這時需要將當掉的伺服器從演算法從去除，此時候會有(N-1)/N的伺服器的緩存數據需要重新進行計算；如果新增一台機器，會有N /(N+1)的伺服器的緩存數據需要進行重新計算。對於系統而言，這通常是不可接受的顛簸（因為這意味著大量緩存的失效或者數據需要轉移）。那麼，如何設計一個負載均衡策略，使得受到影響的請求盡可能的少呢？ 在Memcached、Key-Value Store、Bittorrent DHT、LVS中都採用了Consistent Hashing演算法，可以說Consistent Hashing 是分布式系統負載均衡的首選演算法。 1、Consistent Hashing演算法描述 下面以Memcached中的Consisten Hashing演算法為例說明。 由於hash演算法結果一般為unsigned int型，因此對於hash函數的結果應該均勻分布在[0,232-1]間，如果我們把一個圓環用232 個點來進行均勻切割，首先按照hash(key)函數算出伺服器（節點）的哈希值， 並將其分布到0～232的圓上。 用同樣的hash(key)函數求出需要存儲數據的鍵的哈希值，並映射到圓上。然後從數據映射到的位置開始順時針查找，將數據保存到找到的第一個伺服器（節點）上。 Consistent Hashing原理示意圖 新增一個節點的時候，只有在圓環上新增節點逆時針方向的第一個節點的數據會受到影響。刪除一個節點的時候，只有在圓環上原來刪除節點順時針方向的第一個節點的數據會受到影響，因此通過Consistent Hashing很好地解決了負載均衡中由於新增節點、刪除節點引起的hash值顛簸問題。 Consistent Hashing添加伺服器示意圖 虛擬節點（virtual nodes）：之所以要引進虛擬節點是因為在伺服器（節點）數較少的情況下（例如只有3台伺服器），通過hash(key)算出節點的哈希值在圓環上並不是均勻分布的（稀疏的），仍然會出現各節點負載不均衡的問題。虛擬節點可以認為是實際節點的復製品（replicas），本質上與實際節點實際上是一樣的（key並不相同）。引入虛擬節點後，通過將每個實際的伺服器（節點）數按照一定的比例(例如200倍)擴大後並計算其hash(key)值以均勻分布到圓環上。在進行負載均衡時候，落到虛擬節點的哈希值實際就落到了實際的節點上。由於所有的實際節點是按照相同的比例復製成虛擬節點的，因此解決了節點數較少的情況下哈希值在圓環上均勻分布的問題。 虛擬節點對Consistent Hashing結果的影響 從上圖可以看出，在節點數為10個的情況下，每個實際節點的虛擬節點數為實際節點的100-200倍的時候，結果還是很均衡的。 第3段中有這些文字：「但這樣的演算法方法存在致命問題，如果某一台機器宕機，那麼應該落在該機器的請求就無法得到正確的處理，這時需要將當掉的伺服器從演算法從去除，此時候會有(N-1)/N的伺服器的緩存數據需要重新進行計算；」 為何是 (N-1)/N 呢？解釋如下： 比如有 3 台機器，hash值 1-6 在這3台上的分布就是： host 1: 1 4 host 2: 2 5 host 3: 3 6 如果掛掉一台，只剩兩台，模數取 2 ，那麼分布情況就變成： host 1: 1 3 5 host 2: 2 4 6 可以看到，還在數據位置不變的只有2個： 1，2，位置發生改變的有4個，占共6個數據的比率是 4/6 = 2/3這樣的話，受影響的數據太多了，勢必太多的數據需要重新從 DB 載入到 cache 中，嚴重影響性能 【consistent hashing 的辦法】 上面提到的 hash 取模，模數取的比較小，一般是負載的數量，而 consistent hashing 的本質是將模數取的比較大，為 2的32次方減1，即一個最大的 32 位整數。然後，就可以從容的安排數據導向了，那個圖還是挺直觀的。 以下部分為一致性哈希演算法的一種PHP實現。點擊下載