集群存儲分布式存儲

A. 分布式存儲是什麼東西

關於分布式存儲實際上並沒有一個明確的定義，甚至名稱上也沒有一個統一的說法，大多數情況下稱作 Distributed Data Store 或者 Distributed Storage System。
其中維基網路中給 Distributed data store 的定義是：分布式存儲是一種計算機網路，它通常以數據復制的方式將信息存儲在多個節點中。
在網路中給出的定義是：分布式存儲系統，是將數據分散存儲在多台獨立的設備上。分布式網路存儲系統採用可擴展的系統結構，利用多台存儲伺服器分擔存儲負荷，利用位置伺服器定位存儲信息，它不但提高了系統的可靠性、可用性和存取效率，還易於擴展。
盡管各方對分布式存儲的定義並不完全相同，但有一點是統一的，就是分布式存儲將數據分散放置在多個節點中，節點通過網路互連提供存儲服務。這一點與傳統集中式存儲將數據集中放置的方式有著明顯的區分。

B. 分布式存儲和傳統存儲比較在哪些應用場景比較有優勢

1、分布式存儲優勢

分布式存儲可以使生產系統在線運行的情況下進行縱向擴展（Scale-Up）或橫向擴展（Scale-Out），且存儲系統在擴展後可以達到容量與性能均線性擴展的效果。其具有以下特性：

高性能

分布式存儲系統能夠將所有存儲節點的處理器資源、硬碟資源、網路資源進行整合，將任務切分給多台存儲節點，進行並發數據處理，避免了單個硬碟或設備造成的瓶頸，提升整個集群的處理能力。分布式存儲系統具有良好的性能擴展能力，可以滿足應用程序對存儲性能不斷增長的要求。

高擴展性

分布式存儲系統通過擴展集群存儲節點規模從而提高系統存儲容量、計算和性能的能力，通過增加和升級伺服器硬體，或者指通過增加存儲節點數量來提升服務能力。分布式存儲系統支持在線增加存儲節點，對前端業務透明，系統整體性能與存儲節點數量呈線性關系。

高可用性

分布式存儲系統同時基於硬體及軟體設計了高可用機制，在面對多種異常時（如存儲節點宕機、網路中斷、硬碟故障、數據損壞等）仍可提供正常服務，提高分布式存儲系統硬體的可用性可以通過增加存儲節點數量或者採用多種硬體冗餘機制保證。分布式存儲系統多採用副本機制或糾刪碼機制保證數據的高可用性，副本機制可以提供較高的數據冗餘度，但會降低存儲系統有效空間的利用率，糾刪碼機制可以在保證一定數據冗餘度的情況下，大幅提高存儲系統的有效空間利用率。

高安全性

分布式存儲系統支持可靠的許可權控制及互信確認機制，同時採用私有的數據切片及數據編碼機制，可以從多重角度保證集群系統不受惡意訪問和攻擊，保護存儲數據不被竊取。

2、分布式存儲應用場景

分布式的「四高」特性，使得其在高性能計算、大數據視頻雲及大數據分析等應用場景中有著廣泛的應用。

高性能計算場景

在如氣象氣候、地質勘探、航空航天、工程計算、材料工程等領域，基於集群的高性能計算，已成為必需的輔助工具。集群系統有極強的伸縮性，可通過在集群中增加或刪減節點的方式，在不影響原有應用與計算任務的情況下，隨時增加和降低系統的處理能力。根據不同的計算模式與規模，構成集群系統的節點數可以從幾個到成千上萬個。這些業務對後端的存儲系統提出了新的需求，包括統一的存儲空間、高效率的文件檢索、高帶寬的吞吐性能，高可靠的數據安全保障等。

大數據視頻雲應用場景

隨著視頻高清技術及超高清技術的普及，視頻大數據應用場景，如雪亮工程、平安城市、廣電媒資、影視製作、視頻網站等領域，對存儲設備提出了大容量、高讀寫性能、高可靠性、低延時及可擴展性等需求。針對這樣大規模視頻數據應用場景，就需要一個技術先進、性能優越的存儲系統作為後端數據存儲的支撐者。

大數據分析應用場景

伴隨著互聯網技術及人工智慧的發展，各種基於海量用戶/數據/終端的大數據分析及人工智慧業務模式不斷涌現，同樣需要充分考慮存儲功能集成度、數據安全性、數據穩定性，系統可擴展性、性能及成本各方面因素。

在數據爆發增長的「數字時代」，軟體定義的分布式存儲是存儲技術高速發展的結晶，並具有著很大的成長空間，必將應用於更廣泛的大數據業務場景。

C. 什麼是vCluster分布式存儲分布式雲存儲有什麼優勢

vCluster分布式存儲是國內性能最佳、功能最全的分布式存儲產品，比當前流行的某開源分布式軟體功能多出100餘項，功能優化30餘項。vCluster分布式存儲系列採用先進的分布式架構，將一個任務分給多個存儲節點並行處理，大大提高了存儲效率。其堆棧性和模塊化設計提高了存儲的健碩型和擴展性，完全符合企業存儲從現在到未來的IT架構發展趨勢。還有什麼不明白的可以接著問

D. 分布式存儲有哪幾種類型

中央存儲技術現已發展非常成熟。但是同時，新的問題也出現了，中心化的網路很容易擁擠，數據很容易被濫用。傳統的數據傳輸方式是由客戶端向雲伺服器傳輸，由伺服器向客戶端下載。而分布式存儲系統QKFile是從客戶端傳送到 N個節點，然後從這些節點就近下載到客戶端內部，因此傳輸速度非常快。對比中心協議的特點是上傳、下載速度快，能夠有效地聚集空閑存儲資源，並能大大降低存儲成本。

在節點數量不斷增加的情況下，QKFile市場趨勢開始突出，未來用戶數量將呈指數增長。分布式存儲在未來會有很多應用場景，如數據存儲，文件傳輸，網路視頻，社會媒體和去中心化交易等。網際網路的控制權越來越集中在少數幾個大型技術公司的手中，它的網路被去中心化，就像分布式存儲一樣，總是以社區為中心，面向用戶，而分布式存儲就是實現信息技術和未來網際網路功能的遠景。有了分布式存儲，我們可以創造出更加自由、創新和民主的網路體驗。是時候把網際網路推向新階段了。

作為今年非常受歡迎的明星項目，關於QKFile的未來發展會推動互聯網的進步，給整個市場帶來巨大好處。分布式存儲是基於網際網路的基礎結構產生的，區塊鏈分布式存儲與人工智慧、大數據等有疊加作用。對今天的中心存儲是一個巨大的補充，分布式時代的到來並不是要取代現在的中心互聯網，而是要使未來的數據存儲發展得更好，給整個市場生態帶來不可想像的活力。先看共識，後看應用，QKFile創建了一個基礎設施平台，就像阿里雲，阿里雲上面是做游戲的做電商的視頻網站，這就叫應用層，現階段，在性能上，坦白說，與傳統的雲存儲相比，沒有什麼競爭力。不過另一方面來說，一個新型的去中心化存儲的信任環境式非常重要的，在此環境下，自然可以衍生出許多相關應用，市場潛力非常大。

雖然QKFile離真正的商用還有很大的距離，首先QKFile的經濟模型還沒有定論，其次QKFile需要集中精力發展分布式存儲、商業邏輯和 web3.0，只有打通分布式存儲賽道，才有實力引領整個行業發展，人們認識到了中心化存儲的弊端，還有許多企業開始接受分布式存儲模式，即分布式存儲 DAPP應用觸達用戶。所以QKFile將來肯定會有更多的商業應用。創建超本地高效存儲方式的能力。當用戶希望將數據存儲在QKFile網路上時，他們就可以擺脫巨大的集中存儲和地理位置的限制，用戶可以看到在線存儲的礦工及其市場價格，礦工之間相互競爭以贏得存儲合約。使用者挑選有競爭力的礦工，交易完成，用戶發送數據，然後礦工存儲數據，礦工必須證明數據的正確存儲才能得到QKFile獎勵。在網路中，通過密碼證明來驗證數據的存儲安全性。采礦者通過新區塊鏈向網路提交其儲存證明。通過網路發布的新區塊鏈驗證，只有正確的區塊鏈才能被接受，經過一段時間，礦工們就可以獲得交易存儲費用，並有機會得到區塊鏈獎勵。數據就在更需要它的地方傳播了，旋轉數據就在地球范圍內流動了，數據的獲取就不斷優化了，從小的礦機到大的數據中心，所有人都可以通過共同努力，為人類信息社會的建設奠定新的基礎，並從中獲益。

E. 分布式與集群的區別是什麼

集群強調高可用，分布式強調多業務協作

物理與邏輯

集群傾向於物理概念，即多台機器組成一個集群。這多台機器是否有合作關系並不能保證，比如我們會說我們公司的一個規模為1000台機器的物理集群部署在昌平，但是這1000台機器可能是給公司內不同的平台提供服務，但是從物理角度，由於都部署在一起，在同一個機房，就可以稱之為集群。

分布式傾向於邏輯概念，即多個節點或程序為了一個共同的目標，部署在一個或者多個物理機器上。舉個例子，一台物理機上裝了一個Nginx，它連接的兩個Tomcat也在這台物理機上，但是這個Nginx代表的服務，就可以稱之為分布式。當然，為了安全性，穩定性等原因，我們並不建議把分布式部署在一個物理節點上。

圖片發自簡書App

冗餘與分解

集群除了可以用來表示多個物理機器，還可以表示一種「冗餘」的理念，即通過部署多個同樣功能的節點，來實現擴展性與可用性的提升。舉個例子，通過在不同節點上部署兩個同樣功能的server，來這樣就算其中一個節點宕機，也能保證服務的可用性。而擴展性，比如一個server的qps可用承擔到2000，但是隨著用戶群體的增加，qps需要達到3000，那麼我們就可以通過增加一個Tomcat節點的方式來實現擴容。

分布式的分解與微服務的概念有點相近，即把一個系統的功能分布在不同節點上，每個節點都承擔了不同的責任，這樣分模塊部署最主要的優勢是業務隔離，即個別功能的問題或者改進不會影響其他模塊，這樣就算個別模塊掛掉，其他模塊也能夠繼續運作。舉個例子，前些年春晚搶紅包的時候，曾經由於瞬時間請求量太大導致把微信和支付寶給弄癱瘓了，但是大家都知道，癱瘓的只是紅包部分的功能，微信的信息功能並不受影響，這就是分布式的好處。

F. 什麼是分布式存儲系統

分布式存儲系統，是將數據分散存儲在多台獨立的設備上。傳統的網路存儲系統採用集中的存儲伺服器存放所有數據，存儲伺服器成為系統性能的瓶頸，也是可靠性和安全性的焦點，不能滿足大規模存儲應用的需要。分布式網路存儲系統採用可擴展的系統結構，利用多台存儲伺服器分擔存儲負荷，利用位置伺服器定位存儲信息，它不但提高了系統的可靠性、可用性和存取效率，還易於擴展。

(6)集群存儲分布式存儲擴展閱讀：

分布式存儲，集中管理，在這個方案中，共有三級：

1、上級監控中心：上級監控中心通常只有一個，主要由數字矩陣、認證伺服器和VSTARClerk軟體等。

2、本地監控中心：本地監控中心可以有多個，可依據地理位置設置，或者依據行政隸屬關系設立，主要由數字矩陣、流媒體網關、iSCSI存儲設備、VSTARRecorder軟體等組成；音視頻的數據均主要保存在本地監控中心，這就是分布式存儲的概念。

3、監控前端：主要由攝像頭、網路視頻伺服器組成，其中VE4000系列的網路視頻伺服器可以帶硬碟，該硬碟主要是用於網路不暢時，暫時對音視頻數據進行保存，或者需要在前端保存一些重要數據的情況。

G. 分布式存儲的優點有哪些

分布式存儲的六大優點
分布式存儲往往採用分布式的系統結構，利用多台存儲伺服器分擔存儲負荷，利用位置伺服器定位存儲信息。它不但提高了系統的可靠性、可用性和存取效率，還易於擴展，將通用硬體引入的不穩定因素降到最低。優點如下：

1. 高性能

一個具有高性能的分布式存戶通常能夠高效地管理讀緩存和寫緩存，並且支持自動的分級存儲。分布式存儲通過將熱點區域內數據映射到高速存儲中，來提高系統響應速度;一旦這些區域不再是熱點，那麼存儲系統會將它們移出高速存儲。而寫緩存技術則可使配合高速存儲來明顯改變整體存儲的性能，按照一定的策略，先將數據寫入高速存儲，再在適當的時間進行同步落盤。

2. 支持分級存儲

由於通過網路進行松耦合鏈接，分布式存儲允許高速存儲和低速存儲分開部署，或者任意比例混布。在不可預測的業務環境或者敏捷應用情況下，分層存儲的優勢可以發揮到最佳。解決了目前緩存分層存儲最大的問題是當性能池讀不命中後，從冷池提取數據的粒度太大，導致延遲高，從而給造成整體的性能的抖動的問題。

3. 一致性

與傳統的存儲架構使用RAID模式來保證數據的可靠性不同，分布式存儲採用了多副本備份機制。在存儲數據之前，分布式存儲對數據進行了分片，分片後的數據按照一定的規則保存在集群節點上。為了保證多個數據副本之間的一致性，分布式存儲通常採用的是一個副本寫入，多個副本讀取的強一致性技術，使用鏡像、條帶、分布式校驗等方式滿足租戶對於可靠性不同的需求。在讀取數據失敗的時候，系統可以通過從其他副本讀取數據，重新寫入該副本進行恢復，從而保證副本的總數固定;當數據長時間處於不一致狀態時，系統會自動數據重建恢復，同時租戶可設定數據恢復的帶寬規則，最小化對業務的影響。

4. 容災性

在分布式存儲的容災中，一個重要的手段就是多時間點快照技術，使得用戶生產系統能夠實現一定時間間隔下的各版本數據的保存。特別值得一提的是，多時間點快照技術支持同時提取多個時間點樣本同時恢復，這對於很多邏輯錯誤的災難定位十分有用，如果用戶有多台伺服器或虛擬機可以用作系統恢復，通過比照和分析，可以快速找到哪個時間點才是需要回復的時間點，降低了故障定位的難度，縮短了定位時間。這個功能還非

5. 擴展性

6. 存儲系統標准化

H. 分布式存儲是什麼

分布式存儲系統，是將數據分散存儲在多台獨立的設備上。傳統的網路存儲系統採用集中的存儲伺服器存放所有數據，存儲伺服器成為系統性能的瓶頸，也是可靠性和安全性的焦點，不能滿足大規模存儲應用的需要。分布式網路存儲系統採用可擴展的系統結構，利用多台存儲伺服器分擔存儲負荷，利用位置伺服器定位存儲信息，它不但提高了系統的可靠性、可用性和存取效率，還易於擴展。
分布式和集中式存儲
集中存儲的優缺點是，物理介質集中布放;視頻流上傳到中心對機房環境要求高，要求機房空間大，承重、空調等都是需要考慮的問題。

分布存儲，集中管理的優缺點是，物理介質分布到不同的地理位置;視頻流就近上傳，對骨幹網帶寬沒有什麼要求;可採用多套低端的小容量的存儲設備分布部署，設備價格和維護成本較低;小容量設備分布部署，對機房環境要求低。

鏈喬教育在線旗下學碩創新區塊鏈技術工作站是中國教育部學校規劃建設發展中心開展的「智慧學習工場2020-學碩創新工作站 」唯一獲準的「區塊鏈技術專業」試點工作站。專業站立足為學生提供多樣化成長路徑，推進專業學位研究生產學研結合培養模式改革，構建應用型、復合型人才培養體系。

I. 目前進行大數據存儲的方式主要是分布式集群存儲嗎

主要分布式存儲更為廣泛

J. 分布式存儲與軟體定義存儲的區別

什麼是分布式存儲

關於分布式存儲實際上並沒有一個明確的定義，甚至名稱上也沒有一個統一的說法，大多數情況下稱作 Distributed Data Store 或者 Distributed Storage System。

其中維基網路中給 Distributed data store 的定義是：分布式存儲是一種計算機網路，它通常以數據復制的方式將信息存儲在多個節點中。

在網路中給出的定義是：分布式存儲系統，是將數據分散存儲在多台獨立的設備上。分布式網路存儲系統採用可擴展的系統結構，利用多台存儲伺服器分擔存儲負荷，利用位置伺服器定位存儲信息，它不但提高了系統的可靠性、可用性和存取效率，還易於擴展。

盡管各方對分布式存儲的定義並不完全相同，但有一點是統一的，就是分布式存儲將數據分散放置在多個節點中，節點通過網路互連提供存儲服務。這一點與傳統集中式存儲將數據集中放置的方式有著明顯的區分。

什麼是軟體定義存儲

SDS 的全稱是 Software Defined Storage ，字面意思直譯就是軟體定義存儲。關於 SDS 的定義可以參考全球網路存儲工業協會（Storage Networking Instry Association，SNIA），SNIA 在 2013 正式把 軟體定義存儲(SDS) 列入研究對象。

SNIA 對軟體定義存儲(SDS) 的定義是：一種具備服務管理介面的虛擬化存儲。 SDS 包括存儲池化的功能，並可通過服務管理介面定義存儲池的數據服務特徵。另外 SNIA 還提出 軟體定義存儲(SDS) 應該具備以下特性：

• 自動化程度高 – 通過簡化管理，降低存儲基礎架構的運維開銷

• 標准介面 – 支持 API 管理、發布和運維存儲設備和服務

• 虛擬化數據路徑 – 支持多種標准協議，允許應用通過塊存儲，文件存儲或者對象存儲介面寫入數據

• 擴展性 – 存儲架構具備無縫擴展規模的能力，擴展過程不影響可用性以及不會導致性能下降

• 透明度 – 存儲應為用戶提供管理和監控存儲的可用資源與開銷

分布式存儲與軟體定義存儲的區別與聯系

軟體定義存儲(SDS) 的著重點在於存儲資源虛擬化和軟體定義，首先在形態上，軟體定義存儲(SDS)區別於傳統的「硬體定義」存儲，它不依賴專屬的硬體，可以讓存儲軟體運行在通用伺服器上，可避免硬體綁定以及有效降低硬體采購成本；擁有標准 API 介面和自動化工具，有效降低運維難度。存儲資源虛擬化，支持多種存儲協議，可整合企業存儲資源，提升存儲資源利用率。但從定義上來說，但 軟體定義存儲(SDS) 從部署形式上來看，並不一定是分布式或者是集中式的，也就是說 SDS 不一定是分布式存儲（雖然常見的 軟體定義存儲(SDS) 更多的是分布式的），SDS 存儲內部有可能是單機運行的，不通過網路分散存放數據的，這種形式的軟體定義存儲(SDS) 的擴展性就可能有比較大的局限。

分布式存儲，它的最大特點是多節點部署， 數據通過網路分散放置。分布式存儲的特點是擴展性強，通過多節點平衡負載，提高存儲系統的可靠性與可用性。與 軟體定義存儲(SDS)相反，分布式存儲不一定是軟體定義的，有可能是綁定硬體的，例如 IBM XIV 存儲，它本質上是一個分布式存儲，但實際是通過專用硬體進行交付的。那麼就依然存在硬體綁定，擁有成本較高的問題。