分布式對象存儲

Ⅰ Hadoop分布式文件系統和OpenStack對象存儲有何不同

最近在Quora上有人提到一個問題，有關Hadoop分布式文件系統和OpenStack對象存儲的不同。
問題原文如下：
「HDFS （Hadoop分布式文件系統）和OpenStack對象存儲（OpenStack Object Storage）似乎都有著相似的目的：實現冗餘、快速、聯網的存儲。什麼樣的技術特性讓這兩種系統因而不一樣？這兩種存儲系統最終趨於融合是否大有意義？」
問題提出之後，很快有OpenStack的開發者進行了回復。本文在此摘抄了前兩名回復進行翻譯，以供各位參考。
排名第一的答案來自RackSpace的OpenStack Swift開發者Chuck Their：
雖然HDFS與Openstack對象存儲（Swift）之間有著一些相似之處，但是這兩種系統的總體設計卻大不一樣。
1. HDFS使用了中央系統來維護文件元數據（Namenode，名稱節點），而在Swift中，元數據呈分布式，跨集群復制。使用一種中央元數據系統對HDFS來說無異於單一故障點，因而擴展到規模非常大的環境顯得更困難。
2. Swift在設計時考慮到了多租戶架構，而HDFS沒有多租戶架構這個概念。
3. HDFS針對更龐大的文件作了優化（這是處理數據時通常會出現的情況），Swift被設計成了可以存儲任何大小的文件。
4. 在HDFS中，文件寫入一次，而且每次只能有一個文件寫入；而在Swift中，文件可以寫入多次；在並發操作環境下，以最近一次操作為准。
5. HDFS用Java來編寫，而Swift用Python來編寫。
另外，HDFS被設計成了可以存儲數量中等的大文件，以支持數據處理，而Swift被設計成了一種比較通用的存儲解決方案，能夠可靠地存儲數量非常多的大小不一的文件。
排名第二的答案來自Joshua McKenty，他是美國宇航局Nebula雲計算項目的首席架構師，是OpenStack Nova軟體的早期開發者之一，目前是OpenStack項目監管委員會的成員，還是Piston.cc這家基於OpenStack的公司的創始人。
Chuck剛才詳細介紹了兩者的技術差異，但是沒有討論兩者可想而知的融合，OpenStack設計峰會上拋出了融合這個話題。簡而言之，HDFS被設計成可以使用Hadoop，跨存儲環境裡面的對象實現MapRece處理。對於許多OpenStack公司（包括我自己的公司）來說，支持Swift裡面的處理是路線圖上面的一個目標，不過不是每個人都認為MapRece是解決之道。
我們已討論過為HDFS編寫包裝器，這將支持OpenStack內部存儲應用編程介面（API），並且讓用戶可以針對該數據來執行Hadoop查詢。還有一個辦法就是在Swift裡面使用HDFS。但是這些方法似乎沒有一個是理想的。
OpenStack社區方面也在開展研究開發方面的一些工作，認真研究其他替代性的MapRece框架（Riak和CouchDB等）。
最後，現在有別的一些存儲項目，目前「隸屬於」OpenStack社區（SheepDog和HC2）。充分利用數據局部性，並且讓對象存儲變得「更智能」，這是預計會取得進步的一個領域。

Ⅱ Hadoop分布式文件系統和對象存儲有何不同

分布式文件系統（Distributed File System）是指文件系統管理的物理存儲資源不一定直接連接在本地節點上，而是通過計算機網路與節點相連。 Hadoop是Apache軟體基金會所研發的開放源碼並行運算編程工具和分散式檔案系統，與MapRece和Google檔案系統的概念類似。 HDFS（Hadoop 分布式文件系統）是其中的一部分。

Ⅲ 分布式存儲與軟體定義存儲的區別

什麼是分布式存儲

關於分布式存儲實際上並沒有一個明確的定義，甚至名稱上也沒有一個統一的說法，大多數情況下稱作 Distributed Data Store 或者 Distributed Storage System。

其中維基網路中給 Distributed data store 的定義是：分布式存儲是一種計算機網路，它通常以數據復制的方式將信息存儲在多個節點中。

在網路中給出的定義是：分布式存儲系統，是將數據分散存儲在多台獨立的設備上。分布式網路存儲系統採用可擴展的系統結構，利用多台存儲伺服器分擔存儲負荷，利用位置伺服器定位存儲信息，它不但提高了系統的可靠性、可用性和存取效率，還易於擴展。

盡管各方對分布式存儲的定義並不完全相同，但有一點是統一的，就是分布式存儲將數據分散放置在多個節點中，節點通過網路互連提供存儲服務。這一點與傳統集中式存儲將數據集中放置的方式有著明顯的區分。

什麼是軟體定義存儲

SDS 的全稱是 Software Defined Storage ，字面意思直譯就是軟體定義存儲。關於 SDS 的定義可以參考全球網路存儲工業協會（Storage Networking Instry Association，SNIA），SNIA 在 2013 正式把 軟體定義存儲(SDS) 列入研究對象。

SNIA 對軟體定義存儲(SDS) 的定義是：一種具備服務管理介面的虛擬化存儲。 SDS 包括存儲池化的功能，並可通過服務管理介面定義存儲池的數據服務特徵。另外 SNIA 還提出 軟體定義存儲(SDS) 應該具備以下特性：

• 自動化程度高 – 通過簡化管理，降低存儲基礎架構的運維開銷

• 標准介面 – 支持 API 管理、發布和運維存儲設備和服務

• 虛擬化數據路徑 – 支持多種標准協議，允許應用通過塊存儲，文件存儲或者對象存儲介面寫入數據

• 擴展性 – 存儲架構具備無縫擴展規模的能力，擴展過程不影響可用性以及不會導致性能下降

• 透明度 – 存儲應為用戶提供管理和監控存儲的可用資源與開銷

分布式存儲與軟體定義存儲的區別與聯系

軟體定義存儲(SDS) 的著重點在於存儲資源虛擬化和軟體定義，首先在形態上，軟體定義存儲(SDS)區別於傳統的「硬體定義」存儲，它不依賴專屬的硬體，可以讓存儲軟體運行在通用伺服器上，可避免硬體綁定以及有效降低硬體采購成本；擁有標准 API 介面和自動化工具，有效降低運維難度。存儲資源虛擬化，支持多種存儲協議，可整合企業存儲資源，提升存儲資源利用率。但從定義上來說，但 軟體定義存儲(SDS) 從部署形式上來看，並不一定是分布式或者是集中式的，也就是說 SDS 不一定是分布式存儲（雖然常見的 軟體定義存儲(SDS) 更多的是分布式的），SDS 存儲內部有可能是單機運行的，不通過網路分散存放數據的，這種形式的軟體定義存儲(SDS) 的擴展性就可能有比較大的局限。

分布式存儲，它的最大特點是多節點部署， 數據通過網路分散放置。分布式存儲的特點是擴展性強，通過多節點平衡負載，提高存儲系統的可靠性與可用性。與 軟體定義存儲(SDS)相反，分布式存儲不一定是軟體定義的，有可能是綁定硬體的，例如 IBM XIV 存儲，它本質上是一個分布式存儲，但實際是通過專用硬體進行交付的。那麼就依然存在硬體綁定，擁有成本較高的問題。

Ⅳ 分布式存儲是什麼東西

關於分布式存儲實際上並沒有一個明確的定義，甚至名稱上也沒有一個統一的說法，大多數情況下稱作 Distributed Data Store 或者 Distributed Storage System。
其中維基網路中給 Distributed data store 的定義是：分布式存儲是一種計算機網路，它通常以數據復制的方式將信息存儲在多個節點中。
在網路中給出的定義是：分布式存儲系統，是將數據分散存儲在多台獨立的設備上。分布式網路存儲系統採用可擴展的系統結構，利用多台存儲伺服器分擔存儲負荷，利用位置伺服器定位存儲信息，它不但提高了系統的可靠性、可用性和存取效率，還易於擴展。
盡管各方對分布式存儲的定義並不完全相同，但有一點是統一的，就是分布式存儲將數據分散放置在多個節點中，節點通過網路互連提供存儲服務。這一點與傳統集中式存儲將數據集中放置的方式有著明顯的區分。

Ⅳ 分布式存儲排名前十名有哪些

一、 Ceph

Ceph最早起源於Sage就讀博士期間的工作、成果於2004年發表，並隨後貢獻給開源社區。經過多年的發展之後，已得到眾多雲計算和存儲廠商的支持，成為應用最廣泛的開源分布式存儲平台。
二、 GFS

GFS是google的分布式文件存儲系統，是專為存儲海量搜索數據而設計的，2003年提出，是閉源的分布式文件系統。適用於大量的順序讀取和順序追加，如大文件的讀寫。注重大文件的持續穩定帶寬，而不是單次讀寫的延遲。
三、 HDFS

HDFS(Hadoop Distributed File System)，是一個適合運行在通用硬體(commodity hardware)上的分布式文件系統，是Hadoop的核心子項目，是基於流數據模式訪問和處理超大文件的需求而開發的。該系統仿效了谷歌文件系統(GFS)，是GFS的一個簡化和開源版本。

Ⅵ 分布式存儲有哪幾種類型

中央存儲技術現已發展非常成熟。但是同時，新的問題也出現了，中心化的網路很容易擁擠，數據很容易被濫用。傳統的數據傳輸方式是由客戶端向雲伺服器傳輸，由伺服器向客戶端下載。而分布式存儲系統QKFile是從客戶端傳送到 N個節點，然後從這些節點就近下載到客戶端內部，因此傳輸速度非常快。對比中心協議的特點是上傳、下載速度快，能夠有效地聚集空閑存儲資源，並能大大降低存儲成本。

在節點數量不斷增加的情況下，QKFile市場趨勢開始突出，未來用戶數量將呈指數增長。分布式存儲在未來會有很多應用場景，如數據存儲，文件傳輸，網路視頻，社會媒體和去中心化交易等。網際網路的控制權越來越集中在少數幾個大型技術公司的手中，它的網路被去中心化，就像分布式存儲一樣，總是以社區為中心，面向用戶，而分布式存儲就是實現信息技術和未來網際網路功能的遠景。有了分布式存儲，我們可以創造出更加自由、創新和民主的網路體驗。是時候把網際網路推向新階段了。

作為今年非常受歡迎的明星項目，關於QKFile的未來發展會推動互聯網的進步，給整個市場帶來巨大好處。分布式存儲是基於網際網路的基礎結構產生的，區塊鏈分布式存儲與人工智慧、大數據等有疊加作用。對今天的中心存儲是一個巨大的補充，分布式時代的到來並不是要取代現在的中心互聯網，而是要使未來的數據存儲發展得更好，給整個市場生態帶來不可想像的活力。先看共識，後看應用，QKFile創建了一個基礎設施平台，就像阿里雲，阿里雲上面是做游戲的做電商的視頻網站，這就叫應用層，現階段，在性能上，坦白說，與傳統的雲存儲相比，沒有什麼競爭力。不過另一方面來說，一個新型的去中心化存儲的信任環境式非常重要的，在此環境下，自然可以衍生出許多相關應用，市場潛力非常大。

雖然QKFile離真正的商用還有很大的距離，首先QKFile的經濟模型還沒有定論，其次QKFile需要集中精力發展分布式存儲、商業邏輯和 web3.0，只有打通分布式存儲賽道，才有實力引領整個行業發展，人們認識到了中心化存儲的弊端，還有許多企業開始接受分布式存儲模式，即分布式存儲 DAPP應用觸達用戶。所以QKFile將來肯定會有更多的商業應用。創建超本地高效存儲方式的能力。當用戶希望將數據存儲在QKFile網路上時，他們就可以擺脫巨大的集中存儲和地理位置的限制，用戶可以看到在線存儲的礦工及其市場價格，礦工之間相互競爭以贏得存儲合約。使用者挑選有競爭力的礦工，交易完成，用戶發送數據，然後礦工存儲數據，礦工必須證明數據的正確存儲才能得到QKFile獎勵。在網路中，通過密碼證明來驗證數據的存儲安全性。采礦者通過新區塊鏈向網路提交其儲存證明。通過網路發布的新區塊鏈驗證，只有正確的區塊鏈才能被接受，經過一段時間，礦工們就可以獲得交易存儲費用，並有機會得到區塊鏈獎勵。數據就在更需要它的地方傳播了，旋轉數據就在地球范圍內流動了，數據的獲取就不斷優化了，從小的礦機到大的數據中心，所有人都可以通過共同努力，為人類信息社會的建設奠定新的基礎，並從中獲益。

Ⅶ 分布式存儲是什麼

分布式存儲系統，是將數據分散存儲在多台獨立的設備上。傳統的網路存儲系統採用集中的存儲伺服器存放所有數據，存儲伺服器成為系統性能的瓶頸，也是可靠性和安全性的焦點，不能滿足大規模存儲應用的需要。分布式網路存儲系統採用可擴展的系統結構，利用多台存儲伺服器分擔存儲負荷，利用位置伺服器定位存儲信息，它不但提高了系統的可靠性、可用性和存取效率，還易於擴展。
分布式和集中式存儲
集中存儲的優缺點是，物理介質集中布放;視頻流上傳到中心對機房環境要求高，要求機房空間大，承重、空調等都是需要考慮的問題。

分布存儲，集中管理的優缺點是，物理介質分布到不同的地理位置;視頻流就近上傳，對骨幹網帶寬沒有什麼要求;可採用多套低端的小容量的存儲設備分布部署，設備價格和維護成本較低;小容量設備分布部署，對機房環境要求低。

鏈喬教育在線旗下學碩創新區塊鏈技術工作站是中國教育部學校規劃建設發展中心開展的「智慧學習工場2020-學碩創新工作站 」唯一獲準的「區塊鏈技術專業」試點工作站。專業站立足為學生提供多樣化成長路徑，推進專業學位研究生產學研結合培養模式改革，構建應用型、復合型人才培養體系。

Ⅷ 分布式文件/對象存儲系統

分布式存儲系統面向海量數據的存儲訪問與共享需求，提供基於多存儲節點的高性能，高可靠和可伸縮性的數據存儲和訪問能力，實現分布式存儲節點上多用戶的訪問共享。 目前業界比較流行的分布式存儲系統如下：HDFS、OpenStack Swift、Ceph、GlusterFS、Lustre、AFS、OSS。

Ⅸ K8s怎麼對象分布式存儲

K8s對象分布式存儲的方式很多，我們用的元核雲分布式塊存儲，用的就是ceph-csi對接的他們的rbd塊存儲。

Ⅹ 求 分布式對象存儲 原理 架構及Go語言實現 pdf

分布式存儲架構由三個部分組成：客戶端、元數據伺服器和數據伺服器。客戶端負責發送讀寫請求，緩存文件元數據和文件數據。元數據伺服器負責管理元數據和處理客戶端的請求，是整個系統的核心組件。數據伺服器負責存放文件數據，保證數據的可用性和完整性。該架構的好處是性能和容量能夠同時拓展，系統規模具有很強的伸縮性。
對象存儲最常用的方案，就是多台伺服器內置大容量硬碟，再裝上對象存儲軟體，然後再額外搞幾台服務作為管理節點，安裝上對象存儲管理軟體。管理節點可以管理其他伺服器對外提供讀寫訪問功能。
之所以出現了對象存儲這種東西，是為了克服塊存儲與文件存儲各自的缺點，發揚它倆各自的優點。簡單來說塊存儲讀寫快，不利於共享，文件存儲讀寫慢，利於共享。能否弄一個讀寫快，利 於共享的出來呢。於是就有了對象存儲。