雲存儲塊對象協議

『壹』 塊存儲、文件存儲、對象存儲這三者的本質差別是什麼

一、概念及區別

針對不同的應用場景，選擇的分布式存儲方案也會不同，因此有了對象存儲、塊存儲、文件系統存儲。這三者的主要區別在於它們的存儲介面：

1. 對象存儲:

也就是通常意義的鍵值存儲，其介面就是簡單的GET,PUT,DEL和其他擴展，

2. 塊存儲:

這種介面通常以QEMU Driver或者Kernel Mole的方式存在，這種介面需要實現Linux的BlockDevice的介面或者QEMU提供的BlockDriver介面，如Sheepdog，AWS的EBS，青雲的雲硬碟和阿里雲的盤古系統，還有Ceph的RBD(RBD是Ceph面向塊存儲的介面)

3. 文件存儲:

通常意義是支持POSIX介面，它跟傳統的文件系統如Ext4是一個類型的，但區別在於分布式存儲提供了並行化的能力，如Ceph的CephFS(CephFS是Ceph面向文件存儲的介面)，但是有時候又會把GFS，HDFS這種非POSIX介面的類文件存儲介面歸入此類。

二、IO特點

按照這三種介面和其應用場景，很容易了解這三種類型的IO特點，括弧里代表了它在非分布式情況下的對應:1. 對象存儲(鍵值資料庫):

介面簡單，一個對象我們可以看成一個文件，只能全寫全讀，通常以大文件為主，要求足夠的IO帶寬。

2. 塊存儲(硬碟):

它的IO特點與傳統的硬碟是一致的，一個硬碟應該是能面向通用需求的，即能應付大文件讀寫，也能處理好小文件讀寫。但是硬碟的特點是容量大，熱點明顯。因此塊存儲主要可以應付熱點問題。另外，塊存儲要求的延遲是最低的。

3. 文件存儲(文件系統):

支持文件存儲的介面的系統設計跟傳統本地文件系統如Ext4這種的特點和難點是一致的，它比塊存儲具有更豐富的介面，需要考慮目錄、文件屬性等支持，實現一個支持並行化的文件存儲應該是最困難的。但像HDFS、GFS這種自己定義標準的系統，可以通過根據實現來定義介面，會容易一點。

因此，這三種介面分別以非分布式情況下的鍵值資料庫、硬碟和文件系統的IO特點來對應即可。至於冷熱、快慢、大小文件而言更接近於業務。但是因為存儲系統是通用化實現，通常來說，需要盡量滿足各種需求，而介面定義已經一定意義上就砍去了一些需求，如對象存儲會以冷存儲更多，大文件為主。

『貳』 雲計算使得使用信息的存儲是一個什麼樣的方式

產品定義：
BC—oNest(Object Nest)是一個以對象形式存儲和管理海量非結構化數據的雲存儲系統。BC—oNest可以為互聯網業務和企業用戶提供低成本的PB級存儲規模，具備高可靠、高安全性和高擴展性的雲存儲服務。
產品實現了跨機架的海量對象存儲和備份功能：提供WEB方問(業務使用門戶以及REST API)以及SDK：提供批量導入導出工具來支持oNest和Linux本地目錄之間的相互拷貝：支持Windows客戶端工具，方便用戶的使用。
產品特點
按需分配的存儲空間：系統支持TB級到PB級的存儲空間管理，存儲容量可在線平滑擴容。
可靠的數據存儲：系統支持對象數據跨機架存儲；在每個AZ內多副本存儲。系統的健康檢查模塊保證副本減少的情況下，自動修復副本數量：同時系統內部實現了數據的完整性校驗機制，防止數據被非法篡改或損壞。
安全的數據訪問控制：系統的認證鑒權和ACI一訪問控制機制保證數據只被授權用戶訪問：同時系統支持密鑰簽名機制，保證用戶訪問消息在傳輸通道上的安全性。
高性能的數據處理：提供Multi Part的並發上傳功能提高大對象上傳速度：支持基於Range的多點並發下載功能提高對象下載速度：數據節點內部採用文件聚合的方法提高性能：支持高並發的用戶訪問和高吞吐的數據流量。
高可用的數據服務能力：AZ內多副本存儲和副本自動修復能力，提高了系統持續服務能力，在常見的伺服器集群節點或局部網路故障情形中，系統具有高可用性。
提供多種數據訪問介面：系統對外提供WEB訪問(業務使用門戶及REST API)以及SDK，並提供批量導入導出工具來支持oNest和Linux本地目錄之間的相互拷貝。
在服產品版本及特性:

5.X版本：
自主研發的以對象形式存儲和管理海量非結構化數據的存儲系統
基於跨機架的大規模數據中心環境設計，具有極強的水平擴展能力
提供類AWS S3的REST API和SDK，以及本地批量數據導入導出工具
支持用戶、容器以及對象的訪問許可權管理和控制
服務可用性99.9%，數據可靠性99.999999999%，無單點故障，支持線性擴展
支持至少千億級對象存儲，單個對象最大5TB，千兆網路環境下4KB對象讀取響應時間小於100ms
支持用戶可選的伺服器端及客戶端數據加密存儲，整個過程對用戶透明
支持系統和存儲資源監控及告警功能，易運營可管理
提供面向系統、用戶和容器三個級別的准實時統計計量能力，支持用戶按需付費
6.0版本：
基於主流ceph產品，支持糾刪碼，支持主流s3介面
核心功能：
1：對象相關功能
對象管理：系統支持對象的創建、讀取和刪除、設置用戶自定義元數據等功能。
對象訪問控制：系統支持設置或獲取容器和對象訪問許可權(ACL)等功能。
2：容器相關功能
容器管理：系統按容器組織對象，每個用戶可擁有零或多個容器，每個用戶可包合零或多個對象。系統支持容器的創建、刪除，按字典序列出容器內的對象等功能。
3：用戶相關功能
用戶認證及許可權：對用戶的身份進行認證，確認訪問用戶的身份，完成認證後基於用戶狀態、配額和許可權進行確認。
4：系統相關功能
計量信息：提供為資源池管理系統提供計費需要的計量信息，包括空間佔用、訪問流量等。
用戶控制：提供用戶運營管理訪問控制包括簽約對象存儲服務、查看對象存儲服務等功能。
日誌管理：提供對系統日誌的記錄及瀏覽功能。
統計報表：提供對系統各項指標的統計和分析，包括系統數據日誌、用戶日誌及日誌管理、訪問統計、統計總空間佔用、統計總用戶數、統計各個節點上佔用空間大小、容器總數量、流量信息統計等。
運維管理：提供雲存儲系統內部管理、維護，包括系統管理用戶認證鑒權、系統管理角色管理、設備狀態監控、設備維護等功能。
產品優勢：
BC—oN est是基於標准X86伺服器集群的對象存儲系統。產品優勢主要體現在：
容量和性能隨節點增加而線性增強，且支持無縫的在線擴容和升級維護。
基於X86存儲伺服器的結構具有低成本特點。
系統的高可靠設計，單磁碟和單伺服器故障不會影響系統服務，保障用戶數據的可用性。
安全認證和數據加密手段，為用戶提供安全的數據存儲服務。
應用場景：
廣泛應用於公眾雲存儲服務，為用戶和企業提供按需擴展的雲存儲服務。支持各類互聯網應用，如網盤
類應用中對圖片、文檔和音視頻的存儲j對象存儲通過與主流備份軟體結合，可向用戶提供更具成本效益、
更低TCO的備份方案j對象存儲與歸檔軟體、分級存儲軟體結合，可以將在線系統中的數據無縫歸檔／分級
存儲到對象存儲系統，減少陣列等在線系統存儲資源。
應用案例：中國移動公眾服務雲
一：應用背景和面臨的問題
雲存儲是laaS核心服務之一，主要支撐海量非結構化數據的存儲和處理需求。傳統的非結構數據存儲系統主要採用磁碟陣列和NAS設備實現，為本地伺服器提供塊存儲空間或文件存儲空間，本質上屬於數據中心內部的解決方案，主要存在的問題包括：首先，兩者的服務介面協議上都不能滿足在廣域網范圍提供服務的能力要求j其次，磁碟陣列和NAS設備的擴展I生也有限，不能滿足百億級文件的存儲需求j最後，設備成本較高，基於陣列設備提供的雲存儲服價格不具備競爭性。
二：解決方案
公眾服務雲的對象存儲服務使用BC—oNest產品實現。300台存儲伺服器可以提供PB級的對象存儲服務空間支持百億級的對象存儲。
三：商業價值
中國移動公眾服務雲採用自主研發的BC—oNest，系統建設上相比使用商用解決方案節約成本數百萬元。自主研發產品的應用也使得研發和運營實現緊密互動，對象存儲服務的功能可隨著市場競爭的要求實現快速迭代開發。
基於BC—oNest的對象存儲服務是中國移動在公眾服務雲布局的重要環節之一，將為中國移動拓展行業雲應用奠定堅實的基礎。
歡迎撥打4001100865至中移軟體技術有新公司咨詢！

『叄』 對象存儲、塊存儲、文件存儲分別是什麼有什麼區別

你可以把塊理解成整個硬碟，文件理解成硬碟中的文件，對象理解成很多台伺服器中的很多塊硬碟。

『肆』 常用的各類存儲

塊存儲： 指在一個RAID（獨立磁碟冗餘陣列）集中，一個控制器加入一組磁碟驅動器，然後提供固定大小的RAID塊作為LUN（邏輯單元號）的卷，簡單理解硬碟就是塊存儲。
常見的塊存儲

提供了文件共享的文件存儲服務，普通的文件存儲可以同時支持上千個雲主機客戶端同時共享訪問，提供高吞吐量。

對象存儲 ：
無目錄層次結構、無數據格式限制，可容納海量數據且支持 HTTP/HTTPS 協議訪問的分布式存儲服務。

使用場景 ：
適合非結構化文件，如圖片和音視頻等數據的海量存儲
各種終端設備、Web網站程序、移動應用可以直接向OSS寫入或讀取數據。OSS支持流式寫入和文件寫入兩種方式

阿里雲的對象存儲的分類 ：
標准類型
低頻訪問類型
歸檔存儲類型
（雲廠商都提供對象存儲）

下表來自阿里雲：

註： ECS 指的的雲主機。
如果是自己搭建的NAS,那麼他的吞吐取決約你的磁碟的類型和Raid類型， 一般是百Mbps,而不是Gbps.

『伍』 有對象存儲了為什麼還要有文件存儲和塊存儲

主要還是因為這三種存儲的使用場景不同，下面對文件存儲，塊存儲的典型代表DAS，NAS，SAN做個一個詳細的對比表，可以看下：