云存储块对象协议

‘壹’ 块存储、文件存储、对象存储这三者的本质差别是什么

一、概念及区别

针对不同的应用场景，选择的分布式存储方案也会不同，因此有了对象存储、块存储、文件系统存储。这三者的主要区别在于它们的存储接口：

1. 对象存储:

也就是通常意义的键值存储，其接口就是简单的GET,PUT,DEL和其他扩展，

2. 块存储:

这种接口通常以QEMU Driver或者Kernel Mole的方式存在，这种接口需要实现Linux的BlockDevice的接口或者QEMU提供的BlockDriver接口，如Sheepdog，AWS的EBS，青云的云硬盘和阿里云的盘古系统，还有Ceph的RBD(RBD是Ceph面向块存储的接口)

3. 文件存储:

通常意义是支持POSIX接口，它跟传统的文件系统如Ext4是一个类型的，但区别在于分布式存储提供了并行化的能力，如Ceph的CephFS(CephFS是Ceph面向文件存储的接口)，但是有时候又会把GFS，HDFS这种非POSIX接口的类文件存储接口归入此类。

二、IO特点

按照这三种接口和其应用场景，很容易了解这三种类型的IO特点，括号里代表了它在非分布式情况下的对应:1. 对象存储(键值数据库):

接口简单，一个对象我们可以看成一个文件，只能全写全读，通常以大文件为主，要求足够的IO带宽。

2. 块存储(硬盘):

它的IO特点与传统的硬盘是一致的，一个硬盘应该是能面向通用需求的，即能应付大文件读写，也能处理好小文件读写。但是硬盘的特点是容量大，热点明显。因此块存储主要可以应付热点问题。另外，块存储要求的延迟是最低的。

3. 文件存储(文件系统):

支持文件存储的接口的系统设计跟传统本地文件系统如Ext4这种的特点和难点是一致的，它比块存储具有更丰富的接口，需要考虑目录、文件属性等支持，实现一个支持并行化的文件存储应该是最困难的。但像HDFS、GFS这种自己定义标准的系统，可以通过根据实现来定义接口，会容易一点。

因此，这三种接口分别以非分布式情况下的键值数据库、硬盘和文件系统的IO特点来对应即可。至于冷热、快慢、大小文件而言更接近于业务。但是因为存储系统是通用化实现，通常来说，需要尽量满足各种需求，而接口定义已经一定意义上就砍去了一些需求，如对象存储会以冷存储更多，大文件为主。

‘贰’ 云计算使得使用信息的存储是一个什么样的方式

产品定义：
BC—oNest(Object Nest)是一个以对象形式存储和管理海量非结构化数据的云存储系统。BC—oNest可以为互联网业务和企业用户提供低成本的PB级存储规模，具备高可靠、高安全性和高扩展性的云存储服务。
产品实现了跨机架的海量对象存储和备份功能：提供WEB方问(业务使用门户以及REST API)以及SDK：提供批量导入导出工具来支持oNest和Linux本地目录之间的相互拷贝：支持Windows客户端工具，方便用户的使用。
产品特点
按需分配的存储空间：系统支持TB级到PB级的存储空间管理，存储容量可在线平滑扩容。
可靠的数据存储：系统支持对象数据跨机架存储；在每个AZ内多副本存储。系统的健康检查模块保证副本减少的情况下，自动修复副本数量：同时系统内部实现了数据的完整性校验机制，防止数据被非法篡改或损坏。
安全的数据访问控制：系统的认证鉴权和ACI一访问控制机制保证数据只被授权用户访问：同时系统支持密钥签名机制，保证用户访问消息在传输通道上的安全性。
高性能的数据处理：提供Multi Part的并发上传功能提高大对象上传速度：支持基于Range的多点并发下载功能提高对象下载速度：数据节点内部采用文件聚合的方法提高性能：支持高并发的用户访问和高吞吐的数据流量。
高可用的数据服务能力：AZ内多副本存储和副本自动修复能力，提高了系统持续服务能力，在常见的服务器集群节点或局部网络故障情形中，系统具有高可用性。
提供多种数据访问接口：系统对外提供WEB访问(业务使用门户及REST API)以及SDK，并提供批量导入导出工具来支持oNest和Linux本地目录之间的相互拷贝。
在服产品版本及特性:

5.X版本：
自主研发的以对象形式存储和管理海量非结构化数据的存储系统
基于跨机架的大规模数据中心环境设计，具有极强的水平扩展能力
提供类AWS S3的REST API和SDK，以及本地批量数据导入导出工具
支持用户、容器以及对象的访问权限管理和控制
服务可用性99.9%，数据可靠性99.999999999%，无单点故障，支持线性扩展
支持至少千亿级对象存储，单个对象最大5TB，千兆网络环境下4KB对象读取响应时间小于100ms
支持用户可选的服务器端及客户端数据加密存储，整个过程对用户透明
支持系统和存储资源监控及告警功能，易运营可管理
提供面向系统、用户和容器三个级别的准实时统计计量能力，支持用户按需付费
6.0版本：
基于主流ceph产品，支持纠删码，支持主流s3接口
核心功能：
1：对象相关功能
对象管理：系统支持对象的创建、读取和删除、设置用户自定义元数据等功能。
对象访问控制：系统支持设置或获取容器和对象访问权限(ACL)等功能。
2：容器相关功能
容器管理：系统按容器组织对象，每个用户可拥有零或多个容器，每个用户可包合零或多个对象。系统支持容器的创建、删除，按字典序列出容器内的对象等功能。
3：用户相关功能
用户认证及权限：对用户的身份进行认证，确认访问用户的身份，完成认证后基于用户状态、配额和权限进行确认。
4：系统相关功能
计量信息：提供为资源池管理系统提供计费需要的计量信息，包括空间占用、访问流量等。
用户控制：提供用户运营管理访问控制包括签约对象存储服务、查看对象存储服务等功能。
日志管理：提供对系统日志的记录及浏览功能。
统计报表：提供对系统各项指标的统计和分析，包括系统数据日志、用户日志及日志管理、访问统计、统计总空间占用、统计总用户数、统计各个节点上占用空间大小、容器总数量、流量信息统计等。
运维管理：提供云存储系统内部管理、维护，包括系统管理用户认证鉴权、系统管理角色管理、设备状态监控、设备维护等功能。
产品优势：
BC—oN est是基于标准X86服务器集群的对象存储系统。产品优势主要体现在：
容量和性能随节点增加而线性增强，且支持无缝的在线扩容和升级维护。
基于X86存储服务器的结构具有低成本特点。
系统的高可靠设计，单磁盘和单服务器故障不会影响系统服务，保障用户数据的可用性。
安全认证和数据加密手段，为用户提供安全的数据存储服务。
应用场景：
广泛应用于公众云存储服务，为用户和企业提供按需扩展的云存储服务。支持各类互联网应用，如网盘
类应用中对图片、文档和音视频的存储j对象存储通过与主流备份软件结合，可向用户提供更具成本效益、
更低TCO的备份方案j对象存储与归档软件、分级存储软件结合，可以将在线系统中的数据无缝归档／分级
存储到对象存储系统，减少阵列等在线系统存储资源。
应用案例：中国移动公众服务云
一：应用背景和面临的问题
云存储是laaS核心服务之一，主要支撑海量非结构化数据的存储和处理需求。传统的非结构数据存储系统主要采用磁盘阵列和NAS设备实现，为本地服务器提供块存储空间或文件存储空间，本质上属于数据中心内部的解决方案，主要存在的问题包括：首先，两者的服务接口协议上都不能满足在广域网范围提供服务的能力要求j其次，磁盘阵列和NAS设备的扩展I生也有限，不能满足百亿级文件的存储需求j最后，设备成本较高，基于阵列设备提供的云存储服价格不具备竞争性。
二：解决方案
公众服务云的对象存储服务使用BC—oNest产品实现。300台存储服务器可以提供PB级的对象存储服务空间支持百亿级的对象存储。
三：商业价值
中国移动公众服务云采用自主研发的BC—oNest，系统建设上相比使用商用解决方案节约成本数百万元。自主研发产品的应用也使得研发和运营实现紧密互动，对象存储服务的功能可随着市场竞争的要求实现快速迭代开发。
基于BC—oNest的对象存储服务是中国移动在公众服务云布局的重要环节之一，将为中国移动拓展行业云应用奠定坚实的基础。
欢迎拨打4001100865至中移软件技术有新公司咨询！

‘叁’ 对象存储、块存储、文件存储分别是什么有什么区别

你可以把块理解成整个硬盘，文件理解成硬盘中的文件，对象理解成很多台服务器中的很多块硬盘。

‘肆’ 常用的各类存储

块存储： 指在一个RAID（独立磁盘冗余阵列）集中，一个控制器加入一组磁盘驱动器，然后提供固定大小的RAID块作为LUN（逻辑单元号）的卷，简单理解硬盘就是块存储。
常见的块存储

提供了文件共享的文件存储服务，普通的文件存储可以同时支持上千个云主机客户端同时共享访问，提供高吞吐量。

对象存储 ：
无目录层次结构、无数据格式限制，可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。

使用场景 ：
适合非结构化文件，如图片和音视频等数据的海量存储
各种终端设备、Web网站程序、移动应用可以直接向OSS写入或读取数据。OSS支持流式写入和文件写入两种方式

阿里云的对象存储的分类 ：
标准类型
低频访问类型
归档存储类型
（云厂商都提供对象存储）

下表来自阿里云：

注： ECS 指的的云主机。
如果是自己搭建的NAS,那么他的吞吐取决约你的磁盘的类型和Raid类型， 一般是百Mbps,而不是Gbps.

‘伍’ 有对象存储了为什么还要有文件存储和块存储

主要还是因为这三种存储的使用场景不同，下面对文件存储，块存储的典型代表DAS，NAS，SAN做个一个详细的对比表，可以看下：