云存储科技

1. 什么是云存储技术

云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。 当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。

云存储的两个层面

云存储的两个层面是作为云计算支撑的存储计算，主要涉及分布式存储(如分布式文件系统、IPSAN、数据同步、复制)、数据存储(如重复数据删除、数据压缩、数据编码)和数据保护(如RAID、CDP、快照、备份与容灾)等技术领域，如图8-30所示，这在第6章中已有所介绍。和云安全技术一样，云存储技术也需要利用现有的所有存储技术针对云计算三层架构的各个环节采用适当的存储技术，才能取得最佳效果，例如，对应不同需求，有时应该使用数据库技术但有时却应该使用LDAP技术，有些性能要求高的系统不能使用SAN或NAS，需直接使用基于RPC或Socket技术的并发文件系统，有些应用使用SAN成本太高等，这里不再做深入介绍。如图8-31所示是一个采用NetApp FAS、思科 UCS和 VMWare vShpere 4技术打造的存储系统，对上述两种云存储技术和应用都有促进作用。云存储架构

分为两类：一种是通过服务来架构;另一种是通过软件或硬件设备来架构。

传统的系统利用紧耦合对称架构，这种架构的设计旨在解决HPC(高性能计算、超级运算)问题，现在其正在向外扩展成为云存储从而满足快速呈现的市场需求。下一代架构已经采用了松弛耦合非对称架构，集中元数据和控制操作，这种架构并不非常适合高性能HPC，但是这种设计旨在解决云部署的大容量存储需求。各种架构的摘要信息如下：

紧耦合对称(TCS)架构

构建TCS系统是为了解决单一文件性能所面临的挑战，这种挑战限制了传统NAS系统的发展。HPC系统所具有的优势迅速压倒了存储，因为它们需要的单一文件I/O操作要比单一设备的I/O操作多得多。业内对此的回应是创建利用TCS架构的产品，很多节点同时伴随着分布式锁管理(锁定文件不同部分的写操作)和缓存一致性功能。这种解决方案对于单文件吞吐量问题很有效，几个不同行业的很多HPC客户已经采用了这种解决方案。这种解决方案很先进，需要一定程度的技术经验才能安装和使用。

松弛耦合非对称(LCA)架构

LCA系统采用不同的方法来向外扩展。它不是通过执行某个策略来使每个节点知道每个行动所执行的操作，而是利用一个数据路径之外的中央元数据控制服务器。集中控制提供了很多好处，允许进行新层次的扩展：

● 存储节点可以将重点放在提供读写服务的要求上，而不需要来自网络节点的确认信息。

● 节点可以利用不同的商品硬件CPU和存储配置，而且仍然在云存储中发挥作用。

● 用户可以通过利用硬件性能或虚拟化实例来调整云存储。

● 消除节点之间共享的大量状态开销也可以消除用户计算机互联的需要，如光纤通道或infiniband，从而进一步降低成本。

● 异构硬件的混合和匹配使用户能够在需要的时候在当前经济规模的基础上扩大存储，同时还能提供永久的数据可用性。

● 拥有集中元数据意味着，存储节点可以旋转地进行深层次应用程序归档，而且在控制节点上，元数据经常都是可用的。

2. 云存储技术可以实现什么功能

对于初创型公司,这样的成本有点大。当云计算系统运算和处理的核心是大量数据的存储和管理时,云计算系统中就需要配置。云存储技术可以实现什么功能?

1、 云企网盘传输技术

加密传输

断点续传

秒传去重

压缩传输

2、 云企网盘存储技术

采用非结构化存储数据库

扁平化存储

自动平衡备份

对象存储，瞄准大数据

3、 云企网盘集成扩展

提供标准接口，通过对接系统服务端对接网盘服务端。

与已有的(LdAP等)认证系统进行对接。

单节点的计算能力扩展、存储能力扩展(集群技术)。

多数据中心分布式部署扩展。

3. 云存储技术的发展所面临的瓶颈

存储空间的安全性顾虑 目前，绝大部分企业或部门还不是很情愿地把单位的重要数据保存到“云”里去，究其原因还是对数据安全性的忧虑。而个人用户同样担心的是其隐私数据的泄露。 可以说，安全问题是对云存储服务的最大挑战。这一问题直接关系到云存储市场的生死存亡。从客户的角度分析，既然把重要数据交给第三方托管，自然希望SSP能够确保数据的不被篡改、不丢失、不被非法访问或任意窃取。而且上传和下载的速度不能太慢，最好能够提供实时高带宽的传输服务，这就给SSP们出了一道市场考题。 网络带宽的瓶颈 当我们保存备份重要数据的时候，当然都不希望太慢，也就是上传下载的速度要快，而且服务器要能及时接纳大量的数据流。这就对网速的分配、网络设备的性能和SSP的管理机制带来了极大挑战。毕竟作为云存储的客户，谁愿意为了备份一段录像而等待几十分钟的时间呢？ 国内网络带宽的现状极大限制了用户对云存储的热情，对于国内的网速和价格，大家更是感同身受。 创作平台的限制 各大SSP云存储服务供应商都试图打造自己的垂直整合技术，但我们也注意到：随之而来的内容存储也就很难、甚至无法突破创作平台的限制。因此，各自为战的科技公司必然会带来一种断裂和碎片化的生态系统。 盈利魔咒 导致云存储行业竞争混乱的最根本因素是盈利模式的迷茫。云存储是一个很大的市场，也是很有潜力的市场，可以说，谁赢得云存储，谁就赢得未来。为了吸引更多的用户，云存储服务商必须提供更多的免费存储空间。但随着存储空间的增大，付费升级的用户就会减少。一些无其他收入来源的小型服务商势必将无法承担如此大的投入，它们不得不寻找其他的营收来源。SSP作为企业，它的最终目标就是盈利赚钱，而客户则希望获得更多、更好、低廉、甚至免费的服务。目前，企业只有采用增加广告，降低用户负担的方式了，至于其他的增值服务，目前也是处于开拓阶段，暂时还找不出更好的出路。 云存储技术的不确定性对市场的影响 海啸、地震等自然灾害或战争等人为因素会给云存储的发展带来众多不确定的因素，而在国内虽然不必过多担心战争等人为因素，但各方面的审核和对一些敏感内容的屏蔽等因素，也增加了云存储的时间成本和不确定性。

4. 云存储的底层关键技术有哪些

云计算关键技术 云计算是分布式处理、并行计算和网格计算等概念的发展和商业实现，其技术实质是计算、存储、服务器、应用软件等IT软硬件资源的虚拟化，云计算在虚拟化、数据存储、数据管理、编程模式等方面具有自身独特的技术。云计算的关键技术包括以下几个方向： 虚拟机技术 虚拟机，即服务器虚拟化是云计算底层架构的重要基石。在服务器虚拟化中，虚拟化软件需要实现对硬件的抽象，资源的分配、调度和管理，虚拟机与宿主操作系统及多个虚拟机间的隔离等功能，目前典型的实现（基本成为事实标准）有Citrix Xen、VMware ESX Server 和Microsoft Hype-V等。 数据存储技术 云计算系统需要同时满足大量用户的需求，并行地为大量用户提供服务。
因此，云计算的数据存储技术必须具有分布式、高吞吐率和高传输率的特点。目前数据存储技术主要有Google的GFS（Google File System，非开源）以及HDFS（Hadoop Distributed File System，开源），目前这两种技术已经成为事实标准。 数据管理技术 云计算的特点是对海量的数据存储、读取后进行大量的分析，如何提高数据的更新速率以及进一步提高随机读速率是未来的数据管理技术必须解决的问题。云计算的数据管理技术最着名的是谷歌的BigTable数据管理技术，同时Hadoop开发团队正在开发类似BigTable的开源数据管理模块。
分布式编程与计算 为了使用户能更轻松的享受云计算带来的服务，让用户能利用该编程模型编写简单的程序来实现特定的目的，云计算上的编程模型必须十分简单。必须保证后台复杂的并行执行和任务调度向用户和编程人员透明。当前各IT厂商提出的云计划的编程工具均基于Map-Rece的编程模型。

5. 现在七牛云的云存储技术怎么样啊

七牛云成立10年，专注于云存储。区别于其他公司从云主机业务开始切入市场的方式，七牛云是一家典型的技术驱动型公司。成立初期，七牛云就定位于提供一站式的海量数据解决方案。据我了解在云存储这个领域，七牛云的实力不亚于国内任何一家同类型公司。以七牛云云存储一体机为例，预集成七牛自主研发的企业级存储服务和智能多媒体计算平台。操作简单，开箱即用，支持一键扩容。并能支持节点、机架、数据中心多等级可靠性保护；支持双活、多机房、跨区域数据保护。

6. 云存储技术的发展现状

市场发展迅猛 “云存储”作为一个备受热捧的新兴市场，在短短的几年时间里便在国内遍地开花。在我们身边能够看得到，用得着的“云”就有储115、金山网盘、腾讯中转、迅雷网盘，网络网盘，还有众多品牌的智能手机或网络电视机上的云存储。这是一块诱人的大蛋糕，而且前景广阔，众多商家都想从中分到一杯羹。 除了国内云存储业务迅猛发展的态势，更令人意想不到的是国内用户的热情。2012—2016年中国网络存储市场研究及未来发展趋势报告显示：到去年第一季度为止，国内某大型SSP的注册用户已突破三百万，其他几大SSP的注册用户数也不相上下。但是这些数字与现今近5亿的国内网民相比仍存在着巨大的发展空间。要知道，美国Dropbox头三年的客户数还不足百万，但现在已远超五百万了。 国内云存储产业面临的挑战 国内云产业尚处于起步阶段，市场的发展还不够成熟，面临的挑战还很多。国外影响力较大的SSP虽然只有少数几家，但客户和业务都比较稳定，商家可以定下心来稳定地开展各类长期业务。而国内的云存储市场刚刚起步，客户和SSP之间尚未进入稳定和互信的发展阶段，市场还不够成熟，客户和SSP的业务都还存在着诸多不稳定的状况。

7. 云存储的核心技术：虚拟化存储，究竟虚拟是怎样实现的

虚拟化改变了计算机使用存储的方式。就像物理机器抽象成虚拟机（VM：Virtual Machine）一样，物理存储设备也被抽象成虚拟磁盘（Virtual Disk）。今天我们就来聊聊虚拟化存储（Storage Virtualization）技术，究竟虚拟磁盘是怎样实现的？
虚拟磁盘的实现
我们知道，服务器扩展存储的手段主要有直连存储（DAS）、存储区域网络（SAN）和网络附加存储（NAS）这三种类型。那么哪种存储类型可以用来实现虚拟磁盘呢？
在虚拟化环境中，类似VMWare这样的虚拟机管理程序hypervisor，要同时给很多VM分配存储空间。这个过程中，我们需要先把物理存储资源重新划分成虚拟磁盘，然后再分配给VM。
显然我们不能用DAS方式把物理磁盘直连到VM上，如果这样，需要的物理磁盘就太多了。SAN是以逻辑单元（LUN：Logic Unit）的形式提供存储资源，但是虚拟环境中VM的数量是很大的，而且伦的数量不足以支持这么多虚拟磁盘。
更重要的是，虚拟磁盘是为大量VM共享的，由于VM需要随时创建、删除或迁移，所以需要在迁移VM时共享存储空间，只有原始数据不会丢失。DAS还是SAN，都不适合共享存储。

考虑到资源分配以及共享的问题，虚拟机管理程序以NAS的方式实现虚拟磁盘。VMware通常使用VMFS（虚拟机文件系统）或NFS协议实现虚拟磁盘，VMFS文件系统是专门针对虚拟机环境协议。

每一个虚拟机的数据实际上是一堆文件，及最重要的文件的虚拟磁盘文件（VMDK文件），也有交换分区文件（VSWP文件，等价交换），非易失性存储器（NVRAM的文件相当于BIOS），等等。每个VM对虚拟磁盘的IO操作实际上是对虚拟磁盘文件的读写操作。
设计、施工、和虚拟服务器环境和优化，允许多个虚拟机访问集成的集群存储池，从而大大提高了资源的利用率。使用和实现资源共享，管理员可以直接从更高的效率和存储利用率中获益。
那么我们如何在云计算中使用虚拟磁盘呢？
实例存储
最主要的一种使用虚拟磁盘的方式就是实例存储，每个VM都是虚拟机的一个实例，虚拟机管理程序在每个实例中提供一个仿真硬件环境，它包括CPU、内存和磁盘。这样，虚拟磁盘就是虚拟机实例的一部分，就像物质世界。删除VM后，虚拟磁盘也将被删除。
在这个实例存储模型中，虚拟磁盘与虚拟机之间的存储关系，事实上，它是DAS存储。但是虚拟磁盘的底层实现，我们说，它是以NAS的方式实现的。虚拟机管理程序的作用是存储VM层的存储模型，这是从实施协议分离（VMFS或NFS）的虚拟机的低层。

VMFS协议实现了存储资源的虚拟化，再分配各VMs
卷存储
实例存储有它的限制，开发人员通常希望分离实例数据，例如OS和安装的一些服务器应用程序和用户数据，这样重建VM的时候可以保留用户的数据。
这个需求衍生出另外一种存储模型：卷存储。卷是存储的主要单元，相当于虚拟磁盘分区。它不是虚拟机实例的一部分，它可以被认为是虚拟机的外部存储设备。
该卷可以从一个VM卸载，然后附加到另一个VM。通过这种方式，我们实现了实例数据与用户数据的分离。OpenStack的煤渣是一个体积存储的实现。
除了实例存储和卷存储之外，最后我们还提到另一种特殊的虚拟存储：对象存储。
对象存储
很多云应用需要在不同的VM之间共享数据，它常常需要跨越多个数据中心，而对象存储可以解决这个问题。在前一篇文章中的云计算IaaS管理平台的基本功能是什么？》中曾经提到过对象存储。
在对象存储模型中，数据存储在存储段（bucket）中，桶也可以被称为“水桶”，因为它字面意思。我们可以用硬盘来类推，对象像一个文件，而存储段就像一个文件夹（或目录）。可以通过统一资源标识符（URI：统一资源标识符）找到对象和存储段。
对象存储的核心设计思想实际上是虚拟化，它是文件的物理存储位置，如卷、目录、磁盘等，虚拟化是木桶，它将文件虚拟化为对象。对于应用层，简化了对数据访问的访问，屏蔽了底层存储技术的异构性和复杂性。

对象存储模型
NAS与对象存储各有所长
当然你也许会问，NAS存储技术也是一个可以解决数据共享的问题吗？由于对象存储的大小和成本优势，许多云环境使用对象存储而不是NAS。
因为对象存储将跨多个节点传播，最新数据并不总是可用的 因此，对象存储的数据一致性不强。如果有强一致性的要求，然后你可以使用NAS。目前，在云计算环境中，NAS和对象存储是共存的。
和NAS一样，对象存储也是软件体系结构，而不是硬件体系结构。应用程序通过REST API直接访问对象存储。公共对象存储包括：Amazon S3和OpenStack的Swift。
结语
在实际的云平台应用中，我们需要根据自己的实际情况来合理运用不同的虚拟化存储技术。
对于非结构化的静态数据文件，如音视频、图片等，我们一般使用对象存储。
对于系统镜像以及应用程序，我们需要使用云主机实例存储或者卷存储。
对于应用产生的动态数据，我们一般还需要利用云数据库来对数据进行管理。

8. 云存储技术的优势

云存储具备以下优势：
(1)存储管理可以实现自动化和智能化，所有的存储资源被整合到一起，客户看到的是单一存储空间；
(2)提高了存储效率，通过虚拟化技术解决了存储空间的浪费，可以自动重新分配数据，提高了存储空间的利用率，同时具备负载均衡、故障冗余功能；
(3)云存储能够实现规模效应和弹性扩展，降低运营成本，避免资源浪费。