虚拟云存储
1. 云存储的核心技术:虚拟化存储,究竟虚拟是怎样实现的
虚拟化改变了计算机使用存储的方式。就像物理机器抽象成虚拟机(VM:Virtual Machine)一样,物理存储设备也被抽象成虚拟磁盘(Virtual Disk)。今天我们就来聊聊虚拟化存储(Storage Virtualization)技术,究竟虚拟磁盘是怎样实现的?
虚拟磁盘的实现
我们知道,服务器扩展存储的手段主要有直连存储(DAS)、存储区域网络(SAN)和网络附加存储(NAS)这三种类型。那么哪种存储类型可以用来实现虚拟磁盘呢?
在虚拟化环境中,类似VMWare这样的虚拟机管理程序hypervisor,要同时给很多VM分配存储空间。这个过程中,我们需要先把物理存储资源重新划分成虚拟磁盘,然后再分配给VM。
显然我们不能用DAS方式把物理磁盘直连到VM上,如果这样,需要的物理磁盘就太多了。SAN是以逻辑单元(LUN:Logic Unit)的形式提供存储资源,但是虚拟环境中VM的数量是很大的,而且伦的数量不足以支持这么多虚拟磁盘。
更重要的是,虚拟磁盘是为大量VM共享的,由于VM需要随时创建、删除或迁移,所以需要在迁移VM时共享存储空间,只有原始数据不会丢失。DAS还是SAN,都不适合共享存储。
考虑到资源分配以及共享的问题,虚拟机管理程序以NAS的方式实现虚拟磁盘。VMware通常使用VMFS(虚拟机文件系统)或NFS协议实现虚拟磁盘,VMFS文件系统是专门针对虚拟机环境协议。
每一个虚拟机的数据实际上是一堆文件,及最重要的文件的虚拟磁盘文件(VMDK文件),也有交换分区文件(VSWP文件,等价交换),非易失性存储器(NVRAM的文件相当于BIOS),等等。每个VM对虚拟磁盘的IO操作实际上是对虚拟磁盘文件的读写操作。
设计、施工、和虚拟服务器环境和优化,允许多个虚拟机访问集成的集群存储池,从而大大提高了资源的利用率。使用和实现资源共享,管理员可以直接从更高的效率和存储利用率中获益。
那么我们如何在云计算中使用虚拟磁盘呢?
实例存储
最主要的一种使用虚拟磁盘的方式就是实例存储,每个VM都是虚拟机的一个实例,虚拟机管理程序在每个实例中提供一个仿真硬件环境,它包括CPU、内存和磁盘。这样,虚拟磁盘就是虚拟机实例的一部分,就像物质世界。删除VM后,虚拟磁盘也将被删除。
在这个实例存储模型中,虚拟磁盘与虚拟机之间的存储关系,事实上,它是DAS存储。但是虚拟磁盘的底层实现,我们说,它是以NAS的方式实现的。虚拟机管理程序的作用是存储VM层的存储模型,这是从实施协议分离(VMFS或NFS)的虚拟机的低层。
VMFS协议实现了存储资源的虚拟化,再分配各VMs
卷存储
实例存储有它的限制,开发人员通常希望分离实例数据,例如OS和安装的一些服务器应用程序和用户数据,这样重建VM的时候可以保留用户的数据。
这个需求衍生出另外一种存储模型:卷存储。卷是存储的主要单元,相当于虚拟磁盘分区。它不是虚拟机实例的一部分,它可以被认为是虚拟机的外部存储设备。
该卷可以从一个VM卸载,然后附加到另一个VM。通过这种方式,我们实现了实例数据与用户数据的分离。OpenStack的煤渣是一个体积存储的实现。
除了实例存储和卷存储之外,最后我们还提到另一种特殊的虚拟存储:对象存储。
对象存储
很多云应用需要在不同的VM之间共享数据,它常常需要跨越多个数据中心,而对象存储可以解决这个问题。在前一篇文章中的云计算IaaS管理平台的基本功能是什么?》中曾经提到过对象存储。
在对象存储模型中,数据存储在存储段(bucket)中,桶也可以被称为“水桶”,因为它字面意思。我们可以用硬盘来类推,对象像一个文件,而存储段就像一个文件夹(或目录)。可以通过统一资源标识符(URI:统一资源标识符)找到对象和存储段。
对象存储的核心设计思想实际上是虚拟化,它是文件的物理存储位置,如卷、目录、磁盘等,虚拟化是木桶,它将文件虚拟化为对象。对于应用层,简化了对数据访问的访问,屏蔽了底层存储技术的异构性和复杂性。
对象存储模型
NAS与对象存储各有所长
当然你也许会问,NAS存储技术也是一个可以解决数据共享的问题吗?由于对象存储的大小和成本优势,许多云环境使用对象存储而不是NAS。
因为对象存储将跨多个节点传播,最新数据并不总是可用的 因此,对象存储的数据一致性不强。如果有强一致性的要求,然后你可以使用NAS。目前,在云计算环境中,NAS和对象存储是共存的。
和NAS一样,对象存储也是软件体系结构,而不是硬件体系结构。应用程序通过REST API直接访问对象存储。公共对象存储包括:Amazon S3和OpenStack的Swift。
结语
在实际的云平台应用中,我们需要根据自己的实际情况来合理运用不同的虚拟化存储技术。
对于非结构化的静态数据文件,如音视频、图片等,我们一般使用对象存储。
对于系统镜像以及应用程序,我们需要使用云主机实例存储或者卷存储。
对于应用产生的动态数据,我们一般还需要利用云数据库来对数据进行管理。
2. 云存储是什么
云存储是什么:
云存储是一种网络在线存储(Onlinestorage)的模式,即把数据存放在通常由第三方托管的多台虚拟服务器,而非专属的服务器上。托管(hosting)公司营运大型的数据中心,需要数据存储托管的人,则通过向其购买或租赁存储空间的方式,来满足数据存储的需求。数据中心营运商根据客户的需求,在后端准备存储虚拟化的资源,并将其以存储资源池(storagepool)的方式提供,客户便可自行使用此存储资源池来存放文件或对象。
云存储的优势:
1、存储管理可以实现自动化和智能化,所有的存储资源被整合到一起,客户看到的是单一存储空间。
2、提高了存储效率,通过虚拟化技术解决了存储空间的浪费,可以自动重新分配数据,提高了存储空间的利用率,同时具备负载均衡、故障冗余功能。
3、云存储能够实现规模效应和弹性扩展,降低运营成本,避免资源浪费。隐患与缺点:1、对于较为机密的数据,云存储服务提供商如何保证用户数据的安全性。2、由于带宽和其他因素,云端访问性能可能比本地端储存设备的性能低。
3、当用户有特殊的数据使用记录追踪需求时(如公务部门依据规章和条例的要求,而需留存某些电磁记录时),使用云计算及云存储将使工作复杂度增加。
4、虽然可以一次提供给多人数据,或是传递数据给位于不同地方的人,但单人在转移数据的时候(例如文件由手机发送至电脑,或是由电脑发送至手机)因为需要重新“上传”与“下载”,会像是在绕远路一般,不如使用传输线的来的快。
3. 存储虚拟化如何打造高效可靠云存储平台
大幅度提高硬件资源的使用效率
存储虚拟化技术充分实现了存储资源的异构整合。每年设备淘汰更新换代都会造成大量硬件设备的浪费,而且高昂的新设备采购成本无疑也成为用户面临的难题。存储虚拟化整合异构平台,充分利用原有设备,解决了数据容量增长扩充、硬件升级时面临的成本限制问题,这一优势也越来越成为存储虚拟化技术被广泛青睐的核心因素之一。除此之外,存储虚拟化能实现将存储资源按需分配,合理利用数据存储空间,极大地提高了各种硬件系统资源的使用效率。同时,存储虚拟化可以提供数据分层存储,将不同读写速度的存储介质分为不同级别,比如,热点数据保存在存取速度快的物理设备中,这样就充分保障了硬件设备效率最大化。
大幅度简化系统管理的复杂度
不同厂商、不同架构的存储设备给设备管理人员带来很多不便,如今,云存储平台通过存储虚拟化技术,使整个系统平台管理变得更集中、更简单,减少管理人员的工作负担;同时,
服务器、存储和网络的自动化操作也减少了大量的潜在的人为错误,保障了系统的可靠性。设备集中化和标准化不仅为客户减少不必要的麻烦,还为客户实际运行环境带来更多的价值,各种设备的配置管理、数据安全管理、业务连续性管理、容量管理、运行管理、性能管理等等都可以集中化。
大幅度增强云存储平台的可靠性
存储虚拟化不仅仅提供硬件资源的集中管理,还提供各种数据保护功能,实现业务的不间断运行。在实际应用中,很多时候在更换存储基础设施时,存储设备必须离线,否则会导致业务间断。而存储虚拟化技术可以允许故障设备在线更换,保障数据不间断读取。另外,传统的数据集中管理易造成设备I/O负载过重,并存在单点故障的危险,而在云存储平台下,可通过存储虚拟化实现I/O负载均衡
,提高存储效率,降低设备性能的局限性。
4. 虚拟化与云存储的不同都有哪些
虚拟化和云是两个概念啊。虚拟化就是将你的各种现有的服务(操作系统,大型软件等)通过虚拟化软件在指定的环境下运行(例如服务器虚拟化的虚拟机,例如应用程序虚拟化的citrix)。而云,现在说实话很多还停留在概念上。其实云的概念就是无时无刻,随时随地获取到自己想要获取的服务,可以是个人的,例如苹果的icloud,也可以是公司的,例如SAP针对小型企业的BS的一种租赁业务,其实云,你可以理解为针对全世界(或全国)的一种特殊应用(个人软件,企业软件)的一个庞大的负载均衡。
5. 什么是云存储,与存储虚拟化的差别在哪
云存储顾名思义,是用云计算技术和架构提供的存储服务;云计算虚拟化存储是把现在比较热的云计算和虚拟化两个词放到存储上,非常业余的说法,如果是卖产品的,基本上可以当成忽悠。
6. 云存储是什么,云存储的意义
云存储是一种网上在线存储(英语:Cloud storage)的模式,即把数据存放在通常由第三方托管的多台虚拟服务器,而非专属的服务器上。托管(hosting)公司运营大型的数据中心,需要数据存储托管的人,则透过向其购买或租赁存储空间的方式,来满足数据存储的需求。
数据中心营运商根据客户的需求,在后端准备存储虚拟化的资源,并将其以存储资源池(storage pool)的方式提供,客户便可自行使用此存储资源池来存放文件或对象。实际上,这些资源可能被分布在众多的服务器主机上。
云存储这项服务乃透过Web服务应用程序接口(API), 或是透过Web化的用户界面来访问。
(6)虚拟云存储扩展阅读:
分类
并不是所有的应用程序数据需要SSD性能。经常访问的数据可以迁移到基于磁盘的存储。ssd和基于磁盘的存储都支持标准I / O协议,因此,当把应用程序从本地硬件移动到云时,不需要更改应用程序。
有了附带直接固态硬盘或磁盘驱动器,你就可以使用任何你的操作系统所支持的文件系统。这种模式的一个缺点是,当机器实例关闭时,硬盘驱动器上的数据就会被删除。为了保存数据,必须将数据复制到另一个存储系统中,例如云中的对象存储。
附加存储系统的另一个缺点是:附加存储系统只能连接到一个实例。然而,微软Azure具备文件存储系统,可以实现SMB-compliant文件共享,可以跨多个实例共享。当将应用程序迁移到需要常规文件系统服务的云时,或者当多个实例需要访问相同的数据时,这一点是非常有用的。
7. 云存储和虚拟化存储有什么不同,有什么优缺点吗哪一种适合中小企业呢
首先,云存储是一种理念,或者叫做一个产品的统称,而存储虚拟化是一种技术,二者根本就不搭界。云存储,站在技术的角度来讲,它是通过分布式存储的方式,实现海量数据的快速、安全存储和高效查询,目前国内和世界上有很多云存储的产品,例如亚马逊云存储、阿里云存储等等,它们分为付费和免费的两种,国外的基本上都是付费的,国内的基本上都是免费的。站在个人的角度来看,我认为付费的要比免费的安全,原因是:付费的会为存储的信息负责,而免费的仅仅为存储的空间负责。简单来说,付费的,数据丢失了,云存储提供商就有义务和责任将丢失的数据恢复,而付费的,感觉上它只要将原来你存储的空间恢复就可以了,至于数据信息,它们从法律角度来讲,是没有义务和责任帮您找回的。从这个角度来看,如果是企业用的云存储产品,建议选择付费产品。
存储虚拟化仅仅是一种技术,例如HP EVA系列的存储产品就支持存储虚拟化,但是它仅仅是存储技术中的一个组成部分,对于一个中小企业而言,单买存储虚拟化,是没有用的!
对于中小企业而言,如果资金预算充裕的情况下,可以考虑购置具有存储虚拟化技术的磁盘阵列作为单位的存储设备,前提是企业已经拥有自己的数据中心和服务器,并且存储数据至少为10GB以上,并且数据结构以非结构化数据为主,这种情况下可以考虑独立购置磁盘阵列,否则的话,站在投资管理的角度,建议租用云存储产品。
8. 云存储的底层关键技术有哪些
一切以客户的需求为出发点。传统存储以文件系统为典型代表,但是随着数据爆炸性增长,传统文件系统已经无法满足对存储系统的容量、性能等需求,因此,云存储应运而生。云存储最大的特点是数据被集中存储在数据中心,公有云存储将客户数据存放在公有云服务商数据中心,而私有云存储则是将公有云存储能力私有化部署在客户自身的数据中心。既然提到了数据中心,可想而知云存储最大的特点应该是海量:解决数以PB至EB的数据存储需求。所有云存储技术面对的通用问题有如下几个:
扩展性:即容量可以通过横向增加服务器、磁盘等线性扩展,软件不应该成为限制扩展性的瓶颈;
可靠性:如何保证数据不丢失,或者丢失概率极低;
可用性:如何保证数据always online;
性能:不同的客户的不同使用场景对云存储性能提出不同需求。
9. 什么是云虚拟主机以及和云服务器之间的区别
云虚拟主机是一款虚拟主机产品,要求比传统的虚拟主机更高,不管是在性能还是稳定和价格方面都比较好,其具备高在线率、智能容错、正版系统、免备份、等多项优势,特别适用于对网站运行质量有较高要求的企业。具有高度可用的云架构,将站点数据存放于云存储当中。使得统一服务平台聚合诸多资源,给予企业更多自主选择,以及随时增加需求的便利,使得能耗效率得以提高,运营成本得以下降。基于云计算架构的虚拟主机能够以较低的管理边际成本开发新产品、推出新产品,资源不会受限于单一的产品和服务,满足各种服务和需求。其次,基于云计算动态基础架构的虚拟主机能灵活地调配资源,提高闲散资源的利用率。
云虚拟主机使得统一服务平台聚合诸多资源,给予企业更多自主选择,以及随时增加需求的便利,使得能耗效率得以提高,运营成本得以下降。基于云计算架构的虚拟主机能够以较低的管理边际成本开发新产品、推出新产品,资源不会受限于单一的产品和服务,满足各种服务和需求。其次,基于云计算动态基础架构的虚拟主机能灵活地调配资源,提高闲散资源的利用率。
接下来是云虚拟主机和云服务器的区别
云服务器,又叫为云计算服务器或云主机,是云计算服务体系中的一项主机产品。云服务器是一种类似VPS服务器的虚拟化技术。也可以理解是VPS的升级版,与VPS还有所不同是,它是在一组集群服务器上划分出来的多个类似独立主机的部分。
云虚拟主机,就是从云服务器又近一步划分,通过虚拟主机管理软件,把云服务器分割成100M 200M等等型号的小型空间,是中小型企业建站的最佳选择!
云服务器和虚拟主机都是通过云计算整合了高性能服务器与优质网络带宽,有效解决了传统主机租用价格偏高、服务品质参差不齐等缺点。同云主机不一样的是,云虚拟主机同时运行在服务器集群的每一个成员节点服务器上,也就是说在每一个节点服务器上都可以找到一个一模一样的站点,并且不同节点服务器上的同一个站点的配置以及数据都是一致的
10. 云存储 等于 云计算虚拟化存储吗
云存储顾名思义,是用云计算技术和架构提供的存储服务;云计算虚拟化存储是把现在比较热的云计算和虚拟化两个词放到存储上,非常业余的说法,如果是卖产品的,基本上可以当成忽悠。