集群nas存储
① 弱弱的问一下:NAS与云存储是一回事吗,云存储与普通的网盘或邮箱有什么区别和优势呢
其实云存储和普通的网盘或者邮箱是不同的概念
把网盘就说成云存储的,显得云存储的概念狭隘了
云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念,是指通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。 当云计算系统运算和处理的核心是大量数据的存储和管理时,云计算系统中就需要配置大量的存储设备,那么云计算系统就转变成为一个云存储系统,所以云存储是一个以数据存储和管理为核心的云计算系统。 (摘自网络)
网盘和邮箱也是有区别的
网盘可以分为企业网盘和个人网盘,
企业网盘适用于企业内部的员工,整合起来能够达到一个协同办公,统一管理的一个工作平台
个人网盘适用的就是个人了,像是一个移动的U盘,数据保存到“云端”,可以通过邮箱或者是外链分享文件,存储自己的文件
邮箱就是另一个概念了哈
还有就是你的第一个问题,
NAS 是一种采用直接与网络介质相连的特殊设备实现数据存储的机制。由于这些设备都分配有 IP 地址,所以客户机通过充当数据网关的服务器可以对其进行存取访问,甚至在某些情况下,不需要任何中间介质客户机也可以直接访问这些设备。
第一,NAS适用于那些需要通过网络将文件数据传送到多台客户机上的用户。NAS设备在数据必须长距离传送的环境中可以很好地发挥作用。
第二,NAS设备非常易于部署。可以使NAS主机、客户机和其他设备广泛分布在整个企业的网络环境中。NAS可以提供可靠的文件级数据整合,因为文件锁定是由设备自身来处理的。
第三,NAS应用于高效的文件共享任务中,例如UNIX中的NFS和Windows NT中的CIFS,其中基于网络的文件级锁定提供了高级并发访问保护的功能。 (摘自网络)
云存储的话,没有那么多限制,是一项新兴的技术,初期投入相比于传统的存储价格贵点,但是它的优势在于后期的扩容优势,能够利用软件进行统一的管理。
② 描述对象存储,与文件存储,块存储的区别
描述对象存储,与文件存储,块存储的区别, MaxLeap数据存储和文件存储的区别?
先说说块存储吧,典型代表--SAN。对于用户来说,SAN好比是一块大磁盘,用户可以根据需要随意将SAN格式化成想要的文件系统来使用。SAN在网络中通过iSCSI(IPSAN)协议连接,属block及存储,但可扩展性较差。
再说说文件集存储,典型代表--NAS。对于用户来说,NAS好比是一个共享文件夹,文件系统已经存在,用户可以直接将自己的数据存放在NAS上。NAS以文件为传输协议,开销很大,不利于在高性能集群中使用。
而所谓对象存储,就是每个数据对应着一个唯一的id,在面向对象存储中,不再有类似文件系统的目录层级结构,完全扁平化存储,即可以根据对象的id直接定位到数据的位置,这一点类似SAN,而每个数据对象即包含元数据又包括存储数据,含有文件的概念,这一点类似NAS。除此之外,用户不必关系数据对象的安全性,数据恢复,自动负载平衡等等问题,这些均由对象存储系统自身完成。而且,面向对象存储还解决了SAN面临的有限扩充和NAS传输性能开销大问题,能够实现海量数据存储。
块储存,对象存储,文件存储的区别和联系
通常来讲,磁盘阵列都是基于Block块的存储,而所有的NAS产品都是文件级存储。
1. 块存储:DAS SAN
a) DAS(Direct Attach Storage): 是直接连接于主机服务器的一种存储方式,每台服务器有独立的存储设备,每台主机服务器的存储设备无法互通,需要跨主机存取资料室,必须经过相对复杂的设定,若主机分属不同的操作系统,则更复杂。
应用:单一网络环境下且数据交换量不大,性能要求不高的环境,技术实现较早。
b) SAN(Storage Area Neork): 是一种高速(光纤)网络联接专业主机服务器的一种存储方式,此系统会位于主机群的后端,它使用高速I/O联接方式,如:SCSI,ESCON及Fibre-Channels.特点是,代价高、性能好。但是由于SAN系统的价格较高,且可扩展性较差,已不能满足成千上万个CPU规模的系统。
应用:对网速要求高、对数据可靠性和安全性要求高、对数据共享的性能要求高的应用环境中。
2. 文件存储
通常NAS产品都是文件级存储。
NAS(Neork Attached Storage):是一套网络存储设备,通常直接连在网络上并提供资料存取服务,一套NAS储存设备就如同一个提供数据文件服务的系统,特点是性价比高。
它采用NFS或CIFS命令集访问数据,以文件为传输协议,可扩展性好、价格便宜、用户易管理。目前在集群计算中应用较多的NFS文件系统,但由于NAS的协议开销高、带宽低、延迟大,不利于在高性能集群中应用。
3. 对象存储:
总体上讲,对象存储同时兼具SAN高级直接访问磁盘特点及NAS的分布式共享特点。
核心是将数据通路(数据读或写)和控制通路(元数据)分离,并且基于对象存储设备(OSD),构建存储系统,每个对象存储设备具备一定的职能,能够自动管理其上的数据分布。
对象储存结构组成部分(对象、对象存储设备、元数据服务器、对象存储系统的客户端)
3.1 对象
一个对象实际就是文件的数据和一组属性信息的组合。
3.2 对象存储设备(OSD)
OSD具有一定的智能,它有自己的CPU、内存、网络和磁盘系统。
OSD提供三个主要功能:包括数据存储和安全访问
(1)数据存储 (2)智能分布 (3)每个对象元数据的管理
3.3 元数据服务器(Metadata Server , MDS)
MDS控制Client与OSD对象的交互,主要提供以下几个功能:
(1) 对象存储访问
允许Client直接访问对象,OSD接收到请求时先验证该能力,再访问。
(2) 文件和目录访问管理
MDS在存储系统上构建一个文件结构,限额控制、包括目录、文件的创建、访问控制等
(3) Client Cache 一致性
为提高性能,在对象存储系统设计时通常支持Client的Cache。因此带来了Cache一致性的问题,当Cache文件发生改变时,将通知Client刷新Cache,以防Cache不一致引发的问题。
对象存储:
一个文件包含了属性(术语叫matadata元数据,例如该文件的大小、修改时间、存储路径等)以及内容(简称数据)。
以往的文件系统,存储过程将文件按文件系统的最小块来打散,再写进硬盘,过程中没有区分元数据(metadata)和数据。而在每个块最后才会告知下一个块的地址,因此只能一个一个读,速度慢。
而对象存储则将元数据独立出来,控制节点叫元数据服务器(服务器+对象存储管理软件),里面主要存储对象的属性(主要是对象的数据被打散存放到了那几台分布式服务器中的信息),而其他负责存储数据的分布式服务器叫做OSD,主要负责存储文件的数据部分。当用户访问对象时,会先访问元数据服务器,元数据服务器只负责反馈对象存储在那些OSD。假设反馈文件A存储在B,C,D三台OSD,那么用户就会再次访问三台OSD服务器去读取数据。
这时三台OSD同时对外传输数据,因此传输的速度就加快了。OSD服务器数量越多,这种读写速度的提升就越大。
另一方面,对象存储软件有专门的文件系统,所以OSD对外又相当于文件服务器,那么就不存在文件共享方面的困难了,也解决了文件共享方面的问题。
因此对象存储的出现,很好的结合了块存储与文件存储的优点。
为什么还要使用块存储和文件存储:
1.有一类应用是需要存储直接裸盘映射的,比如数据库。因为数据库需要存储裸盘映射给自己后,再根据自己的数据库文件系统来对了裸盘进行格式化,因此不能采用其他已经被格式化为某种文件系统的存储。此类更适合块存储。
2.对象存储的成本比普通的文件存储还是较高,需要购买专门的对象存储软件以及大容量硬盘。如果对数据量要求不是海量,只是为了作文件共享的时候,直接用文件存储的形式就好了,性价比高。
有对象存储了为什么还要有文件存储和块存储?
目前而言,三种存储方式不能说谁更好,针对场景不同,不同存储能发挥的功效也不同。对象存储主要运用在文件归档,云服务,备份,视频应用等;块存储主要应用在数据库、中间件、云桌面等;文件存储主要应用在文件共享,影视非编等。元核云三种存储方式都支持,可以进行自由选择。
有块 存储 文件存储 为什么 还要 对象存储
块存储是传统存储模式,对象存储是新提出的概念,比传统存储更具优势。
描述NFS存储与iSCSI存储的区别
先说说块存储吧,典型代表--SAN。对于用户来说,SAN好比是一块大磁盘,用户可以根据需要随意将SAN格式化成想要的文件系统来使用。SAN在网络中通过iSCSI(IPSAN)协议连接,属block及存储,但可扩展性较差。 再说说文件集存储,典型代表--NAS。
集群NAS和对象存储的区别
如果是集群NAS用的硬盘大都是Serial Attached SCSI 就是SAS,当然SATA也是可以的,SATA廉价!你的数据是如果非结构的可以用NAS,如果是结构化的数据那就是用对象存储吧!好好看一看块访问、对象访问和文件访问吧!
对象存储oss和redis的区别
为了支持云服务,MySQL的备份做了极大地改进,比如Global Transaction Identifiers (GTIDs). GTIDs可以轻松地跟踪和比较master和slave服务器之间的进度状态。
在2013年4月,Oracle发布了针对Hadoop的MySQL Applier。Nokia首先将MySQL应用于大数据环境中,包括集中的Hadoop集群等等。
ps中的文件存储和文件存储为?
如果你打开的JPG图片只是单纯的调色,没有添加图层的话 你点存储 是直接就存储了的,如果你添加图层或者文字层的话,就只能用存储为了。 存储只能存储为打开文件的格式,一旦你添加图层了,就必须变成PSD格式,或者存储为JPG了
a *** 裸设备和文件存储的区别
1. unix/linux ls -al|grep db2
2. 如果从 lv 的名字上看不出来…… 就连上数据库,然后看表空间容器
③ hadoop集群的存储架构一般适宜采用das,nas,san或其他什么架构
数据局部性(data locality):这是Hadoop的主要特性,指的是直接在存储数据的节点上做CPU密集型计算。显然,SAN/NAS不适用于任何形式的CPU密集型计算。
RAID:SAN/NAS采用RAID磁盘阵列进行存储,而Hadoop框架通过复本来确保数据的可靠性和容错性。
DAS采用JBOD磁盘数组进行存储,如果Hadoop节点的内置存储容量较小,可以采用DAS做扩展。如果只是想通过Hadoop做数据归档,没有计算,好吧,SAN/NAS是个选择。
④ 集群NAS和对象存储的区别
集群NAS性能和扩展性好,但价格较高,一般运行在一个数据中心内。所以适合客户自建数据中心内需要高带宽、大容量的业务。如高性能计算、流媒体等。
对象存储扩展性好,价格较低,但性能一般,可以跨中心运行,所以适合在公有云环境中作为一类存储服务来提供,或者适合大型客户在自建私有云环境中提供多租户的大容量存储服务,目前看到的对象存储的部署级别都是在PB级起步。此外由于对象存储对读访问的支持要好于写访问,因此对象存储更适合于“冷数据“的存放。
同时需要指出,两类技术会有重叠之处,例如有些分布式文件系统可以同时支持集群NAS和对象存储。而现在有些较为先进的对象存储产品也开始支持集群NAS功能,以实现和用户已有应用的集成。
从长远来看,两类技术都将会有用武之地。由于对象存储处于一个上升的生命周期,可以预见会有更多对性能不太敏感的业务迁移到对象存储。
⑤ 集群存储的集群存储相对传统NAS和SAN的优势
传统的SAN与NAS分别提供的是数据块与文件两个不同级别的存储服务,集群存储也分为提供数据块与文件两个不同级别存储服务的集群存储系统。
集群存储的优势主要体现在提高并行或分区I/O的整体性能,特别是工作流、读密集型以及大型文件的访问,通过采用更低成本的服务器来降低整体成本。
SAN系统具有很高的性能,但是构建和维护起来很复杂。由于数据块和网络需求的原因,SAN系统也很难扩容。NAS系统的构建和维护虽然比较简单,但是由于其聚合设备(又叫做NAS头)是其架构上的瓶颈,造成其性能很有限。集群存储提供了SAN和NAS结构的优点。在大多数使用集群存储的案例中,随着存储系统的扩容,性能也随之提升。一个大的集群存储的性能往往胜过一个SAN系统,但是价格也会更高。集群存储系统像NAS系统一样易于构建、操作和扩容。大多数集群存储系统没有传统NAS系统的固有瓶颈。
集群存储有两种实现方式:一种是硬件基础架构加上软件,典型代表是SAN架构+IBM GPFS;另一种是专用集群存储,典型代表是Isilon、NetApp GX以及Panasas,其中NetApp GX是构建在NAS基础架构之上的,但是通过操作系统实现集群存储。从这个角度讲,集群存储与SAN或NAS不存在竞争关系,是实现不同存储需求的解决方案。”
集群存储和NAS的概念是在文件系统层面上的,而SAN是在LUN层面上的,集群存储可以利用SAN环境实现。因此,集群存储与SAN解决的问题不同。如果一定要比较这两者的优缺点的话,可以说SAN做到的是多个服务器节点可以同时看到SAN环境中的同一个LUN,还不能做到多服务器节点间的文件级共享。
集群存储在性能、可靠性及扩展性等多个方面都远远优于 NAS。
⑥ 集群NAS与集群文件系统的区别
Veritas的CFS,IBM的GPFS,这些属于集群文件系统,就类似于windows下面常用的FAT或者NTFS一样,是一种文件系统格式,只不过,集群文件系统可以让多个计算节点同时读写同一个文件系统的分区
集群NAS,是采用了集群文件系统,多个NAS头可以做性能和端口横向扩展,共同对网络上的主机提供网络文件存储服务的设备
⑦ 如何使用NFS和NAS解决虚拟服务器存储问题
然而,这样的灵活性有一个条件:物理机能够看到所有虚拟磁盘镜像。这通常会导致存储网络成为一个使用网络文件系统(NFS)和虚拟网络附属存储(NAS)集群的开放网络。
在传统基于块的存储中,如iSCSI和光纤通道存储区域网络(FC SAN),这意味着我们必须能够分配和操作逻辑单元号(LUN),以便在迁移虚拟机时可以迅速重新分配LUN给其它物理机。这个操作不仅是在最初部署时很难执行,随着环境越来越大和复杂,它也会很难执行。要为每个虚拟机分配一个LUN,然后还要能够迅速地将它重新分配给其它物理主机,这对IT人士来说已然是一个越来越严重的问题。
在越来越多的环境里,IT管理员都开始使用更大的LUN来承载多个虚拟机。尽管这可以减轻分配多个LUN给多个虚拟机的重担,但无法解决分区和LUN增长的问题。
NFS解决方案
现在,VMware支持通过NFS启动部署虚拟机。通过可启动的NFS加载(mount)部署虚拟机是解决这个问题的一个理想方法,而且也被越来越广泛地接受。
NFS是一个客户端或服务器系统,允许用户跨网络访问文件,并能够像操作本地文件目录一样操作这些远程文件。它是通过输出(exporting)和载入(mounting)两个过程完成的。输出过程是指NFS服务器向远程客户端提供文件访问的过程;载入过程是指文件系统对操作系统和用户变为可用的过程。NFS主要用于Unix-to-Unix文件共享,即使你的所有虚拟机都是基于Windows的,你也可以选用NFS。尽管Windows无法引导NFS,但VMware将NFS建立在它的磁盘虚拟层,所以Windows无需引导NFS。
NFS工作站很容易创建和操作。每个物理服务器都能看到所有的虚拟磁盘镜像,而且VMotion等功能也更加容易操作。与iSCSI或FC SAN中的每个VMDK创建一个LUN不同,你可以在一个NFS卷中共置多个VMDK(VMware Virtual Disk)文件。因为VMDK只是文件,而不是真正的磁盘。为什么使用NFSNFS让存储和VMware管理员的工作变得容易得多,而且在很多VMware环境下都不会有任何性能损失。除了一些例外的存储厂商提供虚拟化解决方案以外,LUN管理对存储和VMware管理员来说都很具有挑战性。而有了NFS执行,与单个文件系统的交互让VMware镜像供应更加容易。
访问控制通过内置NFS安全性被启用后,可以向一组VMware管理员提供NFS文件系统。有了NFS,就不需要微操作每一个LUN了。例如,VMware镜像在文件夹中可以根据应用类型进行分组,而且可以同时提供给一系列应用使用。
此外,访问路径是基于传统的以太网,这不仅节省了成本,也更加易于进行故障检修。因为,大多数企业对于IP管理的了解要远远多于对FC管理的了解。
NFS有一个优点就是访问简易。所有ESX服务器都可以连接到载入点(mount point),这使得VMotion的使用更加容易。在FC部署中,每个ESX服务器都必须能够看到所有其它ESX服务器的LUN,这很不利于配置和管理。NFS是一项共享技术,所有共享访问都是内置的。
NFS的另一优势在于数据保护方面。尽管通过NFS提供的VMware镜像无法使用VMware VCB,但Unix或Linux主机可以载入这些镜像来进行备份。利用支持NDMP的备份软件可以备份这些镜像。通过Linux主机的方法可以访问VMware镜像,而且可以通过这种方法可以载入快照和备份卷。此外,你还可以综合利用NFS主机的复制工具保障业务持续性和灾难恢复,而不用购买VMware专门的复制工具。
说得直白一点,NFS不是唯一的协议,它也有不太适合的时候。例如,Microsoft Cluster Service必须有成组存取(block access),而且有些情况下就需要光纤通道。iSCSI有一些很独特的功能,其中一个是它能够直接分配一个LUN给一个子操作系统,而不用通过VMware磁盘虚拟层。这些独特的功能可以快速地将特定的LUN转移出VMware环境。
这个执行需要的不仅仅是一个标准的文件服务器或NAS,因为除了保存用户数据以外,它还是架构的一个关键部分。
利用虚拟NAS集群解决I/O问题
通过NAS集群虚拟化可以缓解某些物理存储相关问题,如I/O限制。
随着负荷的不断增加,传统的NAS无法有效地扩展升级。部署多个物理服务器会迅速加重I/O带宽的负担,这样的负荷比在多数文件服务器环境中的负荷要大得多。要减轻I/O带宽负担,就必须部署更多的NAS,而这又会导致NAS蔓延。
这使得我们必须在满足额外的NAS系统需求以解决文件服务需求的同时,还要让这些NAS系统必须能处理虚拟服务器环境不断变化的I/O需求。有了单独的NAS head,VMotion就很难适用了,唯一的其它选择是购买更大的单一的NAS head。在VMware环境下,这样的升级不是因为容量限制而进行的,而是为了提供更高的性能而升级。
下面,我们说说虚拟NAS集群。一个虚拟NAS集群代表着整个ESX环境的一个NAS对象,即使这个对象是多个NAS head。一个虚拟NAS集群是一系列NAS节点,这些节点是作为一个整体被管理的。性能或容量的升级就成为相互独立的事了,I/O性能升级只是连接更多的节点到集群,而容量升级则是连接更多的磁盘,互不影响。
此外,虚拟NAS集群还可以为环境提供冗余。如果集群的其中一个节点出错,该节点的文件系统会自动转向集群中的其它节点。这个功能可以保障数据访问不受中断,对于虚拟服务器环境非常重要。因为,虚拟服务器环境下的一个错误可能会导致几十个虚拟机受到严重影响,多层冗余对于这样的环境就显得尤为重要。
Global Files System
将虚拟服务器从一台物理机迁移到另一台物理机是一项势在必行的工作,它可以给数据中心带来很大的灵活性。而数据中心的灵活性也正是客户所寻求的。相关虚拟磁盘的迁移,尤其是从一个阵列到另一阵列或一个NAS head到另一NAS head的迁移,并不是不可能的任务,但是会非常耗费时间,并且会中断服务。
而在虚拟NAS集群环境下,这就是一件非常简单的工作,而且不会造成服务中断。这进一步提高了虚拟环境的灵活性。例如,如果某台物理机中的好几个虚拟机存在I/O带宽需求高峰期,那么你可以将其它虚拟机磁盘镜像移开它们所在的节点来应对I/O高峰期。这个功能还可以用于虚拟NAS集群中的标准文件系统,因为它们可以根据需求进行重新分配。
虚拟NAS和FC
在VMware近期的白皮书中,基于FC的块I/O仍是一个尚未成熟的I/O性能领导者。尽管有些NAS供应商会对这些结果存在争议,但这并不影响我们对这二者的利用。
首先,不到万不得已不要使用FC。现在市场上有两种不同的产品。第一种是NAS供应商(如Network Appliance)为他们的NAS head提供的FC和iSCSI服务。NAS head必须在NAS文件系统中创建一个封装的FC LUN。第二种是EMC和OnStor等公司提供的网关(Gateway)解决方案,这些解决方案允许本地FC访问存储系统。在EMC的解决方案中,这当然是一个通向Clarriion阵列的网关。OnStor允许你通过它们的NAS网关(NAS gateway)为你现有的存储添加一个有Global Files System的虚拟NAS集群。