存储架构das
A. NAS,DAS和SAN三种存储架构的区别
NAS存储特点(网络直连存储) DAS存储特点(直连存储)SAN存储(光纤存储)
B. hadoop集群的存储架构一般适宜采用das,nas,san或其他什么架构,适宜采用哪些raid
配置信息在gridmix_config.xml文件中。gridmix中,每种作业有大中小三种类型:小作业只有3个输入文件(即3个map);
中作业的输入文件是与正则表达式{part-0000,part-0001,part-000*2}匹配的文件;
大作业会处理处有数据。
C. DAS、NAS、FC-SAN、IP-SAN到底是企业存储搭建的方式还是具体的单个设备呢
DAS开放系统的直连式存储,是一种直接与主机系统相连接的存储设备,如作为服务器的计算机内部硬件驱动
NAS是一种采用直接与网络介质相连的特殊设备实现数据存储的机制,简单说就是网络共享服务器
DAS跟NAS是两种硬件设备
SAN 是指存储设备相互连接且与一台服务器或一个服务器群相连的网络
FC-SAN是采用光纤通道标准协定所架构而成的储域网络,亦是用以储存资料所流通的网域
IP-SAN借助IP SAN存储区域网,基于iSCSI流高速交换平台,运行带内(in-band)虚拟化存储管理软件,将各种存储设备(包括磁盘、磁带及其他存储设施)联接起来
在iSCSI出现以后,用IP技术搭建存储区域网络不再是不可能的事情,越来越多的SAN使用iSCSI技术来搭建。仅仅几年,多数用户已经考虑使用IP SAN的技术来替代原本需要使用FC SAN的物理架构
相对于IP SAN,FC SAN的弱点是明显的。它无法使存储设备随它在Internet上运行,从而无法满足应用前端对存储数据“随时随地”的要求。FC SAN的物理覆盖也有限。
IP SAN首先做FC SAN应用的补充,然后发挥自已远程存储的特长,占领FC SAN无法涉足的领域,如数据灾难备份应用、远程数据复制整合服务及新创建的基于“存储设备可沿因特网自由移动”的新应用模式,最后在万兆以太网普及后的环境中,与FC SAN再争高下。在不同的发展时期,采用不同的发展策略,是IP SAN真正立于不败之地的应用策略。
D. 分析hadoop集群的存储架构一般适宜采用das,nas,san或其他什么架构,适宜采用哪些ra
Hadoop提供非常方便的方式来获取一个任务的统计信息,使用以下命令即可作到:
$ hadoop job -history all <job output directory>
这个命令会分析任务的两个历史文件(这两个文件存储在<job output directory>/_logs/history目录中)并计算任务的统计信息。
E. 1、DAS、NAS和SAN的架构分别是什么它们三者有什么区别。
摘要 FC占据高端,iSCSI处于中高端,NAS和DAS处于低端
F. DAS是什么意思
DAS意思是开放系统的直连式存储。
开放系统的直连式存储(Direct-Attached Storage,简称DAS)已经有近四十年的使用历史,随着用户数据的不断增长,尤其是数百GB以上时,其在备份、恢复、扩展、灾备等方面的问题变得日益困扰系统管理员。
直连式存储与服务器主机之间的连接通道通常采用SCSI连接,随着服务器CPU的处理能力越来越强,存储硬盘空间越来越大,阵列的硬盘数量越来越多,SCSI通道将会成为IO瓶颈;服务器主机SCSI ID资源有限,能够建立的SCSI通道连接有限。
使用:
直连式存储依赖服务器主机操作系统进行数据的IO读写和存储维护管理,数据备份和恢复要求占用服务器主机资源(包括CPU、系统IO等),数据流需要回流主机再到服务器连接着的磁带机(库),数据备份通常占用服务器主机资源20-30%。
因此许多企业用户的日常数据备份常常在深夜或业务系统不繁忙时进行,以免影响正常业务系统的运行。直连式存储的数据量越大,备份和恢复的时间就越长,对服务器硬件的依赖性和影响就越大。
G. 比较das和nas两种数据存储技术,两者分别具有哪些优缺点适合哪种场合
来连接所存储设备,自形成一个网络。这样数据存储就不再是服务器的附属,而是作为独立网络节点而存在于网络之中,可由所有的网络用户共享。
同时NAS存储真正做到了即插即用,并且部署起来也相对灵活,再加上管理成本低,是目前企业选择较多的,但它同时也有存储性能低和可靠度不高等缺点。
二、DAS存储特点(直连存储)
DAS这种存储方式与我们普通的PC存储架构一样,外部存储设备都是直接挂接在服务器内部总线上,数据存储设备是整个服务器结构的一部份,DAS存储方式主要适用于小型网络、地理位置分散的网络和特殊服务器上。
DAS已经存在了很长时间,并且在很多情况下仍然是一种不错的存储选择。由于这种存储方式在磁盘系统和服务器之间具有很快的传输速率,因此,虽然在一些部门中一些新的SAN设备已经开始取代DAS,但是在要求快速磁盘访问的情况下,DAS仍然是一种理想的选择。更进一步地,在DAS环境中,运转大多数的应用程序都不会存在问题,所以你没有必要担心应用程序问题,从而可以将注意力集中于其他可能会导致问题的领域。
H. hadoop集群的存储架构一般适宜采用das,nas,san或其他什么架构
数据局部性(data locality):这是Hadoop的主要特性,指的是直接在存储数据的节点上做CPU密集型计算。显然,SAN/NAS不适用于任何形式的CPU密集型计算。
RAID:SAN/NAS采用RAID磁盘阵列进行存储,而Hadoop框架通过复本来确保数据的可靠性和容错性。
DAS采用JBOD磁盘数组进行存储,如果Hadoop节点的内置存储容量较小,可以采用DAS做扩展。如果只是想通过Hadoop做数据归档,没有计算,好吧,SAN/NAS是个选择。
I. 常用的存储架构有
顺序存储方法它是把逻辑上相邻的结点存储在物理位置相邻的存储单元里,结点间的逻辑关系由存储单元的邻接关系来体现,由此得到的存储表示称为顺序存储结构。顺序存储结构是一种最基本的存储表示方法,通常借助于程序设计语言中的数组来实现。
链接存储方法它不要求逻辑上相邻的结点在物理位置上亦相邻,结点间的逻辑关系是由附加的指针字段表示的。由此得到的存储表示称为链式存储结构,链式存储结构通常借助于程序设计语言中的指针类型来实现。
顺序存储和链接存储的基本原理
顺序存储和链接存储是数据的两种最基本的存储结构。
在顺序存储中,每个存储空间含有所存元素本身的信息,元素之间的逻辑关系是通过数组下标位置简单计算出来的线性表的顺序存储,若一个元素存储在对应数组中的下标位置为i,则它的前驱元素在对应数组中的下标位置为i-1,它的后继元素在对应数组中的下标位置为i+1。在链式存储结构中,存储结点不仅含有所存元素本身的信息,而且含有元素之间逻辑关系的信息。
数据的链式存储结构可用链接表来表示。
其中data表示值域,用来存储节点的数值部分。Pl,p2,…,Pill(1n≥1)均为指针域,每个指针域为其对应的后继元素或前驱元素所在结点(以后简称为后继结点或前驱结点)的存储位置。通过结点的指针域(又称为链域)可以访问到对应的后继结点或前驱结点,若一个结点中的某个指针域不需要指向其他结点,则令它的值为空(NULL)。
在数据的顺序存储中,由于每个元素的存储位置都可以通过简单计算得到,所以访问元素的时间都相同;而在数据的链接存储中,由于每个元素的存储位置保存在它的前驱或后继结点中,所以只有当访问到其前驱结点或后继结点后才能够按指针访问到,访问任一元素的时间与该元素结点在链式存储结构中的位置有关。
储存器方面的储存结构
储存系统的层次结构为了解决存储器速度与价格之间的矛盾,出现了存储器的层次结构。
程序的局部性原理
在某一段时间内,CPU频繁访问某一局部的存储器区域,而对此范围外的地址则较少访问的现象就是
程序的局部性原理。层次结构是基于程序的局部性原理的。对大量典型程序运行情况的统计分析得出的结论是:CPU对某些地址的访问在短时间间隔内出现集中分布的倾向。这有利于对存储器实现层次结构。
多级存储体系的组成
目前,大多采用三级存储结构。
即:Cache-主存-辅存,如下图:
3、多级存储系统的性能
考虑由Cache和主存构成的两级存储系统,其性能主要取决于Cache和贮存的存取周期以及访问它们的
次数。(存取周期为: Tc,Tm ;访问次数为: Nc,Nm)
(1)Cache的命中率 H= Nc / (Nc+Nm)
(2)CPU访存的平均时间 Ta= H * Tc+ (1-H) Tm
Cache-主存系统的效率
e= Tc / Ta
=1/H+(1-H)Tm/Tc
根据统计分析:Cache的命中率可以达到90%~98%
当Cache的容量为:32KB时,命中率为86%
64KB时,命中率为92%
128KB时,命中率为95%
256KB时,命中率为98%
J. 25、 常见三种存储方式DAS、NAS、SAN的架构说明,描述正确的是: A. NAS存储可
咨询记录 · 回答于2021-11-25