对存储的需求
‘壹’ 大数据时代需要什么样的存储
众多专家认为,大数据时代的存储,应当是分布式的存储,并呈现出与计算融合的趋势。当然,不同专家对融合的理解也有所区别。 SNIA-China技术委员会主席雷涛表示,在当前的大数据时代,由于数据量TB、PB级的急剧膨胀,传统的数据搬移工作已经不现实,因而存储服务器出现新的融合趋势。在这样的架构中,数据不再移动,写入以后分散在STORAGE,它的计算节点融合在数据旁边的CPU,数据越来越贴近计算。 雷涛补充说,大数据只谈商业分析的数据支持,这是小数据思维,从金融、运营商、政府行业我们做的项目里面发现,大数据是嵌入到整个行业里面,替换以前的存储和计算的系统架构的过程。 华为存储产品线Marketing部长经宁认为,大数据带来的三大变化,包括从集中式走向分布式,从水平走向纵向,从计算为中心转向以数据为中心,总结一句话,即在大数据下架构方向走向分布式存储的架构。 2013年,华为存储产品线把理念进行升级,变成“存以致用,融以致远”。经宁表示,融合架构是我们面对大数据挑战一个很好的选择。华为更多的希望把数据智能用起来产生价值,通过融合架构实现计算存储融合,可以带来更高的管理效率更高效能,大大降低我们管理上的开销。 中桥国际调研咨询公司首席分析师王丛女士则从虚拟化、云计算数据保护和融合架构三个维度谈了中国数据中心的发展变化。她表示,具有高可移动性的虚拟机用于生产,掉了链子就很难判断是哪个物理环境,这就驱动了融合架构。融合架构避免了整合的时间和网络问题判断的时间,能够实现统一集中透明管理,可以根据工作负载去实时动态配置资源,也可以实时监控哪里出了问题,怎么解决问题。 王丛还指出,融合架构有不同的形态,其中一种是在原来硬件基础上用一个软件罩上,然后形成融合架构,实现目的是可以在线扩展,所有动态可以负载均衡,在最大限度提高部署效率前提下,又能够降低因为硬件问题而导致的应用性能降低和应用的不稳定。 老牌存储厂商NetApp同样对存储架构很有体会。NetApp公司北方区及电信事业部技术总监刘炜表示,在今天把数据存起来不是很难的问题,买一个移动硬盘就可以存储数据,但是在上面存储享受的服务级别不同的,不同于放在数据中心和网络云上面的服务级别的。 为了不让数据成为整个企业发展的负担,而是成为真正的价值点,从资料变成资产,基础架构需要快速、安全地支持一些新的技术手段。刘炜认为,应用级别和服务级别怎么定义需要有很好存储架构。NetApp集群存储系统,并不是简单地迎合新概念,而是面向实际的应用设计。NetApp做了很多IT架构的设计,满足应用分级、资源分层的需求,你可以用虚拟化,也可以不用。 Fusion-io大中国区技术总监Tonny Ai与英特尔公司通信和存储基础架构事业部存储部市场总监 Christine M Rice女士谈到了SSD在大数据时代数据中心的应用。Tonny Ai表示,让包括非结构化数据的大量数据快速变成信息,不仅仅是服务器要快,存储速度也要跟上CPU的速度,闪存正是针对当前网络存储速度落后的解决方案,能够有效提高存储的性能。 同时,Tonny Ai认为,在云计算、大数据时代,集中式存储需要的管理和维护非常困难,分布式存储模型是大势所趋。在这其中,Fusion-io提供了PCIe闪存卡、全闪存阵列以及SDK工具,支持提升各种应用的性能。 Christine M Rice女士指出,SSD不只是让数据变快。她认为,通过SSD在数据中心的使用,能够帮助节约成本,降低延迟,加快访问数据的速度,同时还能够提供非常高的可靠性和管理级别,结合了DRM的使用进行软件分层管理。 戴尔亚太存储技术总监许良谋则强调了SSD的利用要在成本和性能之间的平衡,如何更好地应对大数据——闪存的成本和寿命让很多企业对它爱恨交加。许良谋认为,大数据需要一个高容量高速度的共享存储,戴尔的流动数据架构就是一个让数据平滑迁移的平台。 戴尔实现了一个新的技术突破,即快速SLC和eMLC大容量盘可以用到流动架构里面,再加上普通的大容量盘,两级固态盘优化和流动数据架构的配合,这种方案可以比普通纯闪存的方式实现75%以上的成本节约。 许良谋介绍到,戴尔一直通过收购、合作等方式,在自身产品线中不断引入新的存储技术,力图把最好的存储产品以最经济的方式提供给用户。
‘贰’ 大数据时代,数据的存储与管理有哪些要求
数据时代的到来,数据的存储有以下主要要求:
首先,海量数据被及时有效地存储。根据现行技术和预防性法规和标准,系统采集的信息的保存时间不少于30天。数据量随时间的增加而线性增加。
其次,数据存储系统需要具有可扩展性,不仅要满足海量数据的不断增长,还要满足获取更高分辨率或更多采集点的数据需求。
第三,存储系统的性能要求很高。在多通道并发存储的情况下,它对带宽,数据容量,高速缓存等有很高的要求,并且需要针对视频性能进行优化。
第四,大数据应用需要对数据存储进行集中管理分析。
‘叁’ 大数据对存储平台有哪些特殊要求
伴随着安防大数据时代的来临,安防行业原有的存储技术已经无法满足行业发展新需求,尤其是公共安全视频监控建设联网应用工作对数据联网共享提出了更高的要求,同时以“实战”为根本的公安业务中,大数据深度挖掘极度依赖数据存储系统对非结构化数据分析再处理。云存储技术的出现,在安防行业大数据发展时代无异于革命性的应用,不断地解决了安防存储难题,同时也为视频监控的深度应用与发展提供强大的驱动力。
当今世界,每个人的一言一行都在产生着数据,并且被记录着。各行各业爆炸式增长的数据,正推动人类进入大数据时代。根据相关统计,2017年全球的数据总量为21.6ZB,目前全球数据的增长速度在每年40%左右,预计到2020年全球的数据总量将达到40ZB。数据增长在安防行业表现得尤为明显,在近两年“平安城市”、“ 智能交通”、“ 雪亮工程”等不断开展和深入的过程中,以视频监控为核心代表的行业发展正朝着超高清、智能化和融合应用的方向迈进,系统性工程中现有视频监控系统数据采集量正在呈线性增长。海量数据的出现对高效、及时的存储和处理的要求不断提升。
从目前行业来看,大数据时代的到来,系统性工程中视频监控系统对存储主要有以下几方面的需求:
一是海量数据及时高效存储,根据现行的技防法规及标准,一般应用领域视频监控系统数据采集是7x24小时不间断的,系统采集的音视频信息资料留存时限不得少于30日,针对案(事)件信息以及一些特殊应用领域视音频资料存放时间更长,甚至长期保留,数据量随时间增加呈线性增长。
二是监控数据存储系统需要具备可扩展性,不但满足海量数据持续增加,还需要满足采集更高分辨率或更多采集点的数据需要。
三是对存储系统的性能要求高。与其他领域不同,视频监控主要是视频码流的存储,在多路并发存储的情况下,对带宽、数据能力、缓存等都有很高的要求,需要有专门针对视频性能的优化处理。
四是大数据应用需要数据存储的集中管理分析。但现实情况却恰恰相反,一方面是系统性工程在分期建设的过程中,采购的设备并不能保证为同一品牌,实际项目中多种品牌、多种型号比比皆是,给视频监控的存储集中管理带来很大难度。同时,在一些大型的项目中,例如特大城市“天网工程”,高速公路中道路监控所跨区域较大,集中存储较为困难。另外,受网络带宽及老旧设备影响,系统难以形成统一存储、统一监控的中心体系架构,导致数据在应用中调取不及时。
总体来看,随着系统性安防项目的深入开展以及物联网建设初露峥嵘,大规模联网监控的建设和高清监控的逐步普及,海量视频数据已经呈现井喷式地增长,并冲击着传统的存储系统,遗憾的是原有的存储系统无法满足大数据时代提出的新要求,亟需新的存储技术支撑现有业务模式,同时为人工智能技术在安防领域施展拳脚拓展新的空间。
‘肆’ 视频监控业务对存储需求的特点
视频监控对存储需求有如下几个特点:1、对存储的容量需求弹性比较大,存储容量的多少随着画面质量的要求、画面尺寸的大小、画面的帧率、存储时间的长短等因素有关,这些因素的变化都会对存储容量产生较大变化。2、对存储的性能要求不高,但是需要能够满足长时间的连续数据读写,数据流量大、同时访问请求的数量少。3、数据保存周期长短不一,超过使用时间后可以重复使用。一般的监控场所数据保存一定时间(如10 天),以后便可以删除或覆盖。 谢谢您对电信产品的关注,祝您生活愉快。 如果以上信息没有解决您的问题,也可登录广东电信手机商城(http://m.gd.189.cn),向在线客服求助,7X24小时在线喔!
‘伍’ 大数据存储需要具备什么
大数据之大 大是相对而言的概念。例如,对于像SAPHANA那样的内存数据库来说,2TB可能就已经是大容量了;而对于像谷歌这样的搜索引擎,EB的数据量才能称得上是大数据。 大也是一个迅速变化的概念。HDS在2004年发布的USP存储虚拟化平台具备管理32PB内外部附加存储的能力。当时,大多数人认为,USP的存储容量大得有些离谱。但是现在,大多数企业都已经拥有PB级的数据量,一些搜索引擎公司的数据存储量甚至达到了EB级。由于许多家庭都保存了TB级的数据量,一些云计算公司正在推广其文件共享或家庭数据备份服务。有容乃大 由此看来,大数据存储的首要需求存储容量可扩展。大数据对存储容量的需求已经超出目前用户现有的存储能力。我们现在正处于PB级时代,而EB级时代即将到来。过去,许多企业通常以五年作为IT系统规划的一个周期。在这五年中,企业的存储容量可能会增加一倍。现在,企业则需要制定存储数据量级(比如从PB级到EB级)的增长计划,只有这样才能确保业务不受干扰地持续增长。这就要求实现存储虚拟化。存储虚拟化是目前为止提高存储效率最重要、最有效的技术手段。它为现有存储系统提供了自动分层和精简配置等提高存储效率的工具。拥有了虚拟化存储,用户可以将来自内部和外部存储系统中的结构化和非结构化数据全部整合到一个单一的存储平台上。当所有存储资产变成一个单一的存储资源池时,自动分层和精简配置功能就可以扩展到整个存储基础设施层面。在这种情况下,用户可以轻松实现容量回收和容量利用率的最大化,并延长现有存储系统的寿命,显着提高IT系统的灵活性和效率,以满足非结构化数据增长的需求。中型企业可以在不影响性能的情况下将HUS的容量扩展到近3PB,并可通过动态虚拟控制器实现系统的快速预配置。此外,通过HDSVSP的虚拟化功能,大型企业可以创建0.25EB容量的存储池。随着非结构化数据的快速增长,未来,文件与内容数据又该如何进行扩展呢?不断生长的大数据 与结构化数据不同,很多非结构化数据需要通过互联网协议来访问,并且存储在文件或内容平台之中。大多数文件与内容平台的存储容量过去只能达到TB级,现在则需要扩展到PB级,而未来将扩展到EB级。这些非结构化的数据必须以文件或对象的形式来访问。基于Unix和Linux的传统文件系统通常将文件、目录或与其他文件系统对象有关的信息存储在一个索引节点中。索引节点不是数据本身,而是描述数据所有权、访问模式、文件大小、时间戳、文件指针和文件类型等信息的元数据。传统文件系统中的索引节点数量有限,导致文件系统可以容纳的文件、目录或对象的数量受到限制。HNAS和HCP使用基于对象的文件系统,使得其容量能够扩展到PB级,可以容纳数十亿个文件或对象。位于VSP或HUS之上的HNAS和HCP网关不仅可以充分利用模块存储的可扩展性,而且可以享受到通用管理平台HitachiCommandSuite带来的好处。HNAS和HCP为大数据的存储提供了一个优良的架构。大数据存储平台必须能够不受干扰地持续扩展,并具有跨越不同时代技术的能力。数据迁移必须在最小范围内进行,而且要在后台完成。大数据只要复制一次,就能具有很好的可恢复性。大数据存储平台可以通过版本控制来跟踪数据的变更,而不会因为大数据发生一次变更,就重新备份一次所有的数据。HDS的所有产品均可以实现后台的数据移动和分层,并可以增加VSP、HUS数据池、HNAS文件系统、HCP的容量,还能自动调整数据的布局。传统文件系统与块数据存储设备不支持动态扩展。大数据存储平台还必须具有弹性,不允许出现任何可能需要重建大数据的单点故障。HDS可以实现VSP和HUS的冗余配置,并能为HNAS和HCP节点提供相同的弹性。
‘陆’ 非线性编辑对存储的主要需求是什么最好能帮我举些例子
1、首先是硬盘格式,应为NTFS格式,这才可以存4G以上文件。
2、如果是编辑SD(普清),阵不阵列的无所谓,够大就行。如果编辑HD(高清),那就需要阵列,要不会很卡!
3、要选择稳定性好的存储,存储要是不稳定丢了文件,麻烦大了。
‘柒’ 储存需求分析公式
需求分析,概述要领。
存储需求的主要来源,当我检查我的存储项目记录时,我意识到了问题所在。我的原始记录包含了大量关于存储系统使用的信息。通过这些信息,我们估算出了多年来的一个单一的增长率。
我的许多客户都碰到一个令人烦恼的问题,即他们必须不断地投资购买容量越来越大的存储系统,每次当他们根据原先的存储需求增长率来建立一个存储系统时,最终的结果都会使他们失望。存储需求的增长趋势是一种令人讨厌的间断平衡模式,即沿着一条正常的曲线增长,但是在某些时间点上会忽然产生爆炸性的增长率追踪那些忽然呈现爆炸性增长的存储需求的主要来源,将可以使我们更准确地估算存储需求,由此还可以节省日后重新规划存储容量的工作。
‘捌’ 企业的存储需求主要体现在哪几个方面emc怎样
现实是,在IT系统复杂度和风险逐渐增加、采购和管理成本不断上涨的情况下管理好数据,对所有企业来说都是一个严峻的挑战。
但概括说来,企业的存储需求大同小异,可以简要归纳为:
1、总体拥有成本(TCO)有效控制
2、数据的安全、可靠性、一致性
3、以低成本提供杰出的高端存储服务
4、实现不同存储级的整合
5、降低存储管理复杂性
6、存储可扩展性性能
7、数据存储生命周期管理
EMC的市场份额现在在不断的下降,有兴趣网络下就知道了。不再赘述
‘玖’ 浪潮存储对数据中心的冷存储需求有何应对之策
存储——第三个主角登场20年前,我们开始以计算为核心谈论pc浪潮。10年前,我们开始以网络为中心谈论网络浪潮。今天,我们开始谈论存储浪潮,并且已经过渡到以数据为中心了。存储是数据的“家”。处理、传输、存储是信息技术最基本的三个概念,任何信息基础设施、设备都是这三者的组合。历史学家发现:每当存储技术有一个划时代的发明,在这之后的300年内就会有一个大的社会进步和繁荣高峰。存储的昨天存储是信息跨越时间的传播。几千年前的岩画、古书,以及近代的照相技术、留声机技术、电影技术等的发明,极大丰富了我们的信息获取渠道。这些都是和存储技术的发明分不开的。从20世纪开始信息技术发生了历史性的转移,“万物皆可数”,这对人类历史将具有深刻的意义。存储的今天可以将当代信息技术的总轮廓归纳为以下三部曲。第一步:把现实各种各样信息形式的现实域转化为数字域;第二步:在数字域中进行三种简单的操作,即处理、传输、存储;第三步:再把数字域转化为现实域。存储技术特点对于半导体存储(ram、rom、flash)技术,其特点是存储速度快,但是容量小;而磁存储(硬盘、软盘、磁带)容量大,速度慢;光存储(cd、dvd、mo、pc、bd、全息)综合了两者的优点,容量大,速度快,但是还是达不到我们所希望的容量和速度。一种理想的存储技术正在探索之中,设计思想是由一种具有绝对优势的存储技术来统一现有技术,采用“固态ram”,容量将像硬盘那样大,速度像内存那样快,掉电后信息不丢失。各种存储系统组合任何单一的存储器件和设备都无法满足目前网络对存储的需求,存储资源单元一定要组合起来,以提供大容量、高性能、低价格、高可用、高安全的存储系统为目的的存储资源(注:存储资源不是数据资源)组合。最经典的组合是cache和虚拟存储器(vm)的组合。cache是指sram与dram的组合,vm是指dram与disk的组合,它们看起来是又大又快又便宜的存储器,这是教科书中常提到的。目前用得最多的是磁盘阵列,是多个硬盘的组合,特点是容量大、速度快,而且最好的特点是可用性增加,即使有硬盘坏了,信息仍可用。这里把通信中的纠错理论用到磁盘中来,利用奇偶校验技术恢复数据,保证了信息的安全。这一点很重要。若把多个磁盘阵列通过网络连接起来,用存储虚拟化软件把它们作为大的存储池,这样就有了更大规模的存储资源,存储成为中心,虚拟存储池好比是水库,服务器好比是抽水器,网络就成为水管,为我们提供信息。还有一种新的技术,就是大规模的集群存储,是大量机器内硬盘的组合,不同于前面所讲的存储系统。如google的存储信息系统0.5s就可以把信息提取出来。它的实现是通过多个pc内部硬盘空间的组合,拥有899个机架,每架80台pc的规模,共79112台pc机,每台2个硬盘,就有个硬盘,6180tb容量。对等存储(p2p)是把各用户的pc机当作存储系统,大量加盟的pc机和服务器中的存储器组合成的存储系统,提供高带宽的视频服务和其他共享服务。其他组合还包括虚拟磁带库等技术。各种组合的目的都是为了形成虚拟的大容量、高性能、低成本、高可靠、高安全的存储器。空间分布和性能相比,空间分布越小性能越高、越近性能越高;控制权与安全性相比,越集中控制安全性最高。不同的组合有不同的用途,如p2p存储很适合公共共享资源(电影、电视、音乐),对关键的、私有的、保密的信息不适用;反之,emc、ibm、hds、hp等的大型阵列可提供高可靠、高性能、集中控制,用来存储一般人接触不到的关键数据。存储技术的发展硬件发展存在6个规律,分别两、两关于处理、传输和存储。(1)moore定律:微处理器内晶体管数每18个月翻一翻。(2)bell定律:如果保持计算能力不变,微处理器的价格每18个月减少一半。(3)gilder定律:未来25年(1996年与预言)里,主干网的带宽将每6个月增加1倍。(4)metcalfe定律:网络价值同网络用户数的平方成正比。(5)半导体存储器发展规律:dram的密度每年增加60%,每3年翻4倍。(6)硬盘存储技术发展规律:硬盘的密度每年增加约1倍。 存储本身又有一个新摩尔定律(1998年由图灵奖获得者jim gray提出):从现在起,每18个月,新增的存储量等于有史以来存储量之和。数据量信息如此爆炸性增长,对存储就有了非常大的需求的刺
‘拾’ 视频监控行业对存储需求的特点
视频监控的存储:
1、一代基于录像机的存储设备就是早期的录像带。
2、二代基于PC的多媒体监控出现后一直保持PC硬盘进行存储。
3、三代基于网络远程WEB访问的视频监控出现后,需要存储的空间已经发展到利用存储服务器进行异地存储。
4、下一代高清摄像机的问世将又是对存储设备进行升级和方式转型的一个挑战!