海量数据存储问题

① 　海量数据存储与管理

正如上述，在国土资源遥感综合调查信息中，既包含有多源、多时相、多尺度、多分辨率、多类型的遥感图像数据和基础地理数据，也包括在项目开展过程中衍生的许多观测和分析资料，数据量十分庞大。因此，根据数据共享的要求，在数据生产、管理、应用服务以及更新和维护过程中，如何组织和管理好这些海量数据，如何快速、全面有效地访问和获得所需数据，成为面临的突出问题。在这里，采用何种方式利用现有的大型商业化关系数据库系统高效地存储与管理这些数据，成为能否发挥系统最大性能的关键所在。

传统的GIS系统对空间数据（与空间位置、空间关系有关的数据）的存储与管理大多采用这些商业软件特定的文件方式，如：ArcInfo的Coverage、MapInfo的Tab、MAPGIS的WL等。如果数据量越多，这些文件就会越大，数据的处理就会越复杂，其存储、检索、管理也就越困难，而且其最大的缺点还在于不能进行多用户并发操作。由此可见，用以往传统的存储机制去管理像遥感综合调查这样的海量数据，显然难以满足要求。而近年来发展起来的空间数据库引擎技术则是解决海量数据存储管理的途径之一。

本系统建设过程中，采用了空间数据库引擎ArcSDE＋大型关系数据库Oracle组合技术，较理想地实现了遥感综合调查海量数据的存储、检索、查询、处理。众所周知，Oracle提供了大型数据库环境，能够很好地处理海量数据，而ArcSDE可将具有地理特征的空间数据和非空间数据统一加载到Oracle中去，因此，通过ArcSDE空间数据库引擎，可将Oracle海量数据管理功能加载到GIS系统中，并可利用Oracle的强大管理机制进行高效率的事务处理、记录锁定、并发控制等服务操作。

② 海量空间数据存储

(一)空间数据存储技术

随着地理信息系统的发展，空间数据库技术也得到了很大的发展，并出现了很多新的空间数据库技术(黄钊等，2003)，其中应用最广的就是用关系数据库管理系统(RDBMS)来管理空间数据。

用关系数据库管理系统来管理空间数据，主要解决存储在关系数据库中的空间数据与应用程序之间的数据接口问题，即空间数据库引擎(SpatialDatabase Engine)(熊丽华等，2004)。更确切地说，空间数据库技术是解决空间数据对象中几何属性在关系数据库中的存取问题，其主要任务是:

(1)用关系数据库存储管理空间数据;

(2)从数据库中读取空间数据，并转换为GIS应用程序能够接收和使用的格式;

(3)将GIS应用程序中的空间数据导入数据库，交给关系数据库管理。

空间数据库中数据存储主要有三种模式:拓扑关系数据存储模式、Oracle Spatial模式和ArcSDE模式。拓扑关系数据存储模式将空间数据存在文件中，而将属性数据存在数据库系统中，二者以一个关键字相连。这样分离存储的方式由于存在数据的管理和维护困难、数据访问速度慢、多用户数据并发共享冲突等问题而不适用于大型空间数据库的建设。而OracleSpatial实际上只是在原来的数据库模型上进行了空间数据模型的扩展，实现的是“点、线、面”等简单要素的存储和检索，所以它并不能存储数据之间复杂的拓扑关系，也不能建立一个空间几何网络。ArcSDE解决了这些问题，并利用空间索引机制来提高查询速度，利用长事务和版本机制来实现多用户同时操纵同一类型数据，利用特殊的表结构来实现空间数据和属性数据的无缝集成等(熊丽华等，2004)。

ArcSDE是ESRI公司开发的一个中间件产品，所谓中间件是一个软件，它允许应用元素通过网络连接进行互操作，屏蔽其下的通讯协议、系统结构、操作系统、数据库和其他应用服务。中间件位于客户机/服务器的操作系统之上，管理计算资源和网络通讯，并营造出一个相对稳定的高层应用环境，使开发人员可以集中精力于系统的上层开发，而不用过多考虑系统分布式环境下的移植性和通讯能力。因此，中间件能无缝地连入应用开发环境中，应用程序可以很容易地定位和共享中间件提供的应用逻辑和数据，易于系统集成。在分布式的网络环境下，客户端的应用程序如果要访问网络上某个服务器的信息，而服务器可能运行在不同于客户端的操作系统和数据库系统中。此时，客户机的应用程序中负责寻找数据的部分只需要访问一个数据访问中间件，由该中间件完成网络中数据或服务的查找，然后将查找的信息返回给客户端(万定生等，2003)。因此，本系统实现空间数据库存储的基本思想就是利用ArcSDE实现各类空间数据的存储。

目前，空间数据存储技术已比较成熟，出现了许多类似ArcSDE功能的中间件产品，这些软件基本上都能实现空间数据的数据库存储与管理，但对于海量空间数据的存储，各种软件性能差别较大。随着数据量的增长，计算机在分析处理上会产生很多问题，比如数据不可能一次完全被读入计算机的内存中进行处理。单纯依赖于硬件技术，并不能满足持续增长的数据的处理要求。因此需要在软件上找到处理海量数据的策略，并最终通过软硬件的结合完成对海量数据的处理。在海量数据存储问题上，许多专家从不同侧面进行过研究，Lindstrom在地形简化中使用了外存模型(Out-of-core)技术;钟正采用了基于数据分块、动态调用的策略;汪国平等人在研究使用高速网络进行三维海量地形数据的实时交互浏览中，采用了分块、多分辨率模板建立模型等方法。这些技术、方法已经在各自系统上进行了研究和实现。本系统采用的ArcSDE软件基本上也是采用分块模型的方法，具体存储和操作不需要用户过多了解，已经由ArcSDE软件实现。因此，对海量数据的存储管理，更需要从数据的组织方式等方面进行设计。塔里木河流域生态环境动态监测系统采集了大量的遥感影像、正射影像等栅格结构的数据，这些数据具有很大的数据量，为适应流域空间基础设施的管理需要，采取一种新的方式来管理、分发这些海量数据以适应各部门的快速浏览和管理需要。

(二)影像金字塔结构

影像数据库的组织是影像数据库效率的关键，为了获得高效率的存取速度，在数据的组织上使用了金字塔数据结构和网格分块数据结构。该技术主导思想如下:

(1)将数据库中使用到的纹理处理成为大小一致的纹理块;

(2)为每块纹理生成5个细节等级的纹理，分别为0、1、2、3、4，其中1级纹理通过0级纹理1/4压缩得到，2级纹理通过1级纹理1/4压缩得到，…，以此类推;

(3)在显示每个块数据之前，根据显示比例的大小，并以此决定该使用那一级的纹理;

(4)在内存中建立纹理缓冲池，使用LRU算法进行纹理块的调度，确保使用频率高的纹理调度次数尽可能少。

(三)影像数据压缩

影像数据压缩有无损压缩和有损压缩两个方法，具体采取哪种压缩方法需根据具体情况确定。对于像元值很重要的数据，如分类数据、分析数据等采用无损压缩(即LZ77算法)，否则采用有损压缩(即JPEG算法)。通过对影像数据的压缩，一方面可以节约存储空间，另一方面可以加快影像的读取和显示速度。影像数据的压缩一般与构建金字塔同时进行，在构建影像金字塔过程中自动完成数据的压缩。

③ 开展微型数据存储技术创新研发抢占未来大数据存储技术高地的建议

我国数据存储核心技术长期落后，大数据中心按照传统的 科技 房地产的思路将面临资源约束。为了防止我国存储技术“卡脖子”，节省未来海量数据存储占地空间，系统化整合资源解决当前中国大数据存储技术产品的容量问题，建议国家立项 开展微型数据存储技术创新研发 。

我国数据储存的现状和面临的问题

计算机数据存储技术是信息技术应用的核心。一切计算机应用数据都需要由物理设备来存储，以便计算机系统进行读写等处理，数据应用与数据存储恰似树干与树根的密切关系。伴随着信息技术应用的持续高速发展，可以预见未来的数据量必将呈现爆炸式增长，随之而来的海量数据存储瓶颈问题必然日趋严重，加剧着数据存储领域长期面临的容量、安全、性能、扩充、维护、灾备、监管等诸多挑战。其中，容量困境，首当其冲。

当前痛点。 为了满足数据存储容量日益增长的需求，大数据存储中心建设必不可少。放眼当下全国各地的大数据存储中心建设，由于数据存储基础核心技术缺位，流行的模式是不可持续的“ 科技 房地产”，即单纯拓展占地面积盖楼建设数据中心，进而耗费宝贵自然资源。目前我国城市监控视频图像数据受限于数据中心存储容量空间，一般只能保留一个月左右，相关的数据应用严重受制。

应用基石。 底层数据存储是信息产业发展的基石，数据存储技术产品是信息应用系统的架构基础，也是我国的关键行业技术短板。有效的数据存储技术产品涉及到所有信息技术应用场景：人工智能，信息安全，智慧城市，大数据，云计算，区块链，城市大脑，雪亮工程，城市管理视频监控，医学影像识别，等等。

严峻局面。 追溯信息技术百年来的发展轨迹，中国在数据存储基础技术领域的贡献几乎为零。国内数据存储行业主要擅长于市场侧的商业应用创新，数据存储底层管理的核心技术研发严重依赖国外的开源开放。缺乏基础研发梯队，没有关键理论 探索 ；沿袭陈旧的发展思路，习于外购器件设备；底层技术积累短缺，核心创新能力薄弱；严峻的局面至今没有重大改变。

危情险势。 中国在核心存储产品、底层支撑技术、商业应用理念上长期跟跑，遭受外部势力釜底抽薪式的“存储底层关键核心技术精准打击”的隐患和风险极大。面对复杂多变的国际环境，一旦遭遇卡脖子，如外购存储产品断货或核心技术交流封锁，举国上下所有涉及信息技术应用的行业领域都必然窒息。从而直接降低相关产业迭代发展速度，掣肘 社会 前进步伐，削弱国家治理能力，进而危及影响到国家的政治和 社会 稳定。

时不我待。 我们需要立即行动起来，通过立项开展微型数据存储技术创新研发，凝聚国内外数据存储领域资源力量，构建数据存储专业核心技术团队；从研发软件定义的存储（数据去重）技术产品入手，填补国内技术产品领域空白；启动研发微型化（原子级）数据存储设备，抢占未来数据存储领域的制高点。这项举措也是解除我国数据存储技术产品创新研发“卡脖子”危机的最佳途径。

开展微型数据存储技术创新研发的思路

我国应抓住当前数据应用驱动信息技术升级换代的大数据发展 历史 契机，凝聚国内外资源力量，构建中国数据存储专业核心技术团队。近期：研发部署模块化数据去重技术产品，压缩海量数据存储空间需求，填补国内底层数据存储管理技术空白。远期：启动研发微型数据存储设备，抢占未来数据存储技术领域的制高点。

从开展微型数据存储技术创新研发入手，聚焦国际存储技术领域的战略性前沿技术趋势；联手科研院所、高等院校、生产企业、大型用户的资源，建设国家级核心技术团队；积极引进/培养数据存储技术人才，研发自主可控系列产品。

1.近期跟踪行业动态

对标国际顶级数据存储技术产品，砥砺学习底层模块级数据存储去重技术，压缩海量数据存储空间需求，实现自主可控国产数据存储技术管理软件产品的商务应用。基本原理是首先识别出重复的数据模块，然后优化存储多个重复数据模块中的单一模块，以及同其它重复模块的链接关系。进而减少企业级客户存储数据所需的物理空间占有量，降低采购部署数据存储设备的增量。

2.远期重点突出推进

探索 下一代数据存储技术，整合跨学科资源启动开展研发微型存储器，力图将现有基于磁盘/光盘/磁带的计算机数据存储器，转化为未来基于原子/电子运动状态的微型化数字信息采集与存取机制。其原理是将现在耗费数百万个原子的材料介质所表征的一位“0”或“1”二进制计算机数据，试图由单个原子状态变化来表征。于是，可以将现有数据存储设备体积缩小数十万乃至百万倍，最终将占地约足球场面积的大数据存储仓库缩小为便携式器件。

3.研发工作开展建议

开展微型数据存储技术创新研发应该建设成为国内领先、国际一流的数据存储技术研究机构、产业孵化温室、以及人才培养基地。

延揽数据存储技术专家领衔担纲咨询顾问。全球招聘在世界顶级数据存储公司工作多年的业界精英加盟指导。

构建中国数据存储技术研发团队。采用引进师资/开设培训课程等有效方式，积累培育国内数据存储技术力量。

结盟硅谷存储技术研究院。依托美国硅谷地区的数据存储实体公司，共享数据存储底层技术知识。

注册成立企业运营机构。开发软件定义存储（数据去重）技术产品，服务数据用户市场，遵循商务运作规律。

融资涵盖多种基金渠道。申报获取国家重大专项基础项目研发资金，吸引专业投资基金加盟。首期投资约需10亿元人民币（参考国际相关工程估值：美国IBM公司同类项目投资约600亿美元/10年）。

推动微型数据存储技术创新研发的建议

我国在开展新型基础设施建设的同时，应当抓住当前数据计算应用驱动信息技术升级换代的大数据发展 历史 契机，建立数据存储技术的自主知识产权体系，填补国内空白，保障数字中国建设长远规划实施，推进国产数据存储产品崛起，为相关产业发展铺路。

2.建议远期紧跟世界主流研发创新步伐，聚焦研发原子级微型化数据存储技术产品（2020-2040年），在2040年前研发出原子级大数据存储技术，并逐步实现产业化。

3.建议将微型化数据存储技术创新作为国家战略。搭建政产学研用共建共治共享的中国数据存储技术联合创新平台，建设国家级重点实验室。依托科研院所/高等院校/相关企业，奠定从微型数据存储理论、硬件设计、软件开发、结构设计、系统集成等一整套原子级微型数据存储技术研发工作的基础。

4.建议国家相关部委给予配套资金支持。加快推进原子级大数据存储技术研发和产业化转化。支持申报重大 科技 项目和专项扶持资金。

5.建议形成能够长期从事数据存储技术创新的人才队伍。借鉴全球数据存储技术创新研发经验，引进海内外数据存储技术领域顶尖科学家和工程师。在高等院校与科研院所开设数据存储技术专业课程，搭建完善的国内人才培养体系。

6.建议立项过程不宜采用常规项目申报、审批流程，亟需特事特办予以批准。主要是有鉴于本项目相关的科研生产领域中，国内现有技术力量薄弱分散，评估体系资源匮乏。

7.建议项目推进应当低调快速务实：不重造势，不扬虚名，不谋近利。主要是基于当前复杂敏感的国际政治经济形势，预计本项目势将关联国家核心产业战略布局，影响未来数十年中国数字经济命脉与发展。

作 者：中央 财经 大学中国互联网经济研究院研究员 欧阳日辉

通讯员：李 翀

战略性新兴产业专题报道 办事，“刷脸”就行

张家口敢闯敢试、先行先试，积极 探索 氢能产业创新发展的有益路径

“东数西算”正式启动，枢纽网络如何建设？

“十四五”浪潮下如何构建城市数据中心网络？

“我为群众办实事”北京市发展改革委发布第三批政策工具应用指南

大美密云 助推新兴产业发展

东方测控：打造智能制造示范工厂，引领矿山行业新未来

④ 自动驾驶下的海量数据，业界如何安全高效存储

近几年来，各行业纷纷跨界加入造车行列，不说传了多年要造车的国外手机巨头、出资纯电动汽车的科技互联网大厂，国内的科技企业也在跃跃欲试，比如阿里巴巴、华为、网络、小米和滴滴出行。

除了这些高科技企业，还有小马智行、文远知行、AutoX、赢彻科技和主线科技等新兴的自动驾驶初创企业；超星未来、奥特贝睿、宏景智驾等专注于私家车高阶自动驾驶研发的新型一级供应商；以及纯电动车起家的蔚来，小鹏，理想等造车新势力，都纷纷加入汽车产业链，推动了汽车电动化和智能化的进程。

西部数据资深产品市场经理额日特

也正是这些新玩家的加入，使得传统汽车产业链受到了前所未有的压力，同时也推动了传统汽车厂商加速新技术和新应用的落地。在西部数据资深产品市场经理额日特看来，随着汽车智能网联的不断推进，汽车的电子电气架构（E/E）也随之变化，从最初的分布式架构向域融合和中央控制单元过渡。

轮子上的智能手机，对存储架构提出更多要求

如今，不少人业内人士都认可汽车在向“轮子上的智能手机”演变，这个转变，让厂商开始将越来越多的摄像头、雷达、激光雷达等传感器、电动机，甚至以太网、人工智能等技术都引入汽车。

额日特认为，更多传感器的引入，网联技术、人工智能技术的增加，以及汽车电子电气架构的改变，对汽车内存储产品的要求发生了很大的变化。

“在汽车存储领域，单车存储的 数量将会显着降低，容量则会显着提升 。”额日特在不久前广州举办的Auto Tech 2021上演讲时指出。

Counterpoint的报告也印证了这一点，该分析机构预计，未来十年内，汽车单车的存储容量将会达到2TB左右。“目前车内存储主要用在智能座舱和中控系统，且燃油车以32GB为主，电动汽车一般使用64GB，或128GB，相对于2TB来说，还有一个巨大的提升空间。”额日特表示。

他分析称，为了应对汽车电动化、智能化、网联化，及自动化方向的发展，存储产品也面临这很多挑战，主要有四个比较重大的挑战：

一是数据 的可靠性 和 安全性 ，这是存储厂商所面临最基本和最严苛的挑战，也是相关法规及保险责任靠量的关键因素。因为对于自动驾驶来说，数据的可靠性和安全性意味着生命的安全。

存储厂商在数据可靠性和安全性方面也做了不少工作，额日特拿e.MMC、UFS和SSD来说，存储单元是由两个部分组成的，一部分是存储介质Raw NAND，另一部分是控制器和固件。

为了保证更好的TBW（Total Bytes Written），即产品生命周期里能承受的总写入数据量，存储厂商一般都会 通过控制器和固件对底层做一个读写均衡 。“TBW通俗地讲就是耐擦写，意思是NAND Flash是有寿命的，如果数据手册里规定了NAND Flash的擦写次数是3,000次，客户就需要考量该TBW是否满足自己的应用需求。”

还有一个是主机锁定 ，即在汽车主机上焊上一个内存，加了主机锁的内存放到另外一个主机上是没有用的，因为它已经与原来的主机做了锁定，这样也可以确保数据的安全。

另外，写保护也是一个很重要的功能 ，比如汽车如果出事故了，有的用户担心数据会被汽车厂商篡改，“我们存储厂商在与主机厂商、Tier 1企业一起共同努力，协商一个有效的协同保护机制，确保车辆在发生事故后，在警察没有查看数据之前，没有任何一家，包括内存厂商都无法篡改存储器内的数据，以确保司法监管在调查的时候的公正性和严肃性。”额日特表示。

二是复杂的应用场景 ，随着电子电气架构向域及中央控制单元转变，应用的融合对存储的要求也变得更加复杂，不再是单一的读或写。比如导航是一个读密集型操作，行车记录仪是一个写密集型操作。

特别是随着电子电气架构的改变，融合中央控制单元的使用，使得内存需要承受更加复杂的操作系统环境。比如高通的8155平台把智能座舱、数字仪表和中控融合到了一起，此时就需要使用Hypervisor，以允许多个操作系统和应用共享同一个硬件。 但实际上，现在的内存结构，只能做到逻辑分区，不能做到物理分区。

“举一个简单的例子，我们现在所使用的电脑有C盘、D盘、或者E盘，实际上C、D、E盘只是逻辑分区，底层的内存是没有做到物理分区的，这些盘存储的数据都是打散存储在一块内存里，不论是哪个盘坏掉，代表的就是整个内存盘都坏了。”额日特指出。

因此，这就会带来一个问题，比如行车记录仪是一个需要高擦写支持的应用，如果把行车记录仪也融合到智能座舱内的话，做起来很容易。但要是不做物理分区，由于行车记录仪的高擦写，可能整个内存很快就会坏掉。

为了适应这个改变，也为了数据的更加安全，“西部数据现在可以提供一种解决方案，那就是在底层做读写均衡的隔离，比如 一块内存里面，可以分别使用 TLC 和S LC 两种N AND F lash ，由于SLC可以支持高擦写，因此，SLC部分就可以作为行车记录仪的存储。”额日特表示。

三是海量数据存储 ，为了适应自动驾驶的需求，越来越多的雷达和摄像头被部署在汽车上，行车过程中会产生大量的数据。

特别是自动驾驶出租车的企业对数据的存储容量需求是很大的，现在单车一天生成的数据量在8GB左右，但实际上，现在主流汽车的存储容量在2GB到4GB之间。

额日特以西部数据与Waymo的合作为例，西部数据在Waymo自动驾驶出租车上安装了10块2TB的工业级SSD，也就是说Waymo的单车存储容量要求是20TB。其实这也是大部分自动驾驶汽车的存储需求。

四是高性能， 雷达和摄像头会在行车过程中产生大量的数据，为了防止数据丢失，必然需要高性能、大带宽存储的支持。

其实存储产品也在通过不停地创新来获得更高的传输速率。在嵌入式存储器方面，目前汽车领域使用的主流存储产品是e.MMC，比e.MMC更快的是UFS产品，目前汽车领域主要采用的还是UFS2.1。实际上，消费类电子已经在大规模采用UFS3.0的产品了。额日特预计汽车级UFS3.1的产品，应该会在两年内面市。

另外，在SSD方面，目前汽车领域的SSD主要还是采用SATA接口，未来带宽更高、速度更快的NVMe接口的SSD产品也可能会在汽车上得到应用。使用SSD的好处就是容量可以做得更大，比如UFS接口能做到的最大容量可能是512GB，但SSD可以轻松做到4TB、8TB，甚至更大。

满足汽车需求的解决方案

据额日特介绍，西部数据可以提供从端到云的完整解决方案，以支持当前和未来的车辆系统要求，它为多样的应用场景和数据中心，提供了小尺寸嵌入式终端存储和可移动存储，用于获取和分析从车辆收集的大量数据。他特意强调，西部数据的汽车级闪存产品通过了IATF16949认证，符合AEC-Q100标准。

产品方面，有iNAND汽车级嵌入式存闪存盘（EFD），支持UFS和e.MMC接口，具有多种容量，采用11.5×13mm的小包装，可为汽车OEM和一级供应商提供符合其需求的选择。比如iNAND AT EU312 是一款基于 3D NAND 技术的汽车级UFS（通用闪存存储），具有高数据传输速度的UFS 2.1接口和额外的UFS 3.0汽车功能，可提供最高256GB的容量，性能是前代基于e.MMC的产品的2.5倍。AT EU312利用第5代SmartSLC 技术，可提供高性能和可靠的写入。

其e.MMC 嵌入式闪存盘基于e.MMC 5.1 标准，采用2D或3D NAND技术。具体产品有EM122已经获得许多汽车设计的认证并投入生产，EM132在汽车市场中容量达到了256GB。

在PCIe SSD方面，有CL SN720和CL SN520等产品，采用了PCIe Gen3 NVMe接口，容量高达2TB，耐久性高达1600 TBW。

与合作伙伴的成功案例

在本次Auto Tech 2021展会上，西部数据不仅展示了自己家的汽车存储解决方案，也带来了合作伙伴的一些成功案例。

有为信息展示的“主动安全智能防控车载视频终端K5-P”解决方案。

在车载监控方面，其合作伙伴有为信息展示了“主动安全只能防控车载视频终端K5-P”解决方案，该解决方案支持ADAS、DSM只能监控，采用了记录仪、视频功能、主动安全功能一体化设计。同时支持硬盘（2.5” HDD）+ SD卡（西部数据WD Purple micro SD存储卡），双重存储保证数据安全；且具有硬盘防震保护机制；此外，有为信息的专利的存储介质保护装置，可防止任意拆卸硬盘及插拔存储卡。加上其独特流媒体文件系统存储方式，保证了数据安全不被篡改。

车载信息娱乐系统方面，其合作伙伴掌锐展示了“前装车规模组”解决方案------CS199 MT8666AV模组，该模组基于联发科 MT8666AV芯片封装的前装车规级带4G通信模组，具有功能丰富，集成度高、尺寸小、低功耗、性能优、品质稳定的特点，可满足汽车智能化、连网化的前装需求，帮助客户缩短项目开发周期，减少研发投入并降低品控风险。存储方面，采用的是西部数据iNAND AT EM132产品，是汽车市场首个基于3D TLC NAND e.MMC接口产品，采用了标准BGA封装，容量涵盖了从32GB到256GB，具有快速启动、自动刷新、增强型运行健康状态监测，支持固件在线升级和100%预烧录，有AEC-Q100温度2级（-40°C 至105°C）和3级（-40°C至85°C）两种选择。

铱斯电子展示的智能驾驶辅助系统解决方案。

此外，西部数据现场还展示了采用iNAND AT EM122的智能驾舱、智能驾驶、以及车联网等丰富的解决方案。

西部数据公司中国区嵌入式产品销售部门销售总监文芳女士

西部数据公司中国区嵌入式产品销售部门销售总监文芳表示：“车联网、自动驾驶等新技术的商业化落地，对汽车新四化的发展起到了巨大的推动作用，同时也对车载存储解决方案的安全性、可靠性、大容量、高性能以及复杂的场景应用提出了更严苛的要求。西部数据作为数据基础架构的领导者，提供覆盖8GB-18TB容量，包括e.MMC/UFS/micro SD/SSD/HDD等不同规格的车规级及企业级存储产品，支持端-边-云新型数据架构在汽车领域的应用，满足当前和未来单车智能及车路协同的多样化需求。”

未来，西部数据将不断突破创新，以卓越的产品及解决方案赋能汽车领域的改革与发展，为人们带来更安全、优质的驾驶体验。

结语

近年来，汽车行业正在经历前所未有的变革，自动驾驶不断发展，高清3D地图、高级辅助驾驶系统（ADAS）、自主计算机、AI、大数据、增强型信息娱乐系统、无线更新、以及V2X技术等等逐步在汽车上得到普及，而这些功能都需要板载数据存储，未来汽车的存储需求将会越来越大，如何满足汽车市场的特殊需求，是存储企业必须要考虑的，抓住汽车市场，就意味着抓住了未来。

转载自电子发烧友 @2019

⑤ 大数据爆发性增长 存储技术面临难题

大数据爆发性增长 存储技术面临难题

随着大数据应用的爆发性增长，大数据已经衍生出了自己独特的架构，而且也直接推动了存储、网络以及计算技术的发展。毕竟处理大数据这种特殊的需求是一个新的挑战。硬件的发展最终还是由软件需求推动的。大数据本身意味着非常多需要使用标准存储技术来处理的数据。大数据可能由TB级(或者甚至PB级)信息组成，既包括结构化数据(数据库、日志、SQL等)以及非结构化数据(社交媒体帖子、传感器、多媒体数据)。此外，大部分这些数据缺乏索引或者其他组织结构，可能由很多不同文件类型组成。从目前技术发展的情况来看，大数据存储技术的发展正面临着以下几个难题：

1、容量问题

这里所说的“大容量”通常可达到PB级的数据规模，因此，海量数据存储系统也一定要有相应等级的扩展能力。与此同时，存储系统的扩展一定要简便，可以通过增加模块或磁盘柜来增加容量，甚至不需要停机。

“大数据”应用除了数据规模巨大之外，还意味着拥有庞大的文件数量。因此如何管理文件系统层累积的元数据是一个难题，处理不当的话会影响到系统的扩展能力和性能，而传统的NAS系统就存在这一瓶颈。所幸的是，基于对象的存储架构就不存在这个问题，它可以在一个系统中管理十亿级别的文件数量，而且还不会像传统存储一样遭遇元数据管理的困扰。基于对象的存储系统还具有广域扩展能力，可以在多个不同的地点部署并组成一个跨区域的大型存储基础架构。

2、延迟问题

“大数据”应用还存在实时性的问题。有很多“大数据”应用环境需要较高的IOPS性能，比如HPC高性能计算。此外，服务器虚拟化的普及也导致了对高IOPS的需求，正如它改变了传统IT环境一样。为了迎接这些挑战，各种模式的固态存储设备应运而生，小到简单的在服务器内部做高速缓存，大到全固态介质的可扩展存储系统等等都在蓬勃发展。

3、并发访问

一旦企业认识到大数据分析应用的潜在价值，他们就会将更多的数据集纳入系统进行比较，同时让更多的人分享并使用这些数据。为了创造更多的商业价值，企业往往会综合分析那些来自不同平台下的多种数据对象。包括全局文件系统在内的存储基础设施就能够帮助用户解决数据访问的问题，全局文件系统允许多个主机上的多个用户并发访问文件数据，而这些数据则可能存储在多个地点的多种不同类型的存储设备上。

4、安全问题

某些特殊行业的应用，比如金融数据、医疗信息以及政府情报等都有自己的安全标准和保密性需求。虽然对于IT管理者来说这些并没有什么不同，而且都是必须遵从的，但是，大数据分析往往需要多类数据相互参考，而在过去并不会有这种数据混合访问的情况，因此大数据应用也催生出一些新的、需要考虑的安全性问题。

5、成本问题

成本问题“大”，也可能意味着代价不菲。而对于那些正在使用大数据环境的企业来说，成本控制是关键的问题。想控制成本，就意味着我们要让每一台设备都实现更高的“效率”，同时还要减少那些昂贵的部件。

对成本控制影响最大的因素是那些商业化的硬件设备。因此，很多初次进入这一领域的用户以及那些应用规模最大的用户都会定制他们自己的“硬件平台”而不是用现成的商业产品，这一举措可以用来平衡他们在业务扩展过程中的成本控制战略。为了适应这一需求，现在越来越多的存储产品都提供纯软件的形式，可以直接安装在用户已有的、通用的或者现成的硬件设备上。此外，很多存储软件公司还在销售以软件产品为核心的软硬一体化装置，或者与硬件厂商结盟，推出合作型产品。

6、数据的积累

许多大数据应用都会涉及到法规遵从问题，这些法规通常要求数据要保存几年或者几十年。比如医疗信息通常是为了保证患者的生命安全，而财务信息通常要保存7年。而有些使用大数据存储的用户却希望数据能够保存更长的时间，因为任何数据都是历史记录的一部分，而且数据的分析大都是基于时间段进行的。要实现长期的数据保存，就要求存储厂商开发出能够持续进行数据一致性检测的功能以及其他保证长期高可用的特性。同时还要实现数据直接在原位更新的功能需求。

7、数据的灵活性

大数据存储系统的基础设施规模通常都很大，因此必须经过仔细设计，才能保证存储系统的灵活性，使其能够随着应用分析软件一起扩容及扩展。在大数据存储环境中，已经没有必要再做数据迁移了，因为数据会同时保存在多个部署站点。一个大型的数据存储基础设施一旦开始投入使用，就很难再调整了，因此它必须能够适应各种不同的应用类型和数据场景。

存储介质正在改变，云计算倍受青睐

存储之于安防的地位，其已经不仅是一个设备而已，而是已经升华到了一个解决方案平台的地步。作为图像数据和报警事件记录的载体，存储的重要性是不言而喻的。

安防监控应用对存储的需求是什么？首先，海量存储的需求。其次，性能的要求。第三，价格的敏感度。第四，集中管理的要求。第五，网络化要求。安防监控技术发展到今天经历了三个阶段，即：模拟化、数字化、网络化。与之相适应，监控数据存储也经历了多个阶段，即：VCR模拟数据存储、DVR数字数据存储，到现在的集中网络存储，以及发展到云存储阶段，正是在一步步迎合这种市场需求。在未来，安防监控随着高清化，网络化，智能化的不断发展，将对现有存储方案带来不断挑战，包括容量、带宽的扩展问题和管理问题。那么，基于大数据战略的海量存储系统--云存储就倍受青睐了。

基于大数据战略的安防存储优势明显

当前社会对于数据的依赖是前所未有的，数据已变成与硬资产和人同等重要的重要资料。如何存好、保护好、使用好这些海量的大数据，是安防行业面临的重要问题之一。那么基于大数据战略的安防存储其优势何在？

目前的存储市场上，原有的视频监控方案容量、带宽难以扩展。客户往往需要采购更多更高端的设备来扩充容量，提高性能，随之带来的是成本的急剧增长以及系统复杂性的激增。同时，传统的存储模式很难在完全没有业务停顿的情况下进行升级，扩容会对业务带来巨大影响。其次，传统的视频监控方案难于管理。由于视频监控系统一般规模较大，分布特征明显，大多独立管理，这样就把整个系统分割成了多个管理孤岛，相互之间通信困难，难以协调工作，以提高整体性能。除此之外，绿色、安全等也是传统视频监控方案所面临的突出问题。

基于大数据战略的云存储技术与生俱来的高扩展、易管理、高安全等特性为传统存储面临的问题带来了解决的契机。利用云存储，用户可以方便的进行容量、带宽扩展，而不必停止业务，或改变系统架构。同时，云存储还具有高安全、低成本、绿色节能等特点。基于云存储的视频监控解决方案是客户应对挑战很好的选择。王宇说，进入二十一世纪，云存储作为一种新的存储架构，已逐步走入应用阶段，云存储不仅轻松突破了SAN的性能瓶颈，而且可以实现性能与容量的线性扩展，这对于拥有大量数据的安防监控用户来说是一个新选择。

以英特尔推出的Hadoop分布式文件系统（HDFS）为例，其提供了一个高度容错性和高吞吐量的海量数据存储解决方案。目前已经在各种大型在线服务和大型存储系统中得到广泛应用，已经成为海量数据存储的事实标准。

随着信息系统的快速发展，海量的信息需要可靠存储的同时，还能被大量的使用者快速地访问。传统的存储方案已经从构架上越来越难以适应近几年来的信息系统业务的飞速发展，成为了业务发展的瓶颈和障碍。HDFS通过一个高效的分布式算法，将数据的访问和存储分布在大量服务器之中，在可靠地多备份存储的同时还能将访问分布在集群中的各个服务器之上，是传统存储构架的一个颠覆性的发展。最重要的是，其可以满足以下特性：可自我修复的分布式文件存储系统，高可扩展性，无需停机动态扩容，高可靠性，数据自动检测和复制，高吞吐量访问，消除访问瓶颈，使用低成本存储和服务器构建。

以上是小编为大家分享的关于大数据爆发性增长 存储技术面临难题的相关内容，更多信息可以关注环球青藤分享更多干货

⑥ 传统的单计算机是否能储量海量数据

海量数据存储方式概述

随着信息技术的飞速发展，数据爆炸已成为一个突出问题、海量数据存储和管理技术已经是近几年的研究热点之一。传统的数据存储与管理方式已经很难满足海量数据存储在在容量、性能、存储效率和安全性等方面的要求。而且大部分数据采集系统。比如雷达回波信号数据采集、数字视频信号处理及高码率卫星数据信号的采集等、都要求对数据进行实时的传输与存储。这就对数据采集存储系统的采集速率、传输速度、存储速度、存储容量以及数据存储的可靠性等方面提出了更高的要求。因此、对高速海量数据存储技术的研究就越发显得重要。近年来，海量数据存储技术发展迅速、各种各样的存储系统不断涌现。下面就从存储介质、存储模式两个方面对海量数据存储技术进行简要的介绍。

海量存储介质主要有磁带、光盘、硬盘三大类。并在这三种储介质的基础上分别构成了磁带机、光盘库、磁盘阵列三种主要的存储设备。此外，固态存储和全息存储是未来高速海量数据存储的重要发展趋势。磁带机以其廉价的优势应用普遍。光盘库适用于保存多媒体数据和用于联机检索。应用也越来越广泛，磁盘阵列由于能够提供较高的存取速度和数据可靠性而成为实现高速海量数据存储的主要方式。

从数据存储的模式来看，海量存储技术可以分为DAS(Direct Attached Storage。直接附加存储)和网络存储两种，其中网络存储又可以分为NAS(Network Attached storage， 网络附加存储)和SAN(Storage Area Net、 Work，存储区域网络) 。

、1、DAS采用的方式是外部数据存储设备直接挂接在服务器内部总线上(这样I，O会占用系统带宽) 。存储设备是服务器结构的一部分。这种方案是传统的存储方式。主要在个人计算机和小型服务器上使用，只能满足数据存储量较低的应用。不直接支持多机共享存储。 DAS与NAS最大的不同便是。 DAS通过服务器与网络连接、 NA S直接与网络连

接。磁带机与磁盘阵列系统就是典型的DAS设备。

(2)NA S实际上是一个网络的附加存储设备、它通过集线器或交换机直接连接在网络上。通过TCP、 IP协议进行通信、面向消息传递。 以文件的方式进行数

⑦ 海量数据存储

存储技术经历了单个磁盘、磁带、RAID到网络存储系统的发展历程。网络存储技术就是将网络技术和I/O技术集成起来，利用网络的寻址能力、即插即用的连接性、灵活性，存储的高性能和高效率，提供基于网络的数据存储和共享服务。在超大数据量的存储管理、扩展性方面具有明显的优势。

典型的网络存储技术有网络附加存储NAS（Network Attached Storage）和存储区域网SAN（Storage Area Networks）两种。

1）NAS技术是网络技术在存储领域的延伸和发展。它直接将存储设备挂在网上，有良好的共享性、开放性。缺点是与LAN共同用物理网络，易形成拥塞，而影响性能。特别是在数据备份时，性能较低，影响在企业存储应用中的地位。

2）SAN技术是以数据存储为中心，使用光纤通道连接高速网络存储的体系结构。即将数据存储作为网络上的一个区域独立出来。在高度的设备和数据共享基础上，减轻网络和服务器的负担。因光纤通道的存储网和LAN分开，使性能得到很大的提高，而且还提供了很高的可靠性和强大的连续业务处理能力。在SAN中系统的扩展、数据迁移、数据本地备份、远程数据容灾数据备份和数据管理等都比较方便，整个SAN成为一个统一管理的存储池（Storage Pool）。SAN存储设备之间通过专用通道进行通信，不占用服务器的资源。因此非常适合超大量数据的存储，成为网络存储的主流。

3）存储虚拟化技术是将系统中各种异构的存储设备映射为一个单一的存储资源，对用户完全透明，达到互操作性的目的和利用已有的硬件资源，把SAN内部的各种异构的存储资源统一成一个单一视图的存储池，可根据用户的需要方便地切割、分配。从而保持已有的投资，减少总体成本，提高存储效率。

存储虚拟化包括3个层次结构：基于服务器的虚拟化存储、基于存储设备的虚拟化存储和基于网络的虚拟化存储。

1）基于服务器的虚拟化存储由逻辑管理软件在主机/服务器上完成。经过虚拟化的存储空间可跨越多个异构的磁盘阵列，具有高度的稳定性和开放性，实现容易、简便。但对异构环境和分散管理不太适应。

2）基于存储设备的虚拟化存储，因一些高端磁盘阵列本身具有智能化管理，可以实现同一阵列，供不同主机分享。其结构性能可达到最优。但实现起来价格昂贵，可操作性差。

3）基于网络的虚拟化存储，通过使用专用的存储管理服务器和相应的虚拟化软件，实现多个主机/服务器对多个异构存储设备之间进行访问，达到不同主机和存储之间真正的互连和共享，成为虚拟存储的主要形式。根据不同结构可分为基于专用服务器和基于存储路由器两种方式。①基于专用服务器的虚拟化，是用一台服务器专用于提供系统的虚拟化功能。根据网络拓扑结构和专用服务器的具体功能，其虚拟化结构有对称和非对称两种方式。在对称结构中数据的传输与元数据访问使用同一通路。实现简单，对服务器和存储设备的影响小，对异构环境的适应性强。缺点是专用服务器可能成为系统性能的瓶颈，影响SAN的扩展。在非对称结构中，数据的传输与元数据访问使用不同通路。应用服务器的I/O命令先通过命令通路传送到专用服务器，获取元数据和传输数据视图后，再通过数据通路得到所需的数据。与对称结构相比，提高了存储系统的性能，增加了扩展能力。②基于存储路由器的SAN虚拟化，存储路由器是一种智能化设备，既具有路由器的功能，又针对I/O进行专门优化。它部署在存储路由器上，多个存储路由器保存着整个存储系统中的元数据多个副本，并通过一定的更新策略保持一致性。这种结构中，因存储路由器具有强大的协议功能，所以具有更多的优势。能充分利用存储资源，保护投资。能实现软硬件隔离，并辅有大量的自动化工具，提高了虚拟服务器的安全性，降低对技术人员的需求和成本。

⑧ 互联网如何海量存储数据

目前存储海量数据的技术主要包括NoSQL、分布式文件系统、和传统关系型数据库。随着互联网行业不断的发展，产生的数据量越来越多，并且这些数据的特点是半结构化和非结构化，数据很可能是不精确的，易变的。这样传统关系型数据库就无法发挥它的优势。因此，目前互联网大正蔽拦行业偏向于使用NoSQL和分布式文件系统来存储海量数据。

下面介绍下常用的NoSQL和分布式文件系统。

NoSQL

互联网行业常用的NoSQL有：HBase、MongoDB、Couchbase、LevelDB。

HBase是ApacheHadoop的子项目,理论依据为Google论文Bigtable:开发的。HBase适合存储半结构化或非结构化的数据。HBase的数据模型是稀疏的、分布式的、持久稳固的多维map。HBase也有行和列的概念，这是与RDBMS相同的地方，但却又不同。HBase底层采用HDFS作为文件系统，具有高可靠性、高性能。

MongoDB是一种支持高性能数据存储的开源文档型数据库。支持嵌入式数据模型以减少对数据库系统的I/O、利用索引实现快速查询，并且嵌入式文档和集合也支持索引，它复制能力被称作复制集（replicaset），提供了自动的故障迁移和数据冗余。MongoDB的分片策略将数据分布在服务器集群上。

Couchbase这种NoSQL有三个重滚并悔要的组件：Couchbase服务器、CouchbaseGateway、CouchbaseLite。Couchbase服务器，支持横向扩展，面向文档的数据库，支持键值操作，类似于SQL查询和内置的全文搜索;CouchbaseGateway提供了用于RESTful和流式访问数据的应用层API。CouchbaseLite是一款面向移动设备和“边缘”系统的嵌入式数据库。Couchbase支持千万级海量数据存储

分布式文件系统

如果针对单个大文件，譬如超过100MB的文件，使用NoSQL存储就不适当了。使用分布式文件系统的优势在于，分布式文件系统隔离底层数据存储和分布的细节，展示给用户的是一个统一的逻辑视图。常用的分布式文件系统有GoogleFileSystem、HDFS、MooseFS、Ceph、GlusterFS、Lustre等。

⑨ 单位存储的电子数据越来越多，原来的光盘、硬盘都盛不下啦，怎么解决电子数据的存储问题

当前，松下、索尼、DISC等国际公司已研制出各自的蓝光光存储系统。Facebook(脸书)等互联网巨头也开始使用光存储系统，来解决数据存储问题。使用光存储系统已成国际上解决海量数据存储的惯常手段。在国内，北京市汉龙实业公司研发的海量数据光存储系统以蓝光光盘为管理对象，采用先进的光盘备份管理技术，可妥善解决电子数据存储问题。想了解更多可以网络一下。