杉岩海量数据存储解决方案

‘壹’ 海量数据存储有哪些方式与方法

杉岩海量对象存储MOS，针对海量非结构化数据存储的最优化解决方案，采用去中心化、分布式技术架构，支持百亿级文件及EB级容量存储，

具备高效的数据检索、智能化标签和分析能力，轻松应对大数据和云时代的存储挑战，为企业发展提供智能决策。

1、容量可线性扩展，单名字空间达EB级

SandStone MOS可在单一名字空间下实现海量数据存储，支持业务无感知的存储服务器横向扩容，为爆炸式增长的视频、音频、图片、文档等不同类型的非结构化数据提供完美的存储方案，规避传统NAS存储的单一目录或文件系统存储空间无法弹性扩展难题

2、海量小文件存储，百亿级文件高效访问

SandStone MOS基于完全分布式的数据和元数据存储架构，为海量小文件存储而生，将企业级NAS存储的千万文件量级提升至互联网规模的百亿级别，帮助企业从容应对几何级增长的海量小文件挑战。

3、中心灵活部署，容灾汇聚分发更便捷

SandStone MOS支持多数据中心灵活部署，为企业数据容灾、容灾自动切换、多分支机构、数据就近访问等场景提供可自定义的灵活解决方案，帮助企业实现跨地域多活容灾、数据流转、就近读写等，助力业务高速发展。

4、支持大数据和AI，统一数据存储和分析

SandStone MOS内置文件智能化处理引擎，实现包括语音识别、图片OCR识别、文件格式转换等批量处理功能，结合标签检索能力还可实现语音、证件照片检索，从而帮助企业更好地管理非结构化数据。同时，SandStone MOS还支持与Hadoop、Spark等大数据分析平台对接，一套存储即可满足企业数据存储、管理和挖掘的需求。

‘贰’ 80T的海量资料，如何永久保存，移动硬盘成本高，且超过10年后，基本上就有毛病了，有没其它办法

对于海量图片数据的存储问题，杉岩海量对象存储（SandStone MOS）解决方案采用去中心化分布式架构，同时利用软件定义的方式实现了单一名字空间条件下数百PB级规模的容量扩展，业务可以随时随地访问而不受数据存储位置的限制。

在提升海量小文件访问性能方面，SandStone MOS利用哈希计算实现了数亿级文件的高效访问。针对文件检索困难，SandStone MOS支持标签功能，文件存储时会自动设置标签，从而更好地与业务结合，满足高效检索。

此外，SandStone MOS在易用性与可维护性方面也超越了同级别产品，其采用“x86通用服务器+存储软件”的分布式解耦架构，将底层存储空间与上层业务逻辑空间进行分离，软硬件的升级不会影响到整个系统的正常运行。

即使系统有再多应用更新，也不会影响存储空间的使用。值得一提的是，SandStone MOS首创的分布式存储数据盘漫游功能，可以帮助企业用户渐进式的进行老旧硬件设备更换，不影响业务的正常运行。

‘叁’ 在项目数字化转型中使用较为普遍的软件定义存储一体机有吗，求推荐

随着国内企业数字化转型加速，企业纷纷上云，数据存储量呈爆发式增长。传统存储扩展性差、成本高等局限性愈发明显。软件定义存储（Software Defined Storage，以下简称SDS）以虚拟化方式将各种存储资源抽象化、进行池化整合，通过智能化管控软件实现存储资源的按需分配。软件定义存储重新定义了存储架构，以扩容便捷、成本较低等优势，成为存储领域的重要发展方向之一。

深圳市杉岩数据技术有限公司（以下简称“杉岩数据”或“杉岩”）是国内软件定义存储领域的领导者之一。IDC最新发布的《2019 Q4 中国SDS市场报告》中，杉岩数据在对象存储市场份额第三，占比16.3%；在块存储市场份额第四，占比6.9%。

杉岩数据成立于2014年9月，公司以新一代智能分布式存储技术为核心，致力于提供领先的面向不同业务环境的企业级存储方案，帮助用户轻松应对IT向云迁移的存储挑战，为大数据时代的商业决策提供智能存储，打造云计算、人工智能、物联网等领域的数据存储基石。

杉岩数据致力于帮助用户应对数据存储量、访问量以及数据管理复杂度，帮助用户建立以存储虚拟化和计算虚拟化为核心的云计算基础设施环境，并逐步提供数据处理、挖掘、智能分析等方面的大数据专业系统和服务。

2020年7月8日，公司宣布获得B+轮1.5亿元最新融资，本轮融资由大型央企中远海运领投，襄禾资本、无锡金投跟投。借助本轮融资，公司将围绕数据存储、数据管理、数据价值的客户价值模型，持续加大产品关键技术的研发投入、垂直领域的市场拓展、人才引入以及产业生态链的建设，为用户的数字化转型提供全面赋能。

杉岩数据融资情况

访谈内容分享如下：

1

不只是存储优化

以数据为中心的客户价值金字塔模式

将智能存储的进阶赋能演绎到极致

融中研究：

“SandStone是一种橙红色石头，由沙粒经过多年不断沉积重新排列而成。SandStone 生动地诠释了‘分布式架构’的形成。”为什么用这个比喻来强调“分布式架构”？有什么特殊含义？

陈坚：

SandStone对我们确实意义深远。实际上，我们公司名称的来源与“Sand Stone”紧密相关。杉岩二字，来源于Sand的音译杉，以及Stone的意译岩。取名“SandStone”是因为我们做的是基于P2P的分布式存储架构，分布式存储的本质就是把分散的磁盘硬件聚合起来，形成一个很大的存储资源池。“SandStone”生动地诠释了“分布式架构’的形成，每个磁盘所在的服务器节点就像一粒沙子，通过杉岩数据的软件聚沙成石，形成一个稳定可靠的存储系统。

SandStone不仅代表了产品的特点，实际也代表了我们的文化、经营理念。从公司内部来看，每一个员工就像一粒沙子，大家团结奋斗、紧密协作，凝聚成一个有机整体，使得整个公司像石头一样坚不可摧；从外部合作伙伴的拓展来看，以杉岩为中心，将周围的合作伙伴聚在一起形成生态圈，每一个伙伴也是一粒沙子，通过不断吸纳聚合，构建稳定的生态圈。因此，SandStone所代表的团结奋斗与凝聚力内核，已内化成了公司企业文化的一部分；SandStone蕴含的分布式理念，也切合了公司与合作伙伴的生态建设理念。

融中研究：

杉岩是做存储的，为什么公司取名为杉岩数据而不是杉岩存储呢？智能存储与传统存储的主要区别是什么？杉岩的智能存储方案有什么特点？

陈坚：

之所以叫杉岩数据而不是杉岩存储，是因为我们带给客户的价值不只是存储的优化，而是以数据为中心的智能存储赋能，通过我们的存储系统，解决客户在AIoT、5G时代海量数据的存储、管理以及使用方面的问题。

针对智能存储，杉岩数据构建了一套以数据为中心的客户价值金字塔模型，最底座是存储，作为数据的抓手；中间层是数据的管理，作为内涵；最顶层为未来的智能化应用提供准备及服务，我把它叫做外延。

具体来说，第一层即数据存储的智能化。存储侧的智能，就是让客户使用更加简单。传统存储像烟囱，每一个业务系统配一套存储，客户的运维非常困难。分布式存储则是一个存储池，客户面向的是一套承载了不同应用数据的存储集群，孤立的烟囱不再存在。在存储集群里面的故障、性能、容量等告警，都是由存储系统内部智能化完成，同时还保障数据的可靠性、安全性以及访问性能。

第二层，数据管理的智能化。用户存数据后，要管数据。我认为数据是有生命力的，像人一样有从生到死的过程。医疗影像数据是一个典型的例子：病人拍完CT、X光产生的影像数据马上要被用于辅助医生寻找病症、病灶，这时数据是“热”的。这一次病好后，数据访问频率下降，“热”数据变为“温”数据。病人彻底康复后，数据变“冷”。对“热”数据，为了保证访问性能，相应的软硬件配置都非常高，价格也高。“冷”数据如果同“热”数据一样存储，性价比较低。医院一般将冷数据归档到公有云或蓝光等单位存储成本相对较低的存储介质中。这个例子正好反映了数据全生命周期的智能化管理。

在未来海量数据时代，数据的管理非常关键。除了数据全生命周期的管理，杉岩还能实现数据智能化的统一管理，包括：对客户的传统存储和杉岩的分布式存储的统一管理，保护客户对传统存储的原有投资；对公有云、私有云数据的统一管理，实现数据的自由流动；对边缘设备与中心设备数据的统一管理，实现数据的相互协同。

第三层，金字塔的顶端，是数据挖掘的智能化。数据被存储、管理，最终都是为了信息和价值的挖掘。目前越来越多的企业借助AI、机器学习、深度学习这些算法来使用和挖掘数据价值。杉岩的存储系统，包括我们的对象存储，都为海量数据的挖掘和使用去赋能。当然，杉岩不是要做AI，而是为智能化去赋能。这体现在两个方面，第一，我们的存储系统里面自带数据处理引擎，对业务需要使用的数据进行预先处理。第二，我们为AI的训练、数据清洗、数据的准备阶段提供了友好的统一管理、存储平台——数据处理引擎“AI in MOS”，还有面向需要对AI进行训练、学习、应用的公司提供的存储平台——“MOS for AI”。

融中研究：

杉岩在数据的存、管、挖各个层面的资源投入如何？杉岩在技术底层的优势有哪些？

陈坚：

在存、管、挖三个层面，杉岩起步聚焦于“存”，致力于为客户提供一个高可靠、高安全、高性能、高可扩展性的分布式存储系统，“存”也是目前投入最大的一块。在“存”方面，目前我们的核心竞争力主要体现在产品性能更高，可用性、可维性更强，特别是在数据的安全性方面，我们积累了很多经验。

在管方面，随着客户持续增加，杉岩面临的需求也不断增加，我们通过与客户的互动交流，了解客户实实在在的需求与痛点，并提出创新的解决方案。目前我们一些特有的产品功能已经落地了，这是很多企业包括一些大厂都不具备的，比如说我们对传统存储与分布式存储的统一管理、对数据的全生命周期管理等等。

最上层，未来数据的智能应用层面，在智能数据处理引擎“AI in MOS”产品上，我们也在加大投入，今年就会有实际的项目落地。

融中研究：

您刚才讲到，在数据挖掘上会加大投入，那么杉岩在这一块的发展目标如何？如何与数据挖掘专业公司竞争？

陈坚：

我先做一个澄清，杉岩的产品是有边界的，我们不会像大数据公司一样，比如也去做一个精准营销，我们是为精准营销赋能。像之前提到的数据处理，即使杉岩不做，这些公司还是要做的，杉岩其实是在帮这些公司做加速。另一方面，在赋能大数据挖掘的过程，杉岩主要针对非结构化数据赋能。以前的基于数据库的结构化数据，像BI、数据仓库，这类数据的挖掘已经有非常成熟的解决方案，杉岩的目标不在于此。我们强调对象存储就是因为对象存储是存储非结构化数据最佳的载体。我们通过对非结构化数据的AI挖掘、使用赋能实现差异化。

融中研究：

在当前软件定义存储，存在哪些技术局限，大概何时能够突破？杉岩在这块有哪些领先优势？

陈坚：

软件定义存储的概念相对于传统存储，其设计哲学和传统存储刚好相反。传统存储以硬件为核心，存储系统的数据可靠性高度依赖硬件架构的设计。软件定义存储，假设硬件是不可靠的或可靠性没那么高。

软件定义存储的性能更高、扩展性更强、更灵活。但任何一个架构、系统都会有自己的优缺点。软件定义存储在技术上的局限性：第一，难以将硬件的性能发挥到极致。第二，在存储集群大了以后，整个集群的管理、运维也是一个挑战。一般的企业没有专门的IT运维人员或运维水平有限，在海量数据时代，存储产品能不能让企业实现简单运维，也是一个挑战。

杉岩对传统存储和分布式存储都有很深入的理解，既有传统存储最核心的架构师和工程师，也有深耕分布式存储领域近10年的架构师。面对这些局限，杉岩也在做一些事情，比如在软硬结合方面，与硬件供应商一起做软硬垂直优化；在大规模集群存储系统的管理和运维上，借鉴一些AI的算法能力，让运维更加智能化、自动化。

2

立足场景寻找最佳匹配行业

以质量和服务构建客户信任

加速市场拓展

融中研究：

杉岩已服务10+行业的500+客户，从市场策略来看，杉岩数据在这些行业是齐头并进还是有所侧重？主要的优势行业有哪些？未来发展或者延伸的重点行业还有哪些？

陈坚：

存储系统作为一个标准化产品，没有太多的行业属性。但是软件定义存储有它的最佳应用场景。

杉岩数据依托场景构筑产品和解决方案，再通过最佳应用场景去寻找最佳匹配行业，进行市场开拓。例如，杉岩智慧视频云存储的解决方案，可以在安防、轨道交通、能源、电力、金融等等行业领域使用。另外，我们还推出了一个更加通用化、平台式的私有云产品，适用于金融、政府、教育、医疗等多个行业。

目前，杉岩市场突破的重点在于有大量场景和需求的政府、金融、教育、医疗、交通、能源、制造等行业。市场开拓方面，杉岩在大部分行业齐头并进，对小部分行业有所侧重，例如金融行业将是杉岩数据始终关注的重点行业。

作为存储厂商，杉岩产品的行业属性不强，但在产品智能化层面，实际上我们有一些场景化和行业属性的定制，但这种定制不是为某一客户定制，而是为一个行业定制，并且可以批量复制和推广。

融中研究：

杉岩数据如何切入客户，并获得客户的信任？在客户关系维护和服务方面，杉岩数据采取哪些措施？

陈坚：

从0到1的突破是非常难的。杉岩数据以产品为客户带来的价值来切入市场，早期的客户包括中国移动、中国电信、广发证券、深圳市供电局等。对TOB市场，标杆的意义重大。杉岩切入市场后，依托案例与标杆客户在同行业去推广复制。

杉岩数据依靠高质量的产品和切实的服务获取客户的信任。目前为止，我们存储了2500+PB的数据，从没丢失过数据，这一点让用户非常放心。服务，是创业公司最具竞争力的优势之一，而大厂流程非常复杂，对TO B客户服务的理念和经验也比较缺乏。杉岩与客户的运维人员紧密沟通，对他们进行多维培训赋能，客户能够亲身感受到杉岩对他们的重视。

3

疫情期间，驰援武汉

推出免费服务平台

苦练研发内功蓄势待发

融中研究：

此次疫情对杉岩数据带来什么影响？杉岩数据采取哪些行动？

陈坚：

这次新冠疫情对杉岩数据是一把双刃剑，但总体来说是利好的局面。一方面，疫情对公司短期的获客、工作开展产生了一定的冲击和影响；另一方面，疫情也让新一代信息技术的价值被充分认识，例如远程医疗、远程诊断等会涉及到大量的数据存储和应用，轨迹、跟踪、健康码等其实也都是基于数据的存储和使用。很多行业对于新一代信息技术的接受程度更高了，特别是政府的智慧城市、医疗领域的远程医疗、教育领域的远程教育发展等，带来的数据存储机会更多了。

作为一家创业公司，疫情期间，我们也秉承一贯的家国情怀和责任，进最大的努力为抗疫提供支持。2月份，我们给武汉大学人民医院捐献了一套分布式存储产品，助力提升医院的医疗质量和效率。同时，为了帮助用户解决疫情期间存储问题，我们推出了供用户免费使用的“统一存储平台软件SandStone USP”。

此外，我们在产品研发、市场开拓上没有丝毫懈怠。在产品研发端，我们借机苦练内功、打磨产品，为疫情过后的市场反弹做好准备；在市场开拓方面，我们的销售团队通过远程电话保持与客户、合作伙伴的紧密互动与沟通，努力介绍杉岩的产品方案和价值亮点，积极拓展新客户、挖掘老客户新需求等。

4

分布式存储市场将形成寡头垄断格局

杉岩将始终以差异化取胜

融中研究：

当前存储市场竞争格局怎么样？主要玩家类型有哪些？

陈坚：

从市场格局来说，存储行业技术门槛很高，需要大量的经验积累和打磨，大浪淘沙之后，最终玩家不会很多。在传统存储领域，全球TOP6的公司占据市场百分之八十几的份额。在分布式存储领域，经过五年多的发展，与杉岩数据同期创立的公司中，很多技术不成熟的公司已经慢慢被淘汰了。我相信经过震荡式的发展后，分布式存储的市场格局会趋于稳定，也会变成一个寡头垄断的格局，未来会有一家或几家来占领市场绝大部分的份额，杉岩肯定是其中之一。

从竞争来说，杉岩的优势还是产品。创业公司没有捷径可走，品牌、资金都比拼不过大厂，生存发展一定是靠差异化的竞争力。杉岩的差异化竞争优势主要体现在客户价值金字塔模型的“管”和“挖”，“存”大家都在做，如果这一层都做不好自然会被淘汰；“管”层面，大厂的产品很全，内部对于传统存储和分布式存储会有一些博弈和竞争，但对于垂直用户定制化以及工业化需求领域不一定愿意涉足，而杉岩独特的价值和优势正体现于此。数据智能层面，杉岩的价值和优势更加明显。杉岩的设备产品有一些特殊的功能，这是很多大厂不会去做的事情，他们提供的主要是面向全球市场的标准化产品，聚焦于存储产品的完善。杉岩则是针对垂直细分市场进行产品差异化。

在市场竞争格局中，同类创业公司竞争方面，从目前来说，2013到2015年成立的一批公司，现在的竞争格局越来越清晰了。当前，软件定义存储处于繁荣发展期，蛋糕还没有定型，在不断扩展、挖掘客户新场景、新需求的阶段，都在共同培育市场。所以，我们正在共创生态链，携手合作伙伴建设新型IT基础设施建设。

融中研究：

大型厂商加码存储，例如华为、华三等大厂也开始发力对象存储，对杉岩数据的发展会有冲击吗？杉岩数据如何平衡与基础设施合作伙伴华为的竞争与合作？

陈坚：

大厂确实在加大对存储领域的布局，但我们也看到一个趋势，大厂现在主要在公有云方面布局，而在私有云方面，可能更多的是以传统存储、分布存储的架构来拓展市场。与大厂的竞争要避免正面交锋，走差异化路线。比如在金融领域，杉岩在智能化数据处理方面独具特色，这是我们带给客户的独特价值。

‘肆’ 如何处理海量数据

在实际的工作环境下，许多人会遇到海量数据这个复杂而艰巨的问题，它的主要难点有以下几个方面：
一、数据量过大，数据中什么情况都可能存在。
如果说有10条数据，那么大不了每条去逐一检查，人为处理，如果有上百条数据，也可以考虑，如果数据上到千万级别，甚至 过亿，那不是手工能解决的了，必须通过工具或者程序进行处理，尤其海量的数据中，什么情况都可能存在，例如，数据中某处格式出了问题，尤其在程序处理时， 前面还能正常处理，突然到了某个地方问题出现了，程序终止了。
二、软硬件要求高，系统资源占用率高。
对海量的数据进行处理，除了好的方法，最重要的就是合理使用工具，合理分配系统资源。一般情况，如果处理的数据过TB级，小型机是要考虑的，普通的机子如果有好的方法可以考虑，不过也必须加大CPU和内存，就象面对着千军万马，光有勇气没有一兵一卒是很难取胜的。
三、要求很高的处理方法和技巧。
这也是本文的写作目的所在，好的处理方法是一位工程师长期工作经验的积累，也是个人的经验的总结。没有通用的处理方法，但有通用的原理和规则。
下面我们来详细介绍一下处理海量数据的经验和技巧：
一、选用优秀的数据库工具
现在的数据库工具厂家比较多，对海量数据的处理对所使用的数据库工具要求比较高，一般使用Oracle或者DB2，微软 公司最近发布的SQL Server 2005性能也不错。另外在BI领域：数据库，数据仓库，多维数据库，数据挖掘等相关工具也要进行选择，象好的ETL工具和好的OLAP工具都十分必要， 例如Informatic，Eassbase等。笔者在实际数据分析项目中，对每天6000万条的日志数据进行处理，使用SQL Server 2000需要花费6小时，而使用SQL Server 2005则只需要花费3小时。
二、编写优良的程序代码
处理数据离不开优秀的程序代码，尤其在进行复杂数据处理时，必须使用程序。好的程序代码对数据的处理至关重要，这不仅仅是数据处理准确度的问题，更是数据处理效率的问题。良好的程序代码应该包含好的算法，包含好的处理流程，包含好的效率，包含好的异常处理机制等。
三、对海量数据进行分区操作
对海量数据进行分区操作十分必要，例如针对按年份存取的数据，我们可以按年进行分区，不同的数据库有不同的分区方式，不 过处理机制大体相同。例如SQL Server的数据库分区是将不同的数据存于不同的文件组下，而不同的文件组存于不同的磁盘分区下，这样将数据分散开，减小磁盘I/O，减小了系统负荷， 而且还可以将日志，索引等放于不同的分区下。
四、建立广泛的索引
对海量的数据处理，对大表建立索引是必行的，建立索引要考虑到具体情况，例如针对大表的分组、排序等字段，都要建立相应 索引，一般还可以建立复合索引，对经常插入的表则建立索引时要小心，笔者在处理数据时，曾经在一个ETL流程中，当插入表时，首先删除索引，然后插入完 毕，建立索引，并实施聚合操作，聚合完成后，再次插入前还是删除索引，所以索引要用到好的时机，索引的填充因子和聚集、非聚集索引都要考虑。
五、建立缓存机制
当数据量增加时，一般的处理工具都要考虑到缓存问题。缓存大小设置的好差也关系到数据处理的成败，例如，笔者在处理2亿条数据聚合操作时，缓存设置为100000条/Buffer，这对于这个级别的数据量是可行的。
六、加大虚拟内存
如果系统资源有限，内存提示不足，则可以靠增加虚拟内存来解决。笔者在实际项目中曾经遇到针对18亿条的数据进行处理， 内存为1GB，1个P42.4G的CPU，对这么大的数据量进行聚合操作是有问题的，提示内存不足，那么采用了加大虚拟内存的方法来解决，在6块磁盘分区 上分别建立了6个4096M的磁盘分区，用于虚拟内存，这样虚拟的内存则增加为 4096*6 + 1024 =25600 M，解决了数据处理中的内存不足问题。
七、分批处理
海量数据处理难因为数据量大，那么解决海量数据处理难的问题其中一个技巧是减少数据量。可以对海量数据分批处理，然后处 理后的数据再进行合并操作，这样逐个击破，有利于小数据量的处理，不至于面对大数据量带来的问题，不过这种方法也要因时因势进行，如果不允许拆分数据，还 需要另想办法。不过一般的数据按天、按月、按年等存储的，都可以采用先分后合的方法，对数据进行分开处理。
八、使用临时表和中间表
数据量增加时，处理中要考虑提前汇总。这样做的目的是化整为零，大表变小表，分块处理完成后，再利用一定的规则进行合 并，处理过程中的临时表的使用和中间结果的保存都非常重要，如果对于超海量的数据，大表处理不了，只能拆分为多个小表。如果处理过程中需要多步汇总操作， 可按汇总步骤一步步来，不要一条语句完成，一口气吃掉一个胖子。
九、优化查询SQL语句
在对海量数据进行查询处理过程中，查询的SQL语句的性能对查询效率的影响是非常大的，编写高效优良的SQL脚本和存储 过程是数据库工作人员的职责，也是检验数据库工作人员水平的一个标准，在对SQL语句的编写过程中，例如减少关联，少用或不用游标，设计好高效的数据库表 结构等都十分必要。笔者在工作中试着对1亿行的数据使用游标，运行3个小时没有出结果，这是一定要改用程序处理了。
十、使用文本格式进行处理
对一般的数据处理可以使用数据库，如果对复杂的数据处理，必须借助程序，那么在程序操作数据库和程序操作文本之间选择， 是一定要选择程序操作文本的，原因为：程序操作文本速度快；对文本进行处理不容易出错；文本的存储不受限制等。例如一般的海量的网络日志都是文本格式或者 csv格式（文本格式），对它进行处理牵扯到数据清洗，是要利用程序进行处理的，而不建议导入数据库再做清洗。
十一、定制强大的清洗规则和出错处理机制
海量数据中存在着不一致性，极有可能出现某处的瑕疵。例如，同样的数据中的时间字段，有的可能为非标准的时间，出现的原因可能为应用程序的错误，系统的错误等，这是在进行数据处理时，必须制定强大的数据清洗规则和出错处理机制。
十二、建立视图或者物化视图
视图中的数据来源于基表，对海量数据的处理，可以将数据按一定的规则分散到各个基表中，查询或处理过程中可以基于视图进行，这样分散了磁盘I/O，正如10根绳子吊着一根柱子和一根吊着一根柱子的区别。
十三、避免使用32位机子（极端情况）
目前的计算机很多都是32位的，那么编写的程序对内存的需要便受限制，而很多的海量数据处理是必须大量消耗内存的，这便要求更好性能的机子，其中对位数的限制也十分重要。
十四、考虑操作系统问题
海量数据处理过程中，除了对数据库，处理程序等要求比较高以外，对操作系统的要求也放到了重要的位置，一般是必须使用服务器的，而且对系统的安全性和稳定性等要求也比较高。尤其对操作系统自身的缓存机制，临时空间的处理等问题都需要综合考虑。
十五、使用数据仓库和多维数据库存储
数据量加大是一定要考虑OLAP的，传统的报表可能5、6个小时出来结果，而基于Cube的查询可能只需要几分钟，因此处理海量数据的利器是OLAP多维分析，即建立数据仓库，建立多维数据集，基于多维数据集进行报表展现和数据挖掘等。
十六、使用采样数据，进行数据挖掘
基于海量数据的数据挖掘正在逐步兴起，面对着超海量的数据，一般的挖掘软件或算法往往采用数据抽样的方式进行处理，这样 的误差不会很高，大大提高了处理效率和处理的成功率。一般采样时要注意数据的完整性和，防止过大的偏差。笔者曾经对1亿2千万行的表数据进行采样，抽取出 400万行，经测试软件测试处理的误差为千分之五，客户可以接受。
还有一些方法，需要在不同的情况和场合下运用，例如使用代理键等操作，这样的好处是加快了聚合时间，因为对数值型的聚合比对字符型的聚合快得多。类似的情况需要针对不同的需求进行处理。
海量数据是发展趋势，对数据分析和挖掘也越来越重要，从海量数据中提取有用信息重要而紧迫，这便要求处理要准确，精度要高，而且处理时间要短，得到有价值信息要快，所以，对海量数据的研究很有前途，也很值得进行广泛深入的研究。

‘伍’ 杉岩数据的技术实力如何

这里只说一个吧，自主研发的数据盘漫游功能，保留并利用故障服务器上硬盘中原有数据，减少数据来回迁移所带来的性能损耗，解决更换服务器时遇到的诸多问题。

‘陆’ 银行海量交易数据是怎么存储的

“合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。”分析和决策这才是银行引入“大数据”处理的关键因素。仅仅对于“海量流水数据提供给客户查询”而言，只是满足了客户的某个功能性需求而已。
一般来说，银行的数据都是结构化的、持久性存储的（非结构化的数据一般指电子影像，如客户办理业务的回单扫描图片等），以数据库以及文件方式存储为主。按照交易数据性质，我们可以分为“原始流水数据”和“加工后数据”两种。

‘柒’ 请教：关于结构化和非结构化数据存储

（1）结构化数据，简单来说就是数据库。结合到典型场景中更容易理解，比如企业ERP、财务系统；医疗HIS数据库；政府行政审批；其他核心数据库等。这些应用需要哪些存储方案呢？基本包括高速存储应用需求、数据备份需求、数据共享需求以及数据容灾需求。

（2）非结构化数据库是指其字段长度可变，并且每个字段的记录又可以由可重复或不可重复的子字段构成的数据库，用它不仅可以处理结构化数据（如数字、符号等信息）而且更适合处理非结构化数据（全文文本、图像、声音、影视、超媒体等信息）。

面对海量非结构数据存储，杉岩海量对象存储MOS，提供完整解决方案，采用去中心化、分布式技术架构，支持百亿级文件及EB级容量存储，具备高效的数据检索、智能化标签和分析能力，轻松应对大数据和云时代的存储挑战，为企业发展提供智能决策。

‘捌’ 海量数据存储

存储技术经历了单个磁盘、磁带、RAID到网络存储系统的发展历程。网络存储技术就是将网络技术和I/O技术集成起来，利用网络的寻址能力、即插即用的连接性、灵活性，存储的高性能和高效率，提供基于网络的数据存储和共享服务。在超大数据量的存储管理、扩展性方面具有明显的优势。

典型的网络存储技术有网络附加存储NAS（Network Attached Storage）和存储区域网SAN（Storage Area Networks）两种。

1）NAS技术是网络技术在存储领域的延伸和发展。它直接将存储设备挂在网上，有良好的共享性、开放性。缺点是与LAN共同用物理网络，易形成拥塞，而影响性能。特别是在数据备份时，性能较低，影响在企业存储应用中的地位。

2）SAN技术是以数据存储为中心，使用光纤通道连接高速网络存储的体系结构。即将数据存储作为网络上的一个区域独立出来。在高度的设备和数据共享基础上，减轻网络和服务器的负担。因光纤通道的存储网和LAN分开，使性能得到很大的提高，而且还提供了很高的可靠性和强大的连续业务处理能力。在SAN中系统的扩展、数据迁移、数据本地备份、远程数据容灾数据备份和数据管理等都比较方便，整个SAN成为一个统一管理的存储池（Storage Pool）。SAN存储设备之间通过专用通道进行通信，不占用服务器的资源。因此非常适合超大量数据的存储，成为网络存储的主流。

3）存储虚拟化技术是将系统中各种异构的存储设备映射为一个单一的存储资源，对用户完全透明，达到互操作性的目的和利用已有的硬件资源，把SAN内部的各种异构的存储资源统一成一个单一视图的存储池，可根据用户的需要方便地切割、分配。从而保持已有的投资，减少总体成本，提高存储效率。

存储虚拟化包括3个层次结构：基于服务器的虚拟化存储、基于存储设备的虚拟化存储和基于网络的虚拟化存储。

1）基于服务器的虚拟化存储由逻辑管理软件在主机/服务器上完成。经过虚拟化的存储空间可跨越多个异构的磁盘阵列，具有高度的稳定性和开放性，实现容易、简便。但对异构环境和分散管理不太适应。

2）基于存储设备的虚拟化存储，因一些高端磁盘阵列本身具有智能化管理，可以实现同一阵列，供不同主机分享。其结构性能可达到最优。但实现起来价格昂贵，可操作性差。

3）基于网络的虚拟化存储，通过使用专用的存储管理服务器和相应的虚拟化软件，实现多个主机/服务器对多个异构存储设备之间进行访问，达到不同主机和存储之间真正的互连和共享，成为虚拟存储的主要形式。根据不同结构可分为基于专用服务器和基于存储路由器两种方式。①基于专用服务器的虚拟化，是用一台服务器专用于提供系统的虚拟化功能。根据网络拓扑结构和专用服务器的具体功能，其虚拟化结构有对称和非对称两种方式。在对称结构中数据的传输与元数据访问使用同一通路。实现简单，对服务器和存储设备的影响小，对异构环境的适应性强。缺点是专用服务器可能成为系统性能的瓶颈，影响SAN的扩展。在非对称结构中，数据的传输与元数据访问使用不同通路。应用服务器的I/O命令先通过命令通路传送到专用服务器，获取元数据和传输数据视图后，再通过数据通路得到所需的数据。与对称结构相比，提高了存储系统的性能，增加了扩展能力。②基于存储路由器的SAN虚拟化，存储路由器是一种智能化设备，既具有路由器的功能，又针对I/O进行专门优化。它部署在存储路由器上，多个存储路由器保存着整个存储系统中的元数据多个副本，并通过一定的更新策略保持一致性。这种结构中，因存储路由器具有强大的协议功能，所以具有更多的优势。能充分利用存储资源，保护投资。能实现软硬件隔离，并辅有大量的自动化工具，提高了虚拟服务器的安全性，降低对技术人员的需求和成本。