大数据存储技术短板

❶ 大数据存在哪些问题

数据存储问题：随着技术不断发展，数据量从TB上升至PB，EB量级，如果还用传统的数据存储方式，必将给大数据分析造成诸多不便，这就需要借助数据的动态处理技术，即随着数据的规律性变更和显示需求，对数据进行非定期的处理。同时，数量极大的数据不能直接使用传统的结构化数据库进行存储，人们需要探索一种适合大数据的数据储存模式，也是当下应该着力解决的一大难题。

分析资源调度问题：大数据产生的时间点，数据量都是很难计算的，这就是大数据的一大特点，不确定性。所以我们需要确立一种动态响应机制，对有限的计算、存储资源进行合理的配置及调度。另外，如何以最小的成本获得最理想的分析结果也是一个需要考虑的问题。

专业的分析工具：在发展数据分析技术的同时，传统的软件工具不再适用。目前人类科技尚不成熟，距离开发出能够满足大数据分析需求的通用软件还有一定距离。如若不能对这些问题做出处理，在不久的将来大数据的发展就会进入瓶颈，甚至有可能出现一段时间的滞留期，难以持续起到促进经济发展的作用。

❷ 大数据目前存在什么问题

数据存储问题：随着技术不断发展，数据量从TB上升至PB，EB量级，如果还用传统的数据存储方式，必将给大数据分析造成诸多不便，这就需要借助数据的动态处理技术，即随着数据的规律性变更和显示需求，对数据进行非定期的处理。同时，数量极大的数据不能直接使用传统的结构化数据库进行存储，人们需要探索一种适合大数据的数据储存模式，也是当下应该着力解决的一大难题。

分析资源调度问题：大数据产生的时间点，数据量都是很难计算的，这就是大数据的一大特点，不确定性。所以我们需要确立一种动态响应机制，对有限的计算、存储资源进行合理的配置及调度。另外，如何以最小的成本获得最理想的分析结果也是一个需要考虑的问题。

专业的分析工具：在发展数据分析技术的同时，传统的软件工具不再适用。目前人类科技尚不成熟，距离开发出能够满足大数据分析需求的通用软件还有一定距离。如若不能对这些问题做出处理，在不久的将来大数据的发展就会进入瓶颈，甚至有可能出现一段时间的滞留期，难以持续起到促进经济发展的作用。

关于大数据分析目前存在哪些问题，青藤小编就和您分享到这里了。如果您对大数据工程有浓厚的兴趣，希望这篇文章可以为您提供帮助。如果您还想了解更多关于数据分析师、大数据工程师的技巧及素材等内容，可以点击本站的其他文章进行学习。

❸ 大数据存储与应用特点及技术路线分析

大数据存储与应用特点及技术路线分析

大数据时代，数据呈爆炸式增长。从存储服务的发展趋势来看，一方面，对数据的存储量的需求越来越大；另一方面，对数据的有效管理提出了更高的要求。大数据对存储设备的容量、读写性能、可靠性、扩展性等都提出了更高的要求，需要充分考虑功能集成度、数据安全性、数据稳定性，系统可扩展性、性能及成本各方面因素。

大数据存储与应用的特点分析

“大数据”是由数量巨大、结构复杂、类型众多数据构成的数据集合，是基于云计算的数据处理与应用模式，通过数据的整合共享，交叉复用形成的智力资源和知识服务能力。其常见特点可以概括为3V:Volume、Velocity、Variety(规模大、速度快、多样性)。

大数据具有数据规模大(Volume)且增长速度快的特性，其数据规模已经从PB级别增长到EB级别，并且仍在不断地根据实际应用的需求和企业的再发展继续扩容，飞速向着ZB(ZETA-BYTE)的规模进军。以国内最大的电子商务企业淘宝为例，根据淘宝网的数据显示，至2011年底，淘宝网最高单日独立用户访问量超过1.2亿人，比2010年同期增长120%,注册用户数量超过4亿，在线商品数量达到8亿，页面浏览量达到20亿规模，淘宝网每天产生4亿条产品信息，每天活跃数据量已经超过50TB.所以大数据的存储或者处理系统不仅能够满足当前数据规模需求，更需要有很强的可扩展性以满足快速增长的需求。

(1)大数据的存储及处理不仅在于规模之大，更加要求其传输及处理的响应速度快(Velocity)。

相对于以往较小规模的数据处理，在数据中心处理大规模数据时，需要服务集群有很高的吞吐量才能够让巨量的数据在应用开发人员“可接受”的时间内完成任务。这不仅是对于各种应用层面的计算性能要求，更加是对大数据存储管理系统的读写吞吐量的要求。例如个人用户在网站选购自己感兴趣的货物，网站则根据用户的购买或者浏览网页行为实时进行相关广告的推荐，这需要应用的实时反馈;又例如电子商务网站的数据分析师根据购物者在当季搜索较为热门的关键词，为商家提供推荐的货物关键字，面对每日上亿的访问记录要求机器学习算法在几天内给出较为准确的推荐，否则就丢失了其失效性；更或者是出租车行驶在城市的道路上，通过GPS反馈的信息及监控设备实时路况信息，大数据处理系统需要不断地给出较为便捷路径的选择。这些都要求大数据的应用层可以最快的速度，最高的带宽从存储介质中获得相关海量的数据。另外一方面，海量数据存储管理系统与传统的数据库管理系统，或者基于磁带的备份系统之间也在发生数据交换，虽然这种交换实时性不高可以离线完成，但是由于数据规模的庞大，较低的数据传输带宽也会降低数据传输的效率，而造成数据迁移瓶颈。因此大数据的存储与处理的速度或是带宽是其性能上的重要指标。

(2)大数据由于其来源的不同，具有数据多样性的特点。

所谓多样性，一是指数据结构化程度，二是指存储格式，三是存储介质多样性。对于传统的数据库，其存储的数据都是结构化数据，格式规整，相反大数据来源于日志、历史数据、用户行为记录等等，有的是结构化数据，而更多的是半结构化或者非结构化数据，这也正是传统数据库存储技术无法适应大数据存储的重要原因之一。所谓存储格式，也正是由于其数据来源不同，应用算法繁多，数据结构化程度不同，其格式也多种多样。例如有的是以文本文件格式存储，有的则是网页文件，有的是一些被序列化后的比特流文件等等。所谓存储介质多样性是指硬件的兼容，大数据应用需要满足不同的响应速度需求，因此其数据管理提倡分层管理机制，例如较为实时或者流数据的响应可以直接从内存或者Flash(SSD)中存取，而离线的批处理可以建立在带有多块磁盘的存储服务器上，有的可以存放在传统的SAN或者NAS网络存储设备上，而备份数据甚至可以存放在磁带机上。因而大数据的存储或者处理系统必须对多种数据及软硬件平台有较好的兼容性来适应各种应用算法或者数据提取转换与加载(ETL)。

大数据存储技术路线最典型的共有三种：

第一种是采用MPP架构的新型数据库集群，重点面向行业大数据，采用Shared Nothing架构，通过列存储、粗粒度索引等多项大数据处理技术，再结合MPP架构高效的分布式计算模式，完成对分析类应用的支撑，运行环境多为低成本 PC Server，具有高性能和高扩展性的特点，在企业分析类应用领域获得极其广泛的应用。

这类MPP产品可以有效支撑PB级别的结构化数据分析，这是传统数据库技术无法胜任的。对于企业新一代的数据仓库和结构化数据分析，目前最佳选择是MPP数据库。

第二种是基于Hadoop的技术扩展和封装，围绕Hadoop衍生出相关的大数据技术，应对传统关系型数据库较难处理的数据和场景，例如针对非结构化数据的存储和计算等，充分利用Hadoop开源的优势，伴随相关技术的不断进步，其应用场景也将逐步扩大，目前最为典型的应用场景就是通过扩展和封装 Hadoop来实现对互联网大数据存储、分析的支撑。这里面有几十种NoSQL技术，也在进一步的细分。对于非结构、半结构化数据处理、复杂的ETL流程、复杂的数据挖掘和计算模型，Hadoop平台更擅长。

第三种是大数据一体机，这是一种专为大数据的分析处理而设计的软、硬件结合的产品，由一组集成的服务器、存储设备、操作系统、数据库管理系统以及为数据查询、处理、分析用途而特别预先安装及优化的软件组成，高性能大数据一体机具有良好的稳定性和纵向扩展性。

以上是小编为大家分享的关于大数据存储与应用特点及技术路线分析的相关内容，更多信息可以关注环球青藤分享更多干货

❹ 大数据发展现状怎样

2015年左右，大数据相关政策规划密集出台，同期为大数据企业新增数量顶峰时期。近年来，我国大数据产业迎来新的发展机遇期，产业规模日趋成熟。大数据产业主体从“硬”设施向“软”服务转变的态势将更加明显，面向金融、政务、电信、医疗等领域的大数据服务将实现倍增创新。

大数据企业数量持续增长，增速与政策出台密切相关

根据IT桔子统计，大数据企业的快速增长阶段出现在2013-2015年，增长速度在2015年达到最高峰。2015年后，市场日趋成熟，企业新增开始趋于放缓，大数据产业逐渐走向成熟。

—— 以上数据及分析均来自于前瞻产业研究院《中国大数据产业发展前景与投资战略规划分析报告》。

❺ 何谓大数据大数据的特点,意义和缺陷.

大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。

大数据，更多的功能是分析过去，提醒现在，展望未来。广泛应用于商业领域，借以实现精准营销，预测趋势，实现商业利益的最优与最大。体现的价值为：

（1）利用大数据针对大量消费者的消费习惯，精准提供产品或服务；

（2）利用大数据做服务转型，做小而美模式；

（3）不能充分利用大数据价值的企业，将会在互联网压力之下摇摇欲坠。

国家通过结合大数据和高性能的分析，是指效率更加提高，同时也能降低国家运行成本。如：

（1）为成千上万的车辆规划实时交通路线，躲避拥堵；

（2）及时解析问题和缺陷的根源，是制度更加完善。

（3）使用点击流分析和数据挖掘来规避欺诈行为。

大数据的缺陷：

企业遭到黑客攻击，客户的资料大量非法流出，再利用大数据分析挖掘，人群进行分类排除，从而让人更容易受骗。

(5)大数据存储技术短板扩展阅读：

2016年3月17日，《中华人民共和国国民经济和社会发展第十三个五年规划纲要》发布，其中第二十七章“实施国家大数据战略”提出：把大数据作为基础性战略资源，全面实施促进大数据发展行动，加快推动数据资源共享开放和开发应用，助力产业转型升级和社会治理创新。

具体包括：加快政府数据开放共享、促进大数据产业健康发展。

❻ 大数据的处理中有哪些棘手的技术问题有待解决

我现在在一家比较牛的数据软件开发公司灵玖软件做工程师，目前能想到的一是数据处理的长尾问题，比如搜索引擎中，经常会出现大部分Instance已经结束，可是还有那么几个就是需要花费很长时间，这是由机器环境和各个Partition的处理时间不均衡导致的。
再一个是数据的存储，一般需要处理的数据将会很庞大的，硬件设施要过关。
再就是数据清洗了，说白了利用一些算法清洗掉我们不需要的数据。
最后就是可视化，利用各种表现形式，从不同角度呈现数据分析的结果。

❼ 国内大数据需求所面临的典型存储挑战

国内大数据需求所面临的典型存储挑战
大数据让零售无需店面，在最大限度降低投资同时，加快现金流周转效率。大数据使各行各业商家提高获取优质客户资源和提升利润空间的同时，也使竞争进入“一兵一卒”用户争夺战之中。

大数据时代，企业数据量和数据种类出现飞速增长。大数据时代，全球应用数量从几年前的以十万为单位计算，到了以百万为单位计算。10年前，IT从业人员只是以百万计算，数据生成来源也比较单一，但现在，IT服务使用者已经上升到十几亿的消费者，数据生成来源更为丰富，是名副其实的大数据时代。同时，IT资源的配置和管理要满足高度虚拟化或集群IT架构的需求。企业应用部署效率、业务稳定服务性能，以及动态有效满足OLTP和OLAP性能要求，直接决定着企业核心竞争力。企业要求存储更灵活、更动态、性能更稳定，以支撑大量用户对各种IT服务交付的能力。此外，大数据时代还需要集中、统一和自动化管理的功能。
中国市场针对大数据的需求所面临的典型的存储挑战：
1.业务关键型性能：就“存储是否能满足目前业务关键应用性能”的调查结果显示，接受调查人员（总计455名受访者）中28.1%表示在未来12个月考虑部署新型存储。36.5%用户在未来12-24个月考虑部署新存储。大数据时代，应用使用者的快速增加，对存储并行处理能力提出了更高要求。此外，生产应用虚拟化产生大量随机读取，这就对传统IOPs和时间延迟提出了挑战。
2.存储利用率：大数据时代数据量快速增加。如何通过存储容量优化，降低存储容量和网络资源需求，降低数据保护过程对生产环境的性能影响，是控制大数据存储新增开支的关键。
3. 容量优化系统性能：为了提高存储资源利用率和业务连续性，存储厂商近年纷纷推出各种企业级功能。为了降低存储管理强度，中端以上存储具有多种工作负载性能监控、动态资源配置和自动化端对端管理功能。然而，传统存储控制器处理能力有限，启动这些企业级功能需要消耗存储控制器资源。用户往往要在存储资源优化和生产性能之间做取舍。
4.在大数据时代如何利用各种已有存储资源，为大数据时代的业务发展提供高可扩展和业务连续性是关键。传统存储下，不同厂商的存储之间无法实现快照、复制、备份和恢复，由此带来数据保护的大量开支。同时，带来存储资源浪费。
大数据环境对系统性能要求非常苛刻，要满足应用OLTP和大数据分析OLAP，以及业务关键型应用的低延迟需求，传统地通过增加控制器和硬盘这一解决方式不仅带来高昂的采购、运维成本和占地空间成本，而且还会导致资源的闲置，从而进一步降低了企业的IT总拥有成本。

❽ 大数据发展五大关键要素

大数据发展五大关键要素
目前，大数据正成为推动企业效率提升和管理变革的强大力量，一些企业正利用互联网与物联网等带来的海量数据，通过挖掘、分析与业务应用，赢得优势。它正成为经济繁荣的催化剂，在美国，大数据已经被提到了国家战略的高度。但如何发展大数据呢？从新加坡的经验来看，政府在其中起到关键性的作用。
新加坡政府抓住了大数据发展的五大关键要素：基础设施、产业链、人才、技术和立法。它在其中发挥了关键角色，尤为值得一提的是，这五个要素是普通企业所做不到的，而新加坡政府正好填补了企业的短板。
大数据基础设施方面：一个国家在信息和存储等方面的基础设施，决定了大数据时代的海量数据能否汇集、传达，存储和应用。为了为大数据的发展提供良好的基础，新加坡在基础建设投资方面毫不吝啬。新加坡是世界十大高速网络架构之一，并承载了东南亚地区半数以上的第三方数据中心储存量。新加坡已确立其作为全球数据管理枢纽的地位，汇集了东南亚超过50%的商业数据托管及中立运营商数据中心。
大数据产业链方面：在大数据产业链中，横跨了包括数据提供者、存储商、分析和挖掘商，以及应用企业等。对于企业，往往只有应用能力，却缺乏获得、存储和分析与挖掘大数据的能力。而在这方面，当然要依靠产业链中相应的服务商，但政府在产业链建设中发挥了关键性的作用。
在数据挖掘方面，鼓励大学设立数据挖掘和分析平台，2012年，新加坡管理大学（SMU）推出的“Livelabs”创新平台，旨在增强新加坡在消费者和社会行为领域的数据分析能力；鼓励企业设立数据分析中心，一些企业通过在新加坡设立数据分析中心，洞察亚洲市场需求，已成功地实现了区域市场业务的拓展。2011年，劳斯莱斯（Rolls-Royce）与新加坡科技研究局（A*STAR）下设的高性能计算研究院合作成立了计算工程实验室，在智能数据分析领域进行合作研究。
新加坡信息通信研究院（I2R）拥有全亚洲最大的数据挖掘团队之一。
承担数据提供者角色，主动披露政府掌握的数据，在大数据建设中，这一点至关重要，因为毕竟政府是最大的数据拥有者。但是让政府能够主动开放自己的数据，并不是一件容易的事，而新加坡政府却做到了这一点。新加坡土地管理局（Singapore Land Authority）研发的电子地图（OneMap），就为基于位置的服务（LBS）的企业提供了开放数据平台。
新加坡陆路交通管理局则通过公共数据开放计划开放新加坡交通数据，鼓励企业甚至是个人开发提升公共交通效率的应用软件。
新加坡环境局（NEA, National Environment Agency）与多家企业合作，研究如何收取降雨量，并通过掌握不同地区环境的数据，来预测哪个地区接下来会爆发热带地区可能产生的疾病。
大数据人才方面：目前企业应用大数据过程中往往最缺少数据人才，培养数据人才要充分发挥政府的作用。为了成为全球领先的数据分析中心，新加坡政府在这方面的努力可谓不遗其力。
它与企业以及本地高等院校开展合作，确保毕业生获得必备的专业知识和技能。目前，新加坡在数据分析领域开设了4个硕士课程以及5个本科课程，提供侧重于具体行业应用的多学科研究方法。
在新加坡经济发展局的协助下，亚洲顶尖学府新加坡国立大学（NUS）和IBM将开展合作，共同成立新加坡国立大学商业分析中心。该中心旨在帮助在校学生以及在职人员提升商业分析领域的最新职业技能，为未来数据分析工作打好基础。
大数据技术方面：大数据存储、分析和挖掘技术与产品往往需要巨大投资，但是一般的企业无法承受这样的投资，此时政府的作用就尤为重要。而新加坡在其中，从来就没有缺位。
信息通信研究院（I2R）与中国搜索引擎巨头网络在东盟自然语言技术开发领域进行合作。这一技术如被普遍应用，将为企业进军新兴的东盟市场创造空前机遇。此外，数据分析会被应用在分析社会认知领域。新加坡高性能计算研究所（IHPC）是率先开发此项技术的研究所之一。通过对人们第一印象的建模研究，企业可以更好地了解亚洲消费者。这项技术能够帮助企业预测消费者对新产品的反馈。
在立法方面：大数据的发展总是伴随着与个人隐私权的冲突，而能否通过立法明确保护个人隐私权是大数据能否良性发展的关键，而新加坡在这方面做得很充分。新加坡于2012年公布了《个人资料保护法》（PDPA）。《个人资料保护法》作为一项较为宽松的立法，旨在防范对国内数据以及源于境外的个人资料的滥用行为。该法案的出台使公民得以进一步了解个人资料的使用途径；同时，在进行个人信息处理的过程中，也加强了企业与客户之间的信任程度。
新加坡在收集、存储大量数据的基础上，对数据进行有效的分析与应用，从中获得经济价值。到2017年底，预计数据行业将为新加坡经济贡献十亿新元的增值，并培养2,500名跨领域数据分析专业人才。
而所有这一切在于新加坡对于大数据的战略定位，对于自然资源稀缺的新加坡而言，“利用数据作为资源”是非常好的选择，新加坡经济发展局资讯通信与媒体业执行司长吴汭刚认为，“对于新加坡，数据就是未来流通的货币，而我们目前所做的就是将新加坡打造成全球数据管理中心，从而有能力与企业合作，将数据的潜在价值转化为可见的商业利润。”

❾ 详解大数据存储：哪些问题最容易出现

数据是重要的生产要素
信息时代，数据俨然已成为一种重要的生产要素，如同资本、劳动力和原材料等其他要素一样，而且作为一种普遍需求，它也不再局限于某些特殊行业的应用。各行各业的公司都在收集并利用大量的数据分析结果，尽可能的降低成本，提高产品质量、提高生产效率以及创造新的产品。例如，通过分析直接从产品测试现场收集的数据，能够帮助企业改进设计。此外，一家公司还可以通过深入分析客户行为，对比大量的市场数据，从而超越他的竞争对手。
存储技术必须跟上
随着大数据应用的爆发性增长，它已经衍生出了自己独特的架构，而且也直接推动了存储、网络以及计算技术的发展。毕竟处理大数据这种特殊的需求是一个新的挑战。硬件的发展最终还是由软件需求推动的，就这个例子来说，我们很明显的看到大数据分析应用需求正在影响着数据存储基础设施的发展。
从另一方面看，这一变化对存储厂商和其他IT基础设施厂商未尝不是一个机会。随着结构化数据和非结构化数据量的持续增长，以及分析数据来源的多样化，此前存储系统的设计已经无法满足大数据应用的需要。存储厂商已经意识到这一点，他们开始修改基于块和文件的存储系统的架构设计以适应这些新的要求。在这里，我们会讨论哪些与大数据存储基础设施相关的属性，看看它们如何迎接大数据的挑战。
容量问题
这里所说的“大容量”通常可达到PB级的数据规模，因此，海量数据存储系统也一定要有相应等级的扩展能力。与此同时，存储系统的扩展一定要简便，可以通过增加模块或磁盘柜来增加容量，甚至不需要停机。基于这样的需求，客户现在越来越青睐Scale-out架构的存储。Scale-out集群结构的特点是每个节点除了具有一定的存储容量之外，内部还具备数据处理能力以及互联设备，与传统存储系统的烟囱式架构完全不同，Scale-out架构可以实现无缝平滑的扩展，避免存储孤岛。
“大数据”应用除了数据规模巨大之外，还意味着拥有庞大的文件数量。因此如何管理文件系统层累积的元数据是一个难题，处理不当的话会影响到系统的扩展能力和性能，而传统的NAS系统就存在这一瓶颈。所幸的是，基于对象的存储架构就不存在这个问题，它可以在一个系统中管理十亿级别的文件数量，而且还不会像传统存储一样遭遇元数据管理的困扰。基于对象的存储系统还具有广域扩展能力，可以在多个不同的地点部署并组成一个跨区域的大型存储基础架构。
延迟问题
“大数据”应用还存在实时性的问题。特别是涉及到与网上交易或者金融类相关的应用。举个例子来说，网络成衣销售行业的在线广告推广服务需要实时的对客户的浏览记录进行分析，并准确的进行广告投放。这就要求存储系统在必须能够支持上述特性同时保持较高的响应速度，因为响应延迟的结果是系统会推送“过期”的广告内容给客户。这种场景下，Scale-out架构的存储系统就可以发挥出优势，因为它的每一个节点都具有处理和互联组件，在增加容量的同时处理能力也可以同步增长。而基于对象的存储系统则能够支持并发的数据流，从而进一步提高数据吞吐量。
有很多“大数据”应用环境需要较高的IOPS性能，比如HPC高性能计算。此外，服务器虚拟化的普及也导致了对高IOPS的需求，正如它改变了传统IT环境一样。为了迎接这些挑战，各种模式的固态存储设备应运而生，小到简单的在服务器内部做高速缓存，大到全固态介质的可扩展存储系统等等都在蓬勃发展。
并发访问 一旦企业认识到大数据分析应用的潜在价值，他们就会将更多的数据集纳入系统进行比较，同时让更多的人分享并使用这些数据。为了创造更多的商业价值，企业往往会综合分析那些来自不同平台下的多种数据对象。包括全局文件系统在内的存储基础设施就能够帮助用户解决数据访问的问题，全局文件系统允许多个主机上的多个用户并发访问文件数据，而这些数据则可能存储在多个地点的多种不同类型的存储设备上。

❿ 大数据技术难点在哪里

难点在于几个方面：
1.大数据的存储，数据量爆炸，如何低成本的存储是个难点
2.大数据的查询，数据量大的时候如何快速的查询，是个难点
3.大数据分析和挖掘，如何从大数据中产出分析结论和挖掘出信息，这个是难点