云上数据湖存储

‘壹’ 什么是大数据存储管理

1.分布式存储

传统化集中式存储存在已有一段时间。但大数据并非真的适合集中式存储架构。Hadoop设计用于将计算更接近数据节点，同时采用了HDFS文件系统的大规模横向扩展功能。

虽然，通常解决Hadoop管理自身数据低效性的方案是将Hadoop 数据存储在SAN上。但这也造成了它自身性能与规模的瓶颈。现在，如果你把所有的数据都通过集中式SAN处理器进行处理，与Hadoop的分布式和并行化特性相悖。你要么针对不同的数据节点管理多个SAN，要么将所有的数据节点都集中到一个SAN。

但Hadoop是一个分布式应用，就应该运行在分布式存储上，这样存储就保留了与Hadoop本身同样的灵活性，不过它也要求拥抱一个软件定义存储方案，并在商用服务器上运行，这相比瓶颈化的Hadoop自然更为高效。

2.超融合VS分布式

注意，不要混淆超融合与分布式。某些超融合方案是分布式存储，但通常这个术语意味着你的应用和存储都保存在同一计算节点上。这是在试图解决数据本地化的问题，但它会造成太多资源争用。这个Hadoop应用和存储平台会争用相同的内存和CPU。Hadoop运行在专有应用层，分布式存储运行在专有存储层这样会更好。之后，利用缓存和分层来解决数据本地化并补偿网络性能损失。

3.避免控制器瓶颈(Controller Choke Point)

实现目标的一个重要方面就是——避免通过单个点例如一个传统控制器来处理数据。反之，要确保存储平台并行化，性能可以得到显着提升。

此外，这个方案提供了增量扩展性。为数据湖添加功能跟往里面扔x86服务器一样简单。一个分布式存储平台如有需要将自动添加功能并重新调整数据。

4.删重和压缩

掌握大数据的关键是删重和压缩技术。通常大数据集内会有70%到90%的数据简化。以PB容量计，能节约数万美元的磁盘成本。现代平台提供内联(对比后期处理)删重和压缩，大大降低了存储数据所需能力。

5.合并Hadoop发行版

很多大型企业拥有多个Hadoop发行版本。可能是开发者需要或是企业部门已经适应了不同版本。无论如何最终往往要对这些集群的维护与运营。一旦海量数据真正开始影响一家企业时，多个Hadoop发行版存储就会导致低效性。我们可以通过创建一个单一，可删重和压缩的数据湖获取数据效率

6.虚拟化Hadoop

虚拟化已经席卷企业级市场。很多地区超过80%的物理服务器现在是虚拟化的。但也仍有很多企业因为性能和数据本地化问题对虚拟化Hadoop避而不谈。

7.创建弹性数据湖

创建数据湖并不容易，但大数据存储可能会有需求。我们有很多种方法来做这件事，但哪一种是正确的?这个正确的架构应该是一个动态，弹性的数据湖，可以以多种格式(架构化，非结构化，半结构化)存储所有资源的数据。更重要的是，它必须支持应用不在远程资源上而是在本地数据资源上执行。

不幸的是，传统架构和应用(也就是非分布式)并不尽如人意。随着数据集越来越大，将应用迁移到数据不可避免，而因为延迟太长也无法倒置。

理想的数据湖基础架构会实现数据单一副本的存储，而且有应用在单一数据资源上执行，无需迁移数据或制作副本

8.整合分析

分析并不是一个新功能，它已经在传统RDBMS环境中存在多年。不同的是基于开源应用的出现，以及数据库表单和社交媒体，非结构化数据资源(比如，维基网络)的整合能力。关键在于将多个数据类型和格式整合成一个标准的能力，有利于更轻松和一致地实现可视化与报告制作。合适的工具也对分析/商业智能项目的成功至关重要。

9. 大数据遇见大视频

大数据存储问题已经让人有些焦头烂额了，现在还出现了大视频现象。比如，企业为了安全以及操作和工业效率逐渐趋于使用视频监控，简化流量管理，支持法规遵从性和几个其它的使用案例。很短时间内这些资源将产生大量的内容，大量必须要处理的内容。如果没有专业的存储解决方案很可能会导致视频丢失和质量降低的问题。

10.没有绝对的赢家

Hadoop的确取得了一些进展。那么随着大数据存储遍地开花，它是否会成为赢家，力压其它方案，其实不然。

比如，基于SAN的传统架构在短期内不可取代，因为它们拥有OLTP，100%可用性需求的内在优势。所以最理想的办法是将超融合平台与分布式文件系统和分析软件整合在一起。而成功的最主要因素则是存储的可扩展性因素。

‘贰’ 如何搭建数据湖架构

java">EdoInteractive在几年前遇到一个大问题：公司使用交易数据来帮助零售商和餐馆进行个性化促销，但其数据仓库没有足够时间去处理所有的信用卡和借记卡交易数据

“我们要花费27小时来处理每日的数据量，”Edo主管基础设施和信息系统的高级副总裁TimGarnto说道：“所以在2013年，我们放弃了现有的基于Postgresql的关系型数据库系统，使用了Hadoop集群作为公司的数据湖架构。”

Garnto的团队一天中需要收集5000多万条美国零售交易数据，并分发到20个节点的集群中,这些节点运行在Cloudera的Hadoop分布式机架上，使用Pentaho的数据集成工具。从银行和信用卡公司收集到的数据，会被传入设计好的预测模型中，以确定个体持卡人所需的优惠券。Edo的业务伙伴每周通过电子邮件发出优惠券，这些优惠券会在产生对应消费时生效。

每日的数据构建时间缩减到大约四个小时，Garnto表示，根据正在运行模型的复杂性，Edo的数据分析师能“在几分钟或几小时内完成他们的工作。而以前，他们可能累的要死。

但数据湖上并不总是阳光灿烂，一帆风顺的。起初，Edo只有一个员工具有HadoopMapRece编程框架的经验。公司联合Chicago总部和Nashville分部，对其他员工进行Hadoop技术内部培训，但后来这使得他们不得放弃了熟悉的数据查询方式。“我们花了很多时间更新这一过程。”Garnto说。

创建一个保证原始数据一致性和生成标准化分析数据集的两步程序也需要花时间去解决。目前拥有包含450亿条记录(总共255TB的数据)的集群，已成为Edo业务操作的核心，对于这个集群，Garnto需要小心管理，谨慎添加新的Hadoop生态技术。否则，对公司某个部分的调整可能会影响整个系统对其他部分的工作处理。

数据湖使实时分析成为了可能

Webtrends公司是另一家数据湖的使用者，该公司收集并处理网站、手机、物联网上的活动数据。这家位于波特兰的公司于2014年7月部署了基于Hortonworks的Hadoop集群，目前正在试用阶段，计划在2015年初完全实现。它最初只支持了一个叫Explore的产品，让企业营销人员做客户数据的专项分析。Webtrends产品架构主管PeterCrossley表示，每个季度大约有500TB的数据添加到60个节点的集群中，现在总共有1.28PB。

随着时间的推移，Webtrends计划使用Hadoop平台代替自有的数据网络附加存储平面文件系统。Crossley表示，使用ApacheKafka消息队列和自动化脚本处理技术，互联网点击流数据可以涌入集群和并在20至40毫秒内做好分析准备工作。因此，报表和分析过程几乎可以在瞬间开始，这比老系统快得多。Hadoop集群还支持进阶分析，且能降低25%到50%的硬件成本。

Crossley表示，采用数据湖概念需要公司内部在管理和使用Webtrends为客户收集的信息时做到“思路上的转变”。之前，该公司主要使用数据存储构建通用报表。但是，一个数据湖与其说是一个真理，不如说是真理的来源，在其之上，您可以构建多个数据集以供不同的分析用途。

Webtrends也不得不认真考虑其数据湖的架构和数据治理过程，以防止Hadoop集群变成“数据沼泽”，正如Crossley所说。刚刚进入系统的原始数据结构十分松散(+微信关注网络世界)，但是应该有非常严格的规则来规定其应该是什么样子。此外，他的团队已经将集群分成三个不同的层次：一个用于原始数据，第二个用于日增量数据集，另一个用于存储需要被纳入的第三方信息。基于不同的数据集细节，每一层次都具有自己的数据分类和治理策略。

对你的数据保持控制

Razorsight公司CTOSurenNathan还指出，建立和管理一个Hadoop数据湖需要具备良好的纪律性和组织性。否则系统很快就会变成一个失控的垃圾场，就像一个由很多文件组成的SharePoint，没有人知道如何找到这些文件。

Razorsight为电信企业提供了一组基于云的分析服务，2014年第二季度开始使用运行在Hadoop集群上MapR技术。客户组、操作和网络数据通过自有工具被输入到系统中，通过Spark引擎的处理后，由Razorsight数据科学家进行分析;集群具有五个生产节点和120TB的存储容量。

和Webtrends类似的，Razorsight数据湖被分割成三个分区。在Razorsight的案例中，一个数据湖能够存储不到六个月的数据，另一个包含旧的但仍然活跃的数据，第三则存储不再使用的但需要保留的信息。目前，在这两个活动区域中有超过20TB的数据。为了保证系统工作平稳，Razorsight招聘了具备分布式系统的数据治理和开发经验的新员工，同时也培训现有员工使用Hadoop，Spark和相关技术的能力。

目前是迁移到新平台的阶段。每TB大约花费2000美元，Hadoop集群成本仅仅是公司之前所部署的IBMNetezza数据仓库系统的十分之一。但Nathan表示，Razorsight首先建立专门用于数据存储的集群，然后再进入处理和准备阶段。因为Netezza硬件和IBMSPSS分析软件之间存在的紧密联系，分析建模和数据可视化仍会存在于旧的系统中。建模将保持现状，但Nathan预计到今年年底，将可视化层和Razorsight分析结果数据转移到数据湖架构中。
转自网界网：http://software.cnw.com.cn/software-database/htm2015/20150709_321300.shtml

来自TechTarget中国的作者：CraigStedman分享
转自网界网：http://software.cnw.com.cn/software-database/htm2015/20150709_321300.shtml

‘叁’ 2021年，亚马逊云科技 re:Invent 全球大会，有什么拿手好戏

听说亚马逊云科技应该还可以

‘肆’ 各路大佬，腾讯云的对象存储和云数据库有什么区别

对象存储（Cloud Object Storage，COS）是由腾讯云推出的无目录层次结构、无数据格式限制，可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限，无需分区管理，适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。COS 提供网页端管理界面、多种主流开发语言的 SDK、API 以及命令行和图形化工具，并且兼容 S3 的 API 接口，方便用户直接使用社区工具和插件。
腾讯云数据库（TencentDB）是腾讯提供的高可靠、高可用、可弹性伸缩的云数据库服务产品的总称。可轻松运维主流开源及商业数据库（MySQL、Redis、MongoDB、MariaDB、SQL Server、PostgreSQL等），它更拥有容灾、备份、恢复、监控、数据传输服务、安全服务、灾备和智能 DBA 等全套服务。
如果是海量数据存储，可以考虑市面上的对象存储，比如杉岩海量对象存储MOS，为解决海量非结构数据存储提供整体解决方案

‘伍’ “大数据”时代下如何处理数据

大数据被越来越多的人提起，其价值也逐渐深入人心。但，大数据是如何处理的，很多人并不知道。其实，通常大数据处理方式包括两种，一种是实时处理，另一种则为离线处理。

商业中比较常见的，就是使用HDFS技术对数据进行储存，然后使用MapRece对数据进行批量化理，然后将处理好的数据进行存储或者展示。其中，HDFS是一种分布式文件系统，而MapRece则是一种分布式批量计算框架。

‘陆’ 云上贵州云储存空间怎样使用

摘要 1、首先打开手机，点击“设置”图标进入手机设置；

‘柒’ 腾讯云安全运营中心2.0对云服务器能带来什么

随着产业互联网时代各行业数字化转型的逐步深入，用户有越来越多的业务依托公有云承载。公有云为用户构建数字化业务带来了极大便利和效率提升，但同时也对用户安全体系的建设带来了新的挑战。根据咨询机构的调查显示，公有云上安全事件发生的原因主要有用户不当的云配置以及云上的不当操作行为和越权操作。用户在公有云上除了需要应对外部威胁外，也需要做好自身的安全配置及云上操作的管理，防患于未然。

基于用户面临的云上安全挑战，腾讯安全即将发布腾讯云安全运营中心2.0，在原有安全运营中心的安全事件管理、泄漏监测及安全大屏等功能基础上新增资产安全中心、安全配置管理、云上用户行为智能分析、合规管理及安全评分等功能，帮助用户实现更全面的安全风险监测和一站式的自动化安全运营，提升用户在公有云上的整体安全水平。

安全评分

安全运营中心全新发布安全评分功能。基于安全运营中心的云上安全数据湖，从安全事件、漏洞及云安全配置风险等维度对云上安全情况进行整体评分，帮助云上用户直观了解自身腾讯云上业务的整体安全态势。

统一云上资产安全中心

资产安全运营是安全运营的基础。安全运营中心全新发布资产安全中心，实现12类云上资产的统一安全管理，涉及云服务器CVM、负载均衡LB、MySQL数据库、TDSQL数据库、Redis数据库、对象存储COS、云硬盘CBS及SSL证书等。资产安全中心可基于安全运营视角，从配置风险、漏洞及安全事件等角度对资产安全风险进行定位和管理，实现面向云资产的安全运营管理。针对云服务器，资产安全中心提供统一的漏洞运营平台，结合腾讯安全云鼎实验室提供的关键漏洞预警能力，帮助用户提升漏洞应对能力。

自动化云安全配置检查

针对云上各类型资产的配置风险，安全运营中心基于腾讯自身安全实践，为用户提供云原生的资产配置风险检查功能。从基础安全防护、身份认证与权限、网络访问控制、数据安全、日志审计及监控告警等维度，对云上12类资产进行自动化的配置风险检查；针对发现的风险问题提供相应的处置建议和快速修复方式，从源头提升云上风险应对水平。

云上用户行为智能分析（预览）

除了外部攻击及自身配置风险外，公有云业务面临的另一大安全风险来自于云上业务运营中的异常行为与风险操作。安全运营中心的Cloud UBA功能模块通过可视化、统计分析和异常检测等方式可对用户在公有云上的操作行为进行智能分析，识别安全风险。一方面，通过对操作路径、操作的云资源、操作行为、以及用户登录趋势等的统计与可视化呈现，帮助安全管理人员高效、直观地掌握云资源操作情况；另一方面，通过对云上的操作行为进行异常检测与动态风险评估，实现云上操作行为的风险智能化识别。

持续自动化的合规评估（预览）

合规是用户上云的基本安全要求。安全运营中心可为云上用户提供云原生的安全合规评估功能。针对用户公有云上的安全措施及安全体系建设情况，结合安全合规要求，安全运营中心通过自动化地、持续性地监测、评估来帮助用户实现云上业务的安全合规。目前已经覆盖了等级保护2.0标准中的部分安全通用要求及云计算安全扩展要求，并提供相应的解决方案建议，后续腾讯云将逐步提高对各类合规标准的覆盖。

‘捌’ 云存储是什么

云存储是什么：

云存储是一种网络在线存储(Onlinestorage)的模式，即把数据存放在通常由第三方托管的多台虚拟服务器，而非专属的服务器上。托管(hosting)公司营运大型的数据中心，需要数据存储托管的人，则通过向其购买或租赁存储空间的方式，来满足数据存储的需求。数据中心营运商根据客户的需求，在后端准备存储虚拟化的资源，并将其以存储资源池(storagepool)的方式提供，客户便可自行使用此存储资源池来存放文件或对象。

云存储的优势：

1、存储管理可以实现自动化和智能化，所有的存储资源被整合到一起，客户看到的是单一存储空间。

2、提高了存储效率，通过虚拟化技术解决了存储空间的浪费，可以自动重新分配数据，提高了存储空间的利用率，同时具备负载均衡、故障冗余功能。

3、云存储能够实现规模效应和弹性扩展，降低运营成本，避免资源浪费。隐患与缺点：1、对于较为机密的数据，云存储服务提供商如何保证用户数据的安全性。2、由于带宽和其他因素，云端访问性能可能比本地端储存设备的性能低。

3、当用户有特殊的数据使用记录追踪需求时(如公务部门依据规章和条例的要求，而需留存某些电磁记录时)，使用云计算及云存储将使工作复杂度增加。

4、虽然可以一次提供给多人数据，或是传递数据给位于不同地方的人，但单人在转移数据的时候(例如文件由手机发送至电脑，或是由电脑发送至手机)因为需要重新“上传”与“下载”，会像是在绕远路一般，不如使用传输线的来的快。

‘玖’ 云数据库和云存储有什么区别呢

云数据库和云存储的区别：

一、从服务层面来说

这两者都可以做为PaaS服务暴露给用户，云数据库可以包括关系型数据库以及非关系型数据库等，而云存储则可以包含块存储(BlockStorage)以及对象存储(Object Storage)等。

二、从数据的结构来说

一般云存储上存储的都是用户上传的比较零散的文件，每个文件的类型和组织的方式可以不一致，比如图片，音频，word文件之类的，而数据库中存储中的数据都由数据库进程来直接管理，包括表空间，表结构以及数据存储的方式，是有规则的。

三、从提供的服务来说

云存储:提供存储能力，更多面对的场景是非结构化类数据，如文件，图片，视频等。

云数据库：提供基础的数据库和数据对象管理能力，既包括oracle，mysql，sql server等关系型数据库，也可以包括类似mongodb , hbase等半结构化数据库。

四、从两者的关系来说

对于云存储当前基本都基于类似hdfs分布式文件系统进行封装，提供存储服务能力接口。也可以基于hdfs，上面再架构一层，形成一个数据库，再将数据库能力暴露出去，形成云数据库。

类似hbase，但是对于常见的关系型数据库,可以做为云数据库，但是他们底层不不是依赖的云存储能力。

(9)云上数据湖存储扩展阅读：

云存储的主要用途：

云存储通常意味着把主数据或备份数据放到企业外部不确定的存储池里，而不是放到本地数据中心或专用远程站点。支持者们认为，如果使用云存储服务，企业机构就能节省投资费用，简化复杂的设置和管理任务，把数据放在云中还便于从更多的地方访问数据。

数据备份、归档和灾难恢复是云存储可能的三个用途。

减少工作和费用是预计云服务在接下来几年会持续增长的一个主要原因。据研究公司IDC声称，全球IT开支当中有4%用于云服务;到2012年，这个比例会达到9%。

由于成本和空间方面的压力，数据存储非常适合使用云解决方案;IDC预测，在这同一期间，云存储在云服务开支中的比重会从8%增加到13%。

参考资料来源：网络-云存储

网络-云数据库