分布式存储案例

A. 用过元核云分布式存储吗，怎么样

我们公司就用的元核云分布式存储，总的来说自动化运维做得比较好，性能上比不上传统的SAN存储，适合替代NAS存储。

B. 大数据怎么学习

第一阶段：大数据技术入门

1大数据入门：介绍当前流行大数据技术，数据技术原理，并介绍其思想，介绍大数据技术培训课程，概要介绍。

2Linux大数据必备：介绍Lniux常见版本，VMware虚拟机安装Linux系统，虚拟机网络配置，文件基本命令操作，远程连接工具使用，用户和组创建，删除，更改和授权，文件/目录创建，删除，移动，拷贝重命名，编辑器基本使用，文件常用操作，磁盘基本管理命令，内存使用监控命令，软件安装方式，介绍LinuxShell的变量，控制，循环基本语法，LinuxCrontab定时任务使用，对Lniux基础知识，进行阶段性实战训练，这个过程需要动手操作，将理论付诸实践。

3CM&CDHHadoop的Cloudera版：包含Hadoop，HBase，Hiva，Spark，Flume等，介绍CM的安装，CDH的安装，配置，等等。

第二阶段：海量数据高级分析语言

Scala是一门多范式的编程语言，类似于java，设计的初衷是实现可伸缩的语言，并集成面向对象编程和函数式编程的多种特性，介绍其优略势，基础语句，语法和用法， 介绍Scala的函数，函数按名称调用，使用命名参数函数，函数使用可变参数，递归函数，默认参数值，高阶函数，嵌套函数，匿名函数，部分应用函数，柯里函数，闭包，需要进行动手的操作。

第三阶段：海量数据存储分布式存储

1HadoopHDFS分布式存储：HDFS是Hadoop的分布式文件存储系统，是一个高度容错性的系统，适合部署在廉价的机器上，HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用，介绍其的入门基础知识，深入剖析。

2HBase分布式存储：HBase-HadoopDatabase是一个高可靠性，高性能，面向列，可伸缩的分布式存储系统，利用HBase技术可在廉价PC上搭建起大规模结构化存储集群，介绍其入门的基础知识，以及设计原则，需实际操作才能熟练。

第四阶段：海量数据分析分布式计算

1HadoopMapRece分布式计算：是一种编程模型，用于打过莫数据集的并行运算。

2Hiva数据挖掘：对其进行概要性简介，数据定义，创建，修改，删除等操作。

3Spare分布式计算：Spare是类MapRece的通用并行框架。

第五阶段：考试

1技术前瞻：对全球最新的大数据技术进行简介。

2考前辅导：自主选择报考工信部考试，对通过者发放工信部大数据技能认证书。

上面的内容包含了大数据学习的所有的课程，所以，如果有想学大数据的可以从这方面下手，慢慢的了解大数据。

C. 《大规模分布式系统架构与设计实战（含光盘）》epub下载在线阅读，求百度网盘云资源

《大规模分布式系统架构与设计实战（含光盘）》（彭渊）电子书网盘下载免费在线阅读

资源链接：

链接：https://pan..com/s/1XoxJB0i2HGGsmPJtONFSUA

书名：大规模分布式系统架构与设计实战（含光盘）

作者：彭渊

豆瓣评分：4.8

出版社：机械工业出版社

出版年份：2014-3

页数：231

内容简介：

【编辑推荐】

 绝技源于江湖、将军发于卒伍，本书包含作者从程序员到首席架构师十多年职业生涯所积累的实战经验。

 这不是一本讲怎么使用Hadoop的书，而是一本讲实现Hadoop功能的书，本书系统讲解构建大规模分布式系统的核心技术和实现方法，包含开源的代码，手把手教你掌握分布式技术

【内容简介】

本书从作者的实战经验出发，深入浅出地讲解了如何建立一个Hadoop那样的分布式系统，实现对多台计算机CPU、内存、硬盘的统一利用，从而获取强大计算能力去解决复杂问题。一般互联网企业的分布式存储计算系统都是个大平台，系统复杂、代码庞大，而且只适合公司的业务，工程师很难下载安装到自己的电脑里学习和吃透。本书对分布式核心技术进行了大量归纳和总结，并从中抽取出一套简化的框架和编程API进行讲解，方便工程师了解分布式系统的主要技术实现。这不是一本空谈概念、四处摘抄的书，这本书包含了大量精炼示例，手把手教你掌握分布式核心技术。

本书主要内容

 分布式并行计算的基本原理解剖；

 分布式协调的实现，包括如何实现公共配置管理，如何实现分布式锁，如何实现集群管理等；

 分布式缓存的实现，包括如何提供完整的分布式缓存来利用多机内存能力；

 消息队列的实现，包括如何实现发送和接收模式；

 分布式文件系统的实现，包括如何像操作本地文件一样操作远程文件，并利用多机硬盘存储能力；

 分布式作业调度平台的实现，包括资源隔离、资源调度等。

【参考阅读】

978-7-111-43052-0 大规模分布式存储系统:原理解析与架构实战

978-7-111-40392-0 分布式系统：概念与设计（原书第5版）

978-7-111-45244-7 Hadoop应用开发技术详解

978-7-111-41766-8 Hadoop技术内幕：深入解析Hadoop Common和HDFS架构设计与实现原理

978-7-111-42226-6 Hadoop技术内幕：深入解析MapRece架构设计与实现原理

978-7-111-44534-0 Hadoop技术内幕：深入解析YARN架构设计与实现原理

978-7-111-43514-3 网站数据分析：数据驱动的网站管理、优化和运营

978-7-111-42591-5 数据挖掘：实用案例分析

作者简介：

彭渊资深架构师，现任华为企业中间件首席架构师，主要负责中间件和大数据。前淘宝高级专家（花名：千峰），先后在淘宝交易、淘宝中间件、集团核心系统、阿里金融等部门工作。曾任金蝶总体架构部SOA架构师，负责设计ESB。曾艰苦创业，编写和销售财务软件。在Java技术领域从业十多年，撰写过多款开源软件，其中，淘宝分布式技术框架Fourinone为其代表作。他拥有软件着作权的代表作有：BS系列软件（包括财务进销存、OA产品、CRM等）、FMS视频会议、Flash网站生成软件（华军可下载），所有软件作品均贡献99%代码。

D. 超融合就是分布式存储和计算虚拟化简单地安装在一起吗

觉得不是的，通过SmartX等厂商的案例描述，还应该具备对系统资 源消耗应该少，并且可控等特征。

E. 分布式存储有什么好

分布式存储，它的最大特点是多节点部署， 数据通过网络分散放置。分布式存储的特点是扩展性强，通过多节点平衡负载，提高存储系统的可靠性与可用性。

F. 基于hadoop的云存储实例

基于Hadoop平台的云存储应用实践

http://cio.itxinwen.com/case_studies/2012/0327/402100.html

云计算（CloudComputing）是一种基于因特网的超级计算模式，在远程的数据中心里，成千上万台电脑和服务器连接成一片电脑云。用户通过电脑、笔记本、手机等方式接人数据中心，按自己的需求进行运算。目前，对于云计算仍没有普遍一致的定义。结合上述定义，可以总结出云计算的一些本质特征，即分布式计算和存储特性、高扩展性、用户友好性、良好的管理性。

1云存储架构图

橘色的作为存储节点（StorageNode）负责存放文件，蓝色作为控制节点（（ControlNode）则是负责文件索引，并负责监控存储节点间容量及负载的均衡，这两个部分合起来便组成一个云存储。存储节点与控制节点都是单纯的服务器，只是存储节点的硬盘多一些，存储节点服务器不需要具备RAID的功能，只要能安装Linux即可，控制节点为了保护数据，需要有简单的RAIDlevelO1的功能。

云存储不是要取代现有的盘阵，而是为了应付高速成长的数据量与带宽而产生的新形态存储系统，因此云存储在设计时通常会考虑以下三点：

（1）容量、带宽的扩容是否简便

扩容是不能停机，会自动将新的存储节点容量纳入原来的存储池。不需要做繁复的设定。

图1云存储架构图

（2）带宽是否线形增长

使用云存储的客户，很多是考虑未来带宽的增长，因此云存储产品设计的好坏会产生很大的差异，有些十几个节点便达到饱和，这样对未来带宽的扩容就有不利的影响，这一点要事先弄清楚，否则等到发现不符合需求时，已经买了几百TB，后悔就来不及了。

（3）管理是否容易。

2云存储关键技术

云存储必须具备九大要素：①性能;②安全性;③自动ILM存储;④存储访问模式;⑤可用性;⑥主数据保护;⑦次级数据保护;⑧存储的灵活;⑨存储报表。

云计算的发展离不开虚拟化、并行计算、分布式计算等核心技术的发展成熟。下面对其介绍如下：

（1）集群技术、网格技术和分布式文件系统

云存储系统是一个多存储设备、多应用、多服务协同工作的集合体，任何一个单点的存储系统都不是云存储。

既然是由多个存储设备构成的，不同存储设备之间就需要通过集群技术、分布式文件系统和网格计算等技术，实现多个存储设备之间的协同工作，使多个的存储设备可以对外提供同一种服务，并提供更大更强更好的数据访问性能。如果没有这些技术的存在，云存储就不可能真正实现，所谓的云存储只能是一个一个的独立系统，不能形成云状结构。

（2）CDN内容分发、P2P技术、数据压缩技术、重复数据删除技术、数据加密技术

CDN内容分发系统、数据加密技术保证云存储中的数据不会被未授权的用户所访问，同时，通过各种数据备份和容灾技术保证云存储中的数据不会丢失，保证云存储自身的安全和稳定。如果云存储中的数据安全得不到保证，也没有人敢用云存储了。

（3）存储虚拟化技术、存储网络化管理技术

云存储中的存储设备数量庞大且分布多在不同地域，如何实现不同厂商、不同型号甚至于不同类型（例如FC存储和IP存储）的多台设备之间的逻辑卷管理、存储虚拟化管理和多链路冗余管理将会是一个巨大的难题，这个问题得不到解决，存储设备就会是整个云存储系统的性能瓶颈，结构上也无法形成一个整体，而且还会带来后期容量和性能扩展难等问题。

G. 求帮助写一篇分布式计算云计算论文

首先介绍下云计算，的发展历史，他的前身，现在的应用，然后在介绍现在计算机的应用，在应用之中的不足，然后，着重阐述云计算的优势，我这里有一份关于这方面的对比及心得，发给你，希望能帮到你。
云计算简史
着名的美国计算机科学家、 图灵奖 (Turing Award) 得主麦卡锡 (John McCarthy,1927-) 在半个世纪前就曾思考过这个问题。 1961 年， 他在麻省理工学院 (MIT) 的百年纪念活动中做了一个演讲。 在那次演讲中， 他提出了象使用其它资源一样使用计算资源的想法，这就是时下 IT 界的时髦术语 “云计算” (Cloud Computing) 的核心想法。云计算中的这个 “云” 字虽然是后人所用的词汇， 但却颇有历史渊源。 早年的电信技术人员在画电话网络的示意图时， 一涉及到不必交待细节的部分， 就会画一团 “云” 来搪塞。 计算机网络的技术人员将这一偷懒的传统发扬光大， 就成为了云计算中的这个 “云” 字， 它泛指互联网上的某些 “云深不知处” 的部分， 是云计算中 “计算” 的实现场所。 而云计算中的这个 “计算” 也是泛指， 它几乎涵盖了计算机所能提供的一切资源。麦卡锡的这种想法在提出之初曾经风靡过一阵， 但真正的实现却是在互联网日益普及的上世纪末。 这其中一家具有先驱意义的公司是甲骨文 (Oracle) 前执行官贝尼奥夫 (Marc Benioff, 1964-) 创立的 Salesforce 公司。 1999 年， 这家公司开始将一种客户关系管理软件作为服务提供给用户， 很多用户在使用这项服务后提出了购买软件的意向， 该公司却死活不干， 坚持只作为服务提供， 这是云计算的一种典型模式， 叫做 “软件即服务” (Software as a Service， 简称 SaaS)。 这种模式的另一个例子， 是我们熟悉的网络电子邮箱 (因此读者哪怕是第一次听到 “云计算” 这个术语， 也不必有陌生感， 因为您多半已是它的老客户了)。 除了 “软件即服务” 外， 云计算还有其它几种典型模式， 比如向用户提供开发平台的 “平台即服务” (Platform as a Service， 简称 PaaS)， 其典型例子是谷歌公司 (Google) 的应用程序引擎 (Google App Engine)， 它能让用户创建自己的网络程序。 还有一种模式更彻底， 干脆向用户提供虚拟硬件， 叫做 “基础设施即服务” (Infrastructure as a Service， 简称 IaaS)， 其典型例子是亚马逊公司 (Amazon) 的弹性计算云 (Amazon Elastic Compute Cloud， 简称 EC2)， 它向用户提供虚拟主机， 用户具有管理员权限， 爱干啥就干啥， 跟使用自家机器一样。

1．2云计算的概念

狭义云计算是指计算机基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需的资源（硬件、平台、软件）。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。

广义云计算是指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需的服务。这种服务可以是计算机和软件、互联网相关的，也可以是其他的服务。云计算是并行计算(Parallel Computing)、分布式计算(Distributed Computing)和网格计算(Grid Computing)的发展，或者说是这些计算机科学概念的商业实现。云计算是虚拟化(Virtualization)、效用计算(Utility Computing)、IaaS(基础设施即服务)、PaaS(平台即服务)、SaaS(软件即服务)等概念混合演进并跃升的结果。

1.3云计算的特点和优势
（一）超大规模性。“云”具有相当的规模，Google云计算已经拥有100多万台服务器，Amazon、IBM、微软、Yahoo等的“云”均拥有几十万台服务器。企业私有云一般拥有数百上千台服务器。“云”能赋予用户前所未有的计算能力。
（二）虚拟化。云计算支持用户在任意位置、使用各种终端获取应用服务。所请求的资源来自“云”，而不是固定的有形的实体。应用在“云”中某处运行，但实际上用户无需了解、也不用担心应用运行的具体位置。只需要一台笔记本或者一个手机，就可以通过网络服务来实现用户需要的一切，甚至包括超级计算这样的任务。[2]
（三）高可靠性。“云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性，使用云计算比使用本地计算机可靠。
（四）通用性。云计算不针对特定的应用，在“云”的支撑下可以构造出千变万化的应用，同一个“云”可以同时支撑不同的应用运行。
（五）高可扩展性。“云”的规模可以动态伸缩，满足应用和用户规模增长的需要。
（六）价格合适。由于“云”的特殊容错措施可以采用具有经济性的节点来构成“云”，“云”的自动化集中式管理使大量企业无需负担日益高昂的数据中心管理成本，“云”的通用性使资源的利用率较之传统系统大幅提升，因此用户可以充分享受“云”的低成本优势，经常只要花费几百美元、几天时间就能完成以前需要数万美元、数月时间才能完成的任务。
云计算作为一种技术，与其它一些依赖互联网的技术——比如网格计算 (Grid Computing)——有一定的相似之处，但不可混为一谈。拿网格计算来说， 科学爱好者比较熟悉的例子是 SETI@Home，那是一个利用互联网上计算机的冗余计算能力搜索地外文明的计算项目，目前约有来自两百多个国家和地区的两百多万台计算机参与。它在 2009 年底的运算能力相当于当时全世界最快的超级计算机运算能力的三分之一。有些读者可能还知道另外一个例子：ZetaGrid，那是一个研究黎曼 ζ 函数零点分布的计算项目， 曾有过一万多台计算机参与 (但现在已经终止了，原因可参阅拙作 超越 ZetaGrid)。从这两个着名例子中我们可以看到网格计算的特点，那就是计算性质单一，但运算量巨大 (甚至永无尽头,比如 ZetaGrid)。而云计算的特点恰好相反，是计算性质五花八门，但运算量不大[注三]，这是它们的本质区别，也是云计算能够面向大众成为服务的根本原因。云计算能够流行，它到底有什么优点呢？ 我们举个例子来说明，设想你要开一家网络公司。按传统方法，你得有一大笔启动资金， 因为你要购买计算机和软件，你要租用机房，你还要雇专人来管理和维护计算机。 当你的公司运作起来时，业务总难免会时好时坏，为了在业务好的时候也能正常运转， 你的人力和硬件都要有一定的超前配置， 这也要花钱。 更要命的是， 无论硬件还是软件厂商都会频繁推出新版本， 你若不想被技术前沿抛弃， 就得花钱费力不断更新 (当然， 也别怪人家， 你的公司运作起来后没准也得这么赚别人的钱)。如果用云计算， 情况就不一样了： 计算机和软件都可以用云计算， 业务好的时候多用一点， 业务坏的时候少用一点， 费用就跟结算煤气费一样按实际用量来算， 无需任何超前配置[注四]。 一台虚拟服务器只需鼠标轻点几下就能到位， 不象实体机器， 从下定单， 到进货， 再到调试， 忙得四脚朝天不说， 起码得好几天的时间。虚拟服务器一旦不需要了， 鼠标一点就可以让它从你眼前 (以及账单里)消失。至于软硬件的升级换代，服务器的维护管理等，那都是云计算服务商的事，跟你没半毛钱的关系。更重要的是，开公司总是有风险的， 如果你试了一两个月后发现行不通，在关门大吉的时候，假如你用的是云计算，那你只需支付实际使用过的资源。假如你走的是传统路子，买了硬件、软件，雇了专人，那很多投资可就打水漂了。

1.4浅谈云计算的一个核心理念
大规模消息通信：云计算的一个核心理念就是资源和软件功能都是以服务的形式进行发布的，不同服务之间经常需要通过消息通信进行协助。由于同步消息通信的低效率，我们只考虑异步通信。如Java Message Service是J2EE平台上的一个消息通信标准，J2EE应用程序可以通过JMS来创建，发送，接收，阅读消息。异步消息通信已经成为面向服务架构中组件解耦合及业务集成的重要技术。
大规模分布式存储：分布式存储的目标是利用多台服务器的存储资源来满足单台服务器所不能满足的存储需求。分布式存储要求存储资源能够被抽象表示和统一管理，并且能够保证数据读写操作的安全性，可靠性，性能等各方面要求。下面是几个典型的分布式文件系统：
◆Frangipani是一个可伸缩性很好的高兴能分布式文件系统，采用两层的服务体系架构：底层是一个分布式存储服务，该服务能够自动管理可伸缩，高可用的虚拟磁盘；上层运行着Frangipani分布式文件系统。
◆JetFile是一个基于P2P的主播技术，支持在Internet这样的异构环境中分享文件的分布式文件系统。
◆Ceph是一个高性能并且可靠地分布式文件系统，它通过把数据和对数据的管理在最大程度上分开来获取极佳的I/O性能。
◆Google File System（GFS）是Google公司设计的可伸缩的分布式文件系统。GFS能够很好的支持大规模海量数据处理应用程序。
在云计算环境中，数据的存储和操作都是以服务的形式提供的；数据的类型多种多样；必须满足数据操作对性能，可靠性，安全性和简单性的要求。在云计算环境下的大规模分布式存储方向，BigTable是Google公司设计的用来存储海量结构化数据的分布式存储系统；Dynamo是Amazon公司设计的一种基于键值对的分布式存储系统，它能提供非常高的可用性；Amazon公司的Simple Storage Service（S3）是一个支持大规模存储多媒体这样的二进制文件的云计算存储服务；Amazon公司的SimpleDB是建立在S3和Amazon EC2之上的用来存储结构化数据的云计算服务。
许可证管理与计费：目前比较成熟的云环境计费模型是Amazon公司提供的Elastic Compute Cloud（EC2）和Simple Storage Service（S3）的按量计费模型，用户按占用的虚拟机单元，IP地址，带宽和存储空间付费。

1.5云计算的现状
云计算是个热度很高的新名词。由于它是多种技术混合演进的结果，其成熟度较高，又有大公司推动，发展极为迅速。Amazon、Google、IBM、微软和Yahoo等大公司是云计算的先行者。云计算领域的众多成功公司还包括Salesforce、Facebook、Youtube、Myspace等。Amazon使用弹性计算云（EC2）和简单存储服务（S3）为企业提供计算和存储服务。收费的服务项目包括存储服务器、带宽、CPU资源以及月租费。月租费与电话月租费类似，存储服务器、带宽按容量收费，CPU根据时长(小时)运算量收费。Amazon把云计算做成一个大生意没有花太长的时间：不到两年时间，Amazon上的注册开发人员达44万人，还有为数众多的企业级用户。有第三方统计机构提供的数据显示，Amazon与云计算相关的业务收入已达1亿美元。云计算是Amazon增长最快的业务之一。Google当数最大的云计算的使用者。Google搜索引擎就建立在分布在200多个地点、超过100万台服务器的支撑之上，这些设施的数量正在迅猛增长。Google地球、地图、Gmail、Docs等也同样使用了这些基础设施。采用Google Docs之类的应用，用户数据会保存在互联网上的某个位置，可以通过任何一个与互联网相连的系统十分便利地访问这些数据。目前，Google已经允许第三方在Google的云计算中通过Google App Engine运行大型并行应用程序。Google值得称颂的是它不保守。它早已以发表学术论文的形式公开其云计算三大法宝：GFS、MapRece和BigTable，并在美国、中国等高校开设如何进行云计算编程的课程。IBM在2007年11月推出了“改变游戏规则”的“蓝云”计算平台，为客户带来即买即用的云计算平台。它包括一系列的自动化、自我管理和自我修复的虚拟化云计算软件，使来自全球的应用可以访问分布式的大型服务器池。使得数据中心在类似于互联网的环境下运行计算。IBM正在与17个欧洲组织合作开展云计算项目。欧盟提供了1.7亿欧元做为部分资金。该计划名为RESERVOIR，以“无障碍的资源和服务虚拟化”为口号。2008年8月， IBM宣布将投资约4亿美元用于其设在北卡罗来纳州和日本东京的云计算数据中心改造。IBM计划在2009年在10个国家投资3亿美元建13个云计算中心。
微软紧跟云计算步伐，于2008年10月推出了Windows Azure操作系统。Azure(译为“蓝天”)是继Windows取代DOS之后，微软的又一次颠覆性转型——通过在互联网架构上打造新云计算平台，让Windows真正由PC延伸到“蓝天”上。微软拥有全世界数以亿计的Windows用户桌面和浏览器，现在它将它们连接到“蓝天”上。Azure的底层是微软全球基础服务系统，由遍布全球的第四代数据中心构成。
云计算的新颖之处在于它几乎可以提供无限的廉价存储和计算能力。纽约一家名为Animoto的创业企业已证明云计算的强大能力（此案例引自和讯网维维编译《纽约时报》2008年5月25日报道）。Animoto允许用户上传图片和音乐，自动生成基于网络的视频演讲稿，并且能够与好友分享。该网站目前向注册用户提供免费服务。2008年年初，网站每天用户数约为5000人。4月中旬，由于Facebook用户开始使用Animoto服务，该网站在三天内的用户数大幅上升至75万人。Animoto联合创始人Stevie Clifton表示，为了满足用户需求的上升，该公司需要将服务器能力提高100倍，但是该网站既没有资金，也没有能力建立规模如此巨大的计算能力。因此，该网站与云计算服务公司RightScale合作，设计能够在亚马逊的网云中使用的应用程序。通过这一举措，该网站大大提高了计算能力，而费用只有每服务器每小时10美分。这样的方式也加强创业企业的灵活性。当需求下降时，Animoto只需减少所使用的服务器数量就可以降低服务器支出。
在我国，云计算发展也非常迅猛。2008年5月10日，IBM在中国无锡太湖新城科教产业园建立的中国第一个云计算中心投入运营。2008年6月24日，IBM在北京IBM中国创新中心成立了第二家中国的云计算中心——IBM大中华区云计算中心；2008年11月28日，广东电子工业研究院与东莞松山湖科技产业园管委会签约，广东电子工业研究院将在东莞松山湖投资2亿元建立云计算平台；2008年12月30日，阿里巴巴集团旗下子公司阿里软件与江苏省南京市政府正式签订了2009年战略合作框架协议，计划于2009年初在南京建立国内首个“电子商务云计算中心”，首期投资额将达上亿元人民币；世纪互联推出了CloudEx产品线，包括完整的互联网主机服务"CloudEx Computing Service", 基于在线存储虚拟化的"CloudEx Storage Service"，供个人及企业进行互联网云端备份的数据保全服务等等系列互联网云计算服务；中国移动研究院做云计算的探索起步较早，已经完成了云计算中心试验。中移动董事长兼CEO王建宙认为云计算和互联网的移动化是未来发展方向。
我国企业创造的“云安全”概念，在国际云计算领域独树一帜。云安全通过网状的大量客户端对网络中软件行为的异常监测，获取互联网中木马、恶意程序的最新信息，推送到服务端进行自动分析和处理，再把病毒和木马的解决方案分发到每一个客户端。云安全的策略构想是：使用者越多，每个使用者就越安全，因为如此庞大的用户群，足以覆盖互联网的每个角落，只要某个网站被挂马或某个新木马病毒出现，就会立刻被截获。云安全的发展像一阵风，瑞星、趋势、卡巴斯基、MCAFEE、SYMANTEC、江民科技、PANDA、金山、360安全卫士、卡卡上网安全助手等都推出了云安全解决方案。瑞星基于云安全策略开发的2009新品，每天拦截数百万次木马攻击，其中1月8日更是达到了765万余次。势科技云安全已经在全球建立了5大数据中心，几万部在线服务器。据悉，云安全可以支持平均每天55亿条点击查询，每天收集分析2.5亿个样本，资料库第一次命中率就可以达到99%。借助云安全，趋势科技现在每天阻断的病毒感染最高达1000万次。
值得一提的是，云安全的核心思想，与刘鹏早在2003年就提出的反垃圾邮件网格非常接近[1][2]。刘鹏当时认为，垃圾邮件泛滥而无法用技术手段很好地自动过滤，是因为所依赖的人工智能方法不是成熟技术。垃圾邮件的最大的特征是：它会将相同的内容发送给数以百万计的接收者。为此，可以建立一个分布式统计和学习平台，以大规模用户的协同计算来过滤垃圾邮件：首先，用户安装客户端，为收到的每一封邮件计算出一个唯一的“指纹”，通过比对“指纹”可以统计相似邮件的副本数，当副本数达到一定数量，就可以判定邮件是垃圾邮件；其次，由于互联网上多台计算机比一台计算机掌握的信息更多，因而可以采用分布式贝叶斯学习算法，在成百上千的客户端机器上实现协同学习过程，收集、分析并共享最新的信息。反垃圾邮件网格体现了真正的网格思想，每个加入系统的用户既是服务的对象，也是完成分布式统计功能的一个信息节点，随着系统规模的不断扩大，系统过滤垃圾邮件的准确性也会随之提高。用大规模统计方法来过滤垃圾邮件的做法比用人工智能的方法更成熟，不容易出现误判假阳性的情况，实用性很强。反垃圾邮件网格就是利用分布互联网里的千百万台主机的协同工作，来构建一道拦截垃圾邮件的“天网”。反垃圾邮件网格思想提出后，被IEEE Cluster 2003国际会议选为杰出网格项目在香港作了现场演示，在2004年网格计算国际研讨会上作了专题报告和现场演示，引起较为广泛的关注，受到了中国最大邮件服务提供商网易公司创办人丁磊等的重视。既然垃圾邮件可以如此处理，病毒、木马等亦然，这与云安全的思想就相去不远了。

http://wenku..com/view/6ea1435d3b3567ec102d8ae8.html
2008年11月25日，中国电子学会专门成立了云计算专家委员会，聘任中国工程院院士李德毅为主任委员，聘任IBM大中华区首席技术总裁叶天正、中国电子科技集团公司第十五研究所所长刘爱民、中国工程院院士张尧学、Google全球副总裁/中国区总裁李开复、中国工程院院士倪光南、中国移动通信研究院院长黄晓庆六位专家为副主任委员，聘任国内外30多位知名专家学者为专家委员会委员。2009年5月22日，中国电子学会将于在北京中国大饭店隆重举办首届中国云计算大会。

H. 什么是大数据存储管理

1.分布式存储

传统化集中式存储存在已有一段时间。但大数据并非真的适合集中式存储架构。Hadoop设计用于将计算更接近数据节点，同时采用了HDFS文件系统的大规模横向扩展功能。

虽然，通常解决Hadoop管理自身数据低效性的方案是将Hadoop 数据存储在SAN上。但这也造成了它自身性能与规模的瓶颈。现在，如果你把所有的数据都通过集中式SAN处理器进行处理，与Hadoop的分布式和并行化特性相悖。你要么针对不同的数据节点管理多个SAN，要么将所有的数据节点都集中到一个SAN。

但Hadoop是一个分布式应用，就应该运行在分布式存储上，这样存储就保留了与Hadoop本身同样的灵活性，不过它也要求拥抱一个软件定义存储方案，并在商用服务器上运行，这相比瓶颈化的Hadoop自然更为高效。

2.超融合VS分布式

注意，不要混淆超融合与分布式。某些超融合方案是分布式存储，但通常这个术语意味着你的应用和存储都保存在同一计算节点上。这是在试图解决数据本地化的问题，但它会造成太多资源争用。这个Hadoop应用和存储平台会争用相同的内存和CPU。Hadoop运行在专有应用层，分布式存储运行在专有存储层这样会更好。之后，利用缓存和分层来解决数据本地化并补偿网络性能损失。

3.避免控制器瓶颈(Controller Choke Point)

实现目标的一个重要方面就是——避免通过单个点例如一个传统控制器来处理数据。反之，要确保存储平台并行化，性能可以得到显着提升。

此外，这个方案提供了增量扩展性。为数据湖添加功能跟往里面扔x86服务器一样简单。一个分布式存储平台如有需要将自动添加功能并重新调整数据。

4.删重和压缩

掌握大数据的关键是删重和压缩技术。通常大数据集内会有70%到90%的数据简化。以PB容量计，能节约数万美元的磁盘成本。现代平台提供内联(对比后期处理)删重和压缩，大大降低了存储数据所需能力。

5.合并Hadoop发行版

很多大型企业拥有多个Hadoop发行版本。可能是开发者需要或是企业部门已经适应了不同版本。无论如何最终往往要对这些集群的维护与运营。一旦海量数据真正开始影响一家企业时，多个Hadoop发行版存储就会导致低效性。我们可以通过创建一个单一，可删重和压缩的数据湖获取数据效率

6.虚拟化Hadoop

虚拟化已经席卷企业级市场。很多地区超过80%的物理服务器现在是虚拟化的。但也仍有很多企业因为性能和数据本地化问题对虚拟化Hadoop避而不谈。

7.创建弹性数据湖

创建数据湖并不容易，但大数据存储可能会有需求。我们有很多种方法来做这件事，但哪一种是正确的?这个正确的架构应该是一个动态，弹性的数据湖，可以以多种格式(架构化，非结构化，半结构化)存储所有资源的数据。更重要的是，它必须支持应用不在远程资源上而是在本地数据资源上执行。

不幸的是，传统架构和应用(也就是非分布式)并不尽如人意。随着数据集越来越大，将应用迁移到数据不可避免，而因为延迟太长也无法倒置。

理想的数据湖基础架构会实现数据单一副本的存储，而且有应用在单一数据资源上执行，无需迁移数据或制作副本

8.整合分析

分析并不是一个新功能，它已经在传统RDBMS环境中存在多年。不同的是基于开源应用的出现，以及数据库表单和社交媒体，非结构化数据资源(比如，维基网络)的整合能力。关键在于将多个数据类型和格式整合成一个标准的能力，有利于更轻松和一致地实现可视化与报告制作。合适的工具也对分析/商业智能项目的成功至关重要。

9. 大数据遇见大视频

大数据存储问题已经让人有些焦头烂额了，现在还出现了大视频现象。比如，企业为了安全以及操作和工业效率逐渐趋于使用视频监控，简化流量管理，支持法规遵从性和几个其它的使用案例。很短时间内这些资源将产生大量的内容，大量必须要处理的内容。如果没有专业的存储解决方案很可能会导致视频丢失和质量降低的问题。

10.没有绝对的赢家

Hadoop的确取得了一些进展。那么随着大数据存储遍地开花，它是否会成为赢家，力压其它方案，其实不然。

比如，基于SAN的传统架构在短期内不可取代，因为它们拥有OLTP，100%可用性需求的内在优势。所以最理想的办法是将超融合平台与分布式文件系统和分析软件整合在一起。而成功的最主要因素则是存储的可扩展性因素。

I. 如何用简单地例子来解释区块链

区块链是一个分布式的共享账本和数据库，具有去中心化、分布式存储、加密算法、全程留痕、可以追溯、集体维护、公开透明等特点。

以掌管部门经费为例，传统方式是部门里面指派一个人对部门经费进行记账和管理，这个人完全可以直接在剩余金额或者在每一笔的使用金额上做手脚，利用职权之便从中牟利，这就是传统的中心化管理。

而在区块链的管理模式里，部门里的每个人都有一个经费使用记账本，由相关人员新增使用记录，其他人员核对无误后同步到各自的记账本中。每一笔都会记录经费的使用时间、使用人员、使用金额和使用内容，并生成对应的序列编号以作标记，每一笔的序列编号都会和下一笔的经费使用情况存储在一起，每笔记账都会进行加密处理，以此类推。同时，部门里每个人的账本都对外界所有人可见，任何人都可以通过账本查询每一笔经费使用情况。

在区块链的管理模式中，多人同步记账就是“去中心化管理”。

部门里每个人核对无误后存储，叫“共识机制”。

每个人对每笔经费使用情况进行记录，叫“分布式存储”。

每笔经费详细使用情况生成的序列编号，叫“Hash值”。

把序列编号和下一笔经费使用情况进行存储，叫“全证据链”。

每个人的账本对外界所有人可见，叫“公开透明”。

对每一笔经费使用情况进行查询，叫“溯源”。

如果有人要对某笔经费进行篡改，该笔经费的序列编号则会随之被改变，而这个人就需要对该账本上后续所有的账本记录，和所有人的账本记录作篡改。但是这个能实现的前提是，他能破解所有人每笔记账的加密处理，而且，一旦对账，系统发现有账本和大家的不一样，区块链就会自动将“错误”的账本更正。这就能充分保障区块链电子数据的原始性和不可篡改性。

J. 公司的文件数据很多很重要，现在纠结用软件定义存储还是私有云，求破

长期来看的话肯定用软件定义存储好，毕竟相对成本低数据更安全可靠，本人推北京金马的软件定义存储产品