数据库技术大会

‘壹’ 08回顾：Oracle能否继续领跑数据库市场

Oracle能否继续领跑者数据库市场?

根据市场调研机构Gartner的统计显示 在 年Oracle在数据库市场依然保持着强劲的势头 占据了数据库领域 %的市场份额 作为数据库软件市场的领跑者 Oracle数据库自去年推出了 g版本以来 在整个 年最大的亮点是在 月下旬在旧金山举办的甲骨文全球大会上宣布了与云计算服务商展开更多的合作

携手亚马逊 改造 云 规则

说起甲骨文与云计算之间的关系可以用 爱恨交织 来形容 在今年召开的年度财经分析师会议上 素以快人快语着称甲骨文CEO拉里埃里森表示 很有意思的是 现在任何一家科技企业推出新产品后 也不管合适不合适 都会给自己产品贴上云计算的标签 实际上 不少产品与云计算根本就沾不上边 IT产业言必称云计算 甚至超过了女性追逐时装潮流的程度

尽管如此 Oracle也不可能对抗现在IT业界最为火热的技术——云计算 实际上 Oracle g数据库正是针对网格(Grid)计算推出的 而网格计算也与云计算有着千丝万缕的联系 在旧金山举行的 全球大会上 甲骨文宣布将其 g数据库 融合中间件和企业管理软件等基丛笑产品 透过亚马逊(Amazon)的Web Services Elastic Compute Cloud(EC )云环境服务平台提供给客户使用 允许已经获得这些软件版权许可的客户在EC 上使用上述软件产品 不会收取任何附加费用

市场研究机构Forrester Research的一位分析师认为 上述举措对甲骨文和亚马逊的未来发展将起到举足轻重的影响 也改变了云计算市场的游戏规则 在没有任何附加的甲骨文许可费情况下 可以将数据库 中间件的版权许可 当然还包括数据 转移到Amazon的云计算环境 这对于甲骨文庞大的全球用户群来说 无疑是天上掉下的馅饼 也使得云计算托管成为最能吸引他们眼球的选择之一 不过 对于在EC 中代管甲骨文应用软件和数据库 以及将大型数据备份到S 等服务 亚马逊还没有公布具体的收费标准 所以实际的市场走势还有待观察 也有分析师指出 安全问题以及可扩展的内部部署型(on premises)网格存储产品价格的下滑会打击部分客户使用亚马逊云计算服务的积极性

尽管如此 甲骨文这次的发布绝对会对整个数据库和云计算市场的走向产生深远影响 为将来所有领先的数据库 数据仓库和存储产品的进一步虚拟化搭好了舞台 到目前为止 甲骨文是唯一一家将关系数据库产品移植到亚马逊云计算环境的领先数郑备据库(数据仓库)供应商 从这一点来看 甲骨文无愧开拓者的称号 在未来 甲骨文有可能还会支持亚马逊以外的云计算平台

Oracle g R 上市静待明年

在 年 月 甲骨文推出Oracle数据库 g Oracle数据库 g有 多项功能 经过了 万个小时的测试 开发工作量达到了 万人/月 迄今为止 在甲骨文推出的产品中 Oracle数据库 g是最具创新性和质量最高的软件

甲骨文公司数据库服务器技术高级副总裁Andy Mendelsohn说 Oracle数据库 g以甲骨文公司 年的设计经验为基础 为企业提供了下一代信息管理能力 我们的客户正面临着数据迅速增加 数据集成度不断提高以及实现数据连接性的信息技术成本持续增大的压力 这种压力是空前的 Oracle数据库 g率先成为为网格计算而设计的数据库 一半以上的甲骨文客户已经迁移到了Oracle数据库 g 为了加速采用Oracle网格并扩大Oracle网格的规模 客户要求我们提供一些关键功能 Oracle数据库 g提供了这些功能 正如我们的客户所说的那样 Oracle数据库 g真正克服了挑战并实现了真正的创新

Oracle数据库 g可以帮助企业管理企业信息 更深入地洞察业务状况并迅速自信地做出调整以适应不断变化的竞争环境 新版数据库增强了Oracle数据库独特的数据库集群 数据中心自动化和工作量管理功能 甲骨文客户可以在安全的 高度可用和可扩展的 由低成本服务器和存储设备组搏含成的网格上满足最苛刻的交易处理 数据仓库和内容管理应用

Oracle g的一些主要特性还包括

l 实时应用测试组件缩短变化所需时间 降低有关风险和成本

l 提高灾难恢复解决方案的投资回报

l 增强信息生命周期管理和存储管理能力

l 全面回忆数据变化

l 最大限度提高信息可用性

l Oracle快速文件

l 更快的XML支持

l 透明的加密

l 嵌入式OLAP行列

l 连接汇合和查询结果高速缓存

l 增强了应用开发能力

l 增强了自助式管理和自动化能力

尽管甲骨文在今年全球大会上更新了包括 g数据库在内的多个一线产品 但是对于 g R 的更多技术细节仍然守口如瓶 不过 虽然甲骨文数据库产品管理副总裁Mark Townsend在大会上没有透露有关 g R 的任何具体细节 不过还是在自由问答环节就R 的发布日程做出了某种意义上的声明 Townsend在谈到 g当前版本的使用情况时 不小心透露了R 将在明年发布 具体时间还没有确定的消息

涨价 突如其来

如此高的市场占有率 让Oracle有理由相信 即使是产品涨价 用户也会继续青睐Oracle 于是在 月份 Oracle对全线数据库产品进行了涨幅达 %的提价 这一波价格调整 是甲骨文的全球性策略 并不是单一市场的反应 相较于原本的价格 调涨幅度达到 % 授权方式则依旧是采处理器计价 不论企业的营运规模是大型或中小型的企业客户 对于价格调涨的反应 绝对不会是开心 不过 甲骨文公司表示会尽量弥补 进而让企业的成本负担降到最低

‘贰’ 中国大数据六大技术变迁记

中国大数据六大技术变迁记_数据分析师考试

集“Hadoop中国云计算大会”与“CSDN大数据技术大会”精华之大成， 历届的中国大数据技术大会（BDTC） 已发展成为国内事实上的行业顶尖技术盛会。从2008年的60人Hadoop沙龙到当下的数千人技术盛宴，作为业内极具实战价值的专业交流平台，每一届的中国大数据技术大会都忠实地描绘了大数据领域内的技术热点，沉淀了行业实战经验，见证了整个大数据生态圈技术的发展与演变。
2014年12月12-14日，由中国计算机学会（CCF）主办，CCF大数据专家委员会协办，中科院计算所与CSDN共同承办的 2014中国大数据技术大会(Big Data Technology Conference 2014，BDTC 2014) 将在北京新云南皇冠假日酒店拉开帷幕。大会为期三天，以推进行业应用中的大数据技术发展为主旨，拟设立“大数据基础设施”、“大数据生态系统”、“大数据技术”、“大数据应用”、“大数据互联网金融技术”、“智能信息处理”等多场主题论坛与行业峰会。由中国计算机学会主办，CCF大数据专家委员会承办，南京大学与复旦大学协办的“2014年第二届CCF大数据学术会议”也将同时召开，并与技术大会共享主题报告。
本次大会将邀请近100位国外大数据技术领域顶尖专家与一线实践者，深入讨论Hadoop、YARN、Spark、Tez、 HBase、Kafka、OceanBase等开源软件的最新进展，Nosql/NewSQL、内存计算、流计算和图计算技术的发展趋势，OpenStack生态系统对于大数据计算需求的思考，以及大数据下的可视化、机器学习/深度学习、商业智能、数据分析等的最新业界应用，分享实际生产系统中的技术特色和实践经验。

大会召开前期，特别梳理了历届大会亮点以记录中国大数据技术领域发展历程，并立足当下生态圈现状对即将召开的BDTC 2014进行展望：
追本溯源，悉大数据六大技术变迁
伴随着大数据技术大会的发展，我们亲历了中国大数据技术与应用时代的到来，也见证了整个大数据生态圈技术的发展与衍变：
1. 计算资源的分布化——从网格计算到云计算。 回顾历届BDTC大会，我们不难发现，自2009年，资源的组织和调度方式已逐渐从跨域分布的网格计算向本地分布的云计算转变。而时至今日，云计算已成为大数据资源保障的不二平台。
2. 数据存储变更——HDFS、NoSQL应运而生。 随着数据格式越来越多样化，传统关系型存储已然无法满足新时代的应用程序需求，HDFS、NoSQL等新技术应运而生，并成为当下许多大型应用架构不可或缺的一环，也带动了定制计算机/服务器的发展，同时也成为大数据生态圈中最热门的技术之一。
3. 计算模式改变——Hadoop计算框成主流。 为了更好和更廉价地支撑其搜索服务，Google创建了Map/Rece和GFS。而在Google论文的启发下，原雅虎工程师Doug Cutting开创了与高性能计算模式迥异的，计算向数据靠拢的Hadoop软件生态系统。Hadoop天生高贵，时至今日已成为Apache基金会最“Hot”的开源项目，更被公认为大数据处理的事实标准。Hadoop以低廉的成本在分布式环境下提供了海量数据的处理能力。因此，Hadoop技术研讨与实践分享也一直是历届中国大数据技术大会最亮眼的特色之一。
4. 流计算技术引入——满足应用的低延迟数据处理需求。 随着业务需求扩展，大数据逐渐走出离线批处理的范畴，Storm、Kafka等将实时性、扩展性、容错性和灵活性发挥得淋漓尽致的流处理框架，使得旧有消息中间件技术得以重生。成为历届BDTC上一道亮丽的风景线。
5. 内存计算初露端倪——新贵Spark敢与老将叫板。 Spark发源于美国加州大学伯克利分校AMPLab的集群计算平台，它立足于内存计算，从多迭代批量处理出发，兼容并蓄数据仓库、流处理和图计算等多种计算范式，是罕见的全能选手。在短短4年，Spark已发展为Apache软件基金会的顶级项目，拥有30个Committers，其用户更包括IBM、Amazon、Yahoo!、Sohu、网络、阿里、腾讯等多家知名公司，还包括了Spark SQL、Spark Streaming、MLlib、GraphX等多个相关项目。毫无疑问，Spark已站稳脚跟。
6. 关系数据库技术进化—NewSQL改写数据库历史。 关系数据库系统的研发并没有停下脚步，在横向扩展、高可用和高性能方面也在不断进步。实际应用对面向联机分析处理（OLAP）的MPP（Massively Parallel Processing）数据库的需求最迫切，包括MPP数据库学习和采用大数据领域的新技术，如多副本技术、列存储技术等。而面向联机事务处理（OLTP）的数据库则向着高性能演进，其目标是高吞吐率、低延迟，技术发展趋势包括全内存化、无锁化等。
立足扬帆，看2014大数据生态圈发展
时光荏苒，转眼间第2014中国大数据技术大会将如期举行。在技术日新月异的当下，2014年的BDTC上又可以洞察些什么？这里我们不妨着眼当下技术发展趋势：
1. MapRece已成颓势，YARN/Tez是否可以再创辉煌？ 对于Hadoop来说，2014是欢欣鼓舞的一年——EMC、Microsoft、Intel、Teradata、Cisco等众多巨头都加大了Hadoop方面的投入。然而对于众多机构来说，这一年却并不轻松：基于MapRece的实时性短板以及机构对更通用大数据处理平台的需求，Hadoop 2.0转型已势在必行。那么，在转型中，机构究竟会遭遇什么样的挑战？各个机构如何才能更好地利用YARN所带来的新特性？Hadoop未来的发展又会有什么重大变化？为此，BDTC 2014特邀请了Apache Hadoop committer，Apache Hadoop Project Management Committee（PMC）成员Uma Maheswara Rao G，Apache Hadoop committer Yi Liu，Bikas Saha（PMC member of the Apache Hadoop and Tez）等国际顶尖Hadoop专家，我们不妨当面探讨。
2. 时过境迁，Storm、Kafka等流计算框架前途未卜。 如果说MapRece的缓慢给众多流计算框架带来了可乘之机，那么当Hadoop生态圈组件越发成熟，Spark更加易用，迎接这些流计算框架的又是什么？这里我们不妨根据BDTC 2014近百场的实践分享进行一个侧面的了解，亦或是与专家们当面交流。
3. Spark，是颠覆还是补充？ 与Hadoop生态圈的兼容，让Spark的发展日新月异。然而根据近日Sort Benchmark公布的排序结果，在海量（100TB）离线数据排序上，对比上届冠军Hadoop，Spark以不到十分之一的机器，只使用三分之一的时间就完成了同样数据量的排序。毫无疑问，当下Spark已不止步于实时计算，目标直指通用大数据处理平台，而终止Shark，开启Spark SQL或许已经初见端倪。那么，当Spark愈加成熟，更加原生的支持离线计算后，开源大数据标准处理平台这个荣誉又将花落谁家？这里我们一起期待。
4. 基础设施层，用什么来提升我们的网络？ 时至今日，网络已成为众多大数据处理平台的攻坚对象。比如，为了克服网络瓶颈，Spark使用新的基于Netty的网络模块取代了原有的NIO网络模块，从而提高了对网络带宽的利用。那么，在基础设施层我们又该如何克服网络这个瓶颈？直接使用更高效的网络设备，比如Infiniband能够带来多少性能提升？建立一个更智能网络，通过计算的每个阶段，自适应来调整拆分/合并阶段中的数据传输要求，不仅提高了速度，也提高了利用率。在BDTC 2014上，我们可以从Infiniband/RDMA技术及应用演讲，以及数场SDN实战上吸取宝贵的经验。
5. 数据挖掘的灵魂——机器学习。 近年来，机器学习领域的人才抢夺已进入白热化，类似Google、IBM、微软、网络、阿里、腾讯对机器学习领域的投入也是愈来愈高，囊括了芯片设计、系统结构（异构计算）、软件系统、模型算法和深度应用各个方面。大数据标志一个新时代的到来，PB数据让人们坐拥金山，然而缺少了智能算法，机器学习这个灵魂，价值的提取无疑变得镜花水月。而在本届会议上，我们同样为大家准备了数场机器学习相关分享，静候诸位参与。
而在技术分享之外，2014年第二届CCF大数据学术会议也将同时召开，并与技术大会共享主题报告。届时，我们同样可以斩获许多来自学术领域的最新科研成果。

以上是小编为大家分享的关于中国大数据六大技术变迁记的相关内容，更多信息可以关注环球青藤分享更多干货

‘叁’ 数据库工程师的职业发展

数据库作为整个系统的一部分，它的表现直接受服务器、操作系统、存储、网络、应用程序中SQL语句的质量、数据库设计的质量、以及其它诸多因素的影响，这些因素加在一起非常复杂，经验起着非常重要的作用。因此一个好的数据库工程师除了知识作为基础，经验的多寡、见识的薄广，往往决定了是否合格与优秀。
优秀的数据库工程师不仅关心自己运维的数据库系统的原理和发展，而且紧跟业界数据库前沿技术，并关注数据库领域的顶级会议。其中包括国际着名的数据库三大会议SIGMOD、VLDB、ICDE，还有知名数据库公司Percona主办的Percona Live和Oracle主办的Open World，以及国内知名的数据库工程师盛会中国数据库技术大会(DTCC)等。
从另外一个角度说，数据库工程师工作领域对实践经验和独立工作能力要求较高，没有经过大量的动手实践是很难胜任数据库工程师相关工作的 。
正是由于上述原因，其职场现状是数据库工程师职位不易进入，而用人单位很难找到合适的从业人员，人员缺口非常大。
也正是由于上述原因，随着工作年限的增长，数据库工程师的经验在增加，就像医生一样，其价值会越来越高，可以逐步成长为资深数据库工程师、系统架构师、信息主管（CIO）等等，而不会出现许多软件开发从业人员在一定年龄后面临的转行问题。
另外，从职业前景看，从事数据库工程师有着更多的职场机遇 。一般而言，系统中的软硬件都是IBM、HP、Oracle等业界一流厂商提供的，在与厂商谈判、合作、测试、实施、维护、优化等等过程中，会产生许多极佳的职场机遇，这一点是从事开发工作很难比拟的。
从数据库工程师的工资统计数据看，随着工作经验的积累，数据库工程师工资的增长幅度会远大于其它的计算机方向。
从工作的稳定性上看，系统的复杂性和经验的重要性已经决定了数据库工程师职位的不可替代性。
从知识的积累、更新和替代角度看，数据库的根基始终没变，变的是不断增强的功能和不断扩展的应用范围。因此，在不同时期所学的知识和获得的经验是叠加和累积的关系，而不像IT许多其他职业方向那样“唯一不变的是变化”，其知识是东风压倒西风还是西风压倒东风的关系。
因此， 数据库工程师职业是一个高挑战和高回报的职业，有一定能力的和聪明的技术人员应该挑战自我，进入这个被二十多年事实不断证明的越来越有前景的职业 。

‘肆’ Oracle、DB2、MySQL、SQL Server、Sybase这几款数据的重点应用领域分别是哪些比如电信、互联网、银行等等

这个事情需要展开来看
很多大型企业单位为了满足业务系统的使用需要，使用很强劲的服务器主机，以大型机、小型机为主。这些机器都不使用windows系统，所以SQL Server之类的数据库没办法在这种机器上运行。Oracle、DB2、Sybase之类的是主流，这几个数据库有很强大的技术支持团队，也是受到大企业欢迎的原因。
计算机水平国外还是比较高的，所以外国软件公司开发的针对大企业的软件也都要求在这种数据库上运行。
约定俗成，微软的操作系统和数据库由于不能运行在很强劲的主机上，所以只能给中小企业服务。微软系列的还有access数据库，基本上是为单机服务的。
至于MySQL基本上是为网站服务的，主要特点是免费，应用挺多，但是大企业信息化软件很少用，因为没有对应的业务支持人员，到时候出问题，找不到人，就出大事故了。
反过来再看数据库本身，都有参数说明，你仔细看看就知道了。很多小数据库本身底气就不足，并发数量、最大库文件等等参数标得很低，你说大企业动辄几T几P的数据，敢忘这种数据库上放吗？软件公司敢编写用这种数据库的软件吗？
再说说知名度，企业之间都会互相问，要是一个很小很便宜的数据库大家都用，都用得很好，市场占有率极高。自然口碑就好，大家就都用了。微软的sqlsever就是一个例子。从最开始的6.5基本上不能用到sql2000很成功，得到大量企业的认同，到现在出到2008版本，占有率很高了，就是口碑，可是它在大企业中使用不理想，所以还是占有中小企业。
分析这些数据库，应该多方面来看，不能只看参数，只看技术。你都分析好了，发现某个数据库不像大家说的，你能用，可是市场上找不到对应的软件，也没辙，除非你自己编写。