大数据编程

1. 大数据开发常用的编程语言有哪些

1、python语言
如果你的数据科学家不使用R，他们可能就会彻底了解Python。十多年来，Python在学术界当中一直很流行，尤其是在自然语言处理（NLP）等领域。因而，如果你有一个需要NLP处理的项目，就会面临数量多得让人眼花缭乱的选择，包括经典的NTLK、使用GenSim的主题建模，或者超快、准确的spaCy。同样，说到神经网络，Python同样游刃有余，有Theano和Tensorflow；随后还有面向机器学习的scikit-learn，以及面向数据分析的NumPy和Pandas。
还有Juypter/iPython――这种基于Web的笔记本服务器框架让你可以使用一种可共享的日志格式，将代码、图形以及几乎任何对象混合起来。这一直是Python的杀手级功能之一，不过这年头，这个概念证明大有用途，以至于出现在了奉行读取－读取－输出－循环（REPL）概念的几乎所有语言上，包括Scala和R。
Python往往在大数据处理框架中得到支持，但与此同时，它往往又不是“一等公民”。比如说，Spark中的新功能几乎总是出现在Scala/java绑定的首位，可能需要用PySpark编写面向那些更新版的几个次要版本（对Spark Streaming/MLLib方面的开发工具而言尤为如此）。
与R相反，Python是一种传统的面向对象语言，所以大多数开发人员用起来会相当得心应手，而初次接触R或Scala会让人心生畏惧。一个小问题就是你的代码中需要留出正确的空白处。这将人员分成两大阵营，一派觉得“这非常有助于确保可读性”，另一派则认为，我们应该不需要就因为一行代码有个字符不在适当的位置，就要迫使解释器让程序运行起来。
2、R语言
在过去的几年时间中，R语言已经成为了数据科学的宠儿——数据科学现在不仅仅在书呆子一样的统计学家中人尽皆知，而且也为华尔街交易员，生物学家，和硅谷开发者所家喻户晓。各种行业的公司，例如Google，Facebook，美国银行，以及纽约时报都使用R语言，R语言正在商业用途上持续蔓延和扩散。
R语言有着简单而明显的吸引力。使用R语言，只需要短短的几行代码，你就可以在复杂的数据集中筛选，通过先进的建模函数处理数据，以及创建平整的图形来代表数字。它被比喻为是Excel的一个极度活跃版本。
R语言最伟大的资本是已围绕它开发的充满活力的生态系统：R语言社区总是在不断地添加新的软件包和功能到它已经相当丰富的功能集中。据估计，超过200万的人使用R语言，并且最近的一次投票表明，R语言是迄今为止在科学数据中最流行的语言，被61%的受访者使用(其次是Python，39%)。
3、JAVA
Java，以及基于Java的框架，被发现俨然成为了硅谷最大的那些高科技公司的骨骼支架。 “如果你去看Twitter，LinkedIn和Facebook，那么你会发现，Java是它们所有数据工程基础设施的基础语言，”Driscoll说。
Java不能提供R和Python同样质量的可视化，并且它并非统计建模的最佳选择。但是，如果你移动到过去的原型制作并需要建立大型系统，那么Java往往是你的最佳选择。
4、Hadoop和Hive
一群基于Java的工具被开发出来以满足数据处理的巨大需求。Hadoop作为首选的基于Java的框架用于批处理数据已经点燃了大家的热情。Hadoop比其他一些处理工具慢，但它出奇的准确，因此被广泛用于后端分析。它和Hive——一个基于查询并且运行在顶部的框架可以很好地结对工作。

2. 大数据学习编程么

大数据前景是很不错的，像大数据这样的专业还是一线城市比较好，师资力量跟得上、就业的薪资也是可观的，学大数据面授班的时间大约半年，学大数据可以按照路线图的顺序，

3. 大数据的编程语言有那几种

如果要学习大数据，不管你是零基础，还是有一定的基础，都是要懂至少一种计算机编程语言，因为大数据的开发离不开编程语言，不仅要懂，还要精通！但这门编程语言不一定是java。

比如说，如果你主攻Hadoop开发方向，是一定要学习java的，因为Hadoop是由java来开发的。

如果你想要主攻spark方向，是要学习Scala语言的，每个方向要求的编程语言是不同的。

如果你是想要走数据分析方向，那你就要从python编程语言下手，这个也是看自己未来的需求的。

大数据是需要一定的编程基础的，但具体学习哪一门编程，自己可以选择的。其实只要学会了一门编程语言，其他编程语言也是不在话下的。

4. 大数据处理需要用到的编程语言有哪些

R语言:为统计人员开发的一种语言，可以用R语言构建深奥的统计模型、数据探索以及统计分析等
Python语言：Python是数据分析利器，使用Python进行科学计算可以提高效率，Python可以替代Excel进行更高效的数据处理
java语言：Java是一门很适合大数据项目的编程语言，Hadoop、Spark、Storm、Flink、Flume、Kafka、Sqoop等大数据框架和工具都是用Java编写的，因此，大数据会不可避免的使用到Java。
Scala语言:Scala是一门轻松的语言，在JVM上运行，成功地结合了函数范式和面向对象范式

5. 大数据专业学什么编程

大数据前景是很不错的，像大数据这样的专业还是一线城市比较好，师资力量跟得上、就业的薪资也是可观的，学习大数据可以按照路线图的顺序，

0基础学习Java是没有问题的，关键是找到靠谱的Java培训机构，你可以深度了解机构的口碑情况，问问周围知道这家机构的人，除了口碑再了解机构的以下几方面：

1. 师资力量雄厚

要想有1+1>2的实际效果，很关键的一点是师资队伍，你接下来无论是找个工作还是工作中出任哪些的人物角色，都越来越爱你本身的技术专业java技术性，也许的技术专业java技术性则绝大多数来自你的技术专业java教师，一个好的java培训机构必须具备雄厚的师资力量。

2. 就业保障完善

实现1+1>2效果的关键在于能够为你提供良好的发展平台，即能够为你提供良好的就业保障，让学员能够学到实在实在的知识，并向java学员提供一对一的就业指导，确保学员找到自己的心理工作。

3. 学费性价比高

一个好的Java培训机构肯定能给你带来1+1>2的效果，如果你在一个由专业的Java教师领导并由Java培训机构自己提供的平台上工作，你将获得比以往更多的投资。

希望你早日学有所成。

6. 学完大数据以后能干其他的编程吗

其实大数据在整个编程学科中算难的了，就像黑马在学习的时候就要边讲边联系，让自己具备自我学习的能力。学完以后你具备了编程的思想，在去学习其他的编程语言，做其他的编程也是可以的

7. 大数据怎么学，是不是还要学习编程

一般学大数据就是面授，线上学大数据效果并不理想，选择大数据培训机构的时候一定要好好的了解机构的口碑、师资、就业、课程、费用等等方面的情况，多对比几家机构，如果条件允许就去实地考察一下，希望你能找到好的大数据培训机构。

8. 大数据和编程，有什么关系

Java是一门编程语言，实现同一个需求有上百种编程语言可以完成，Java之于大数据，就是一种工具罢了。
大数据就是一个行业，实现同一个需求同样有多种工具可以选择，狭义一点以技术的角度讲，各类框架有Hadoop，spark，storm，flink等，就这类技术生态圈来讲，还有各种中间件如flume，kafka，sqoop等等 ，这些框架以及工具大多数是用Java编写而成，但提供诸如Java，scala，Python，R等各种语言API供编程。
所以，大数据的实习需要用到Java，但是Java并不是大数据。

9. 大数据专业将来就是编程、敲代码吗前景怎么样

学大数据很不错，就业前景广阔！

但是有关大数据的岗位，通常都是有学历要求的，一般是大专/本科起步。

大数据作为一项前沿互联网技术，目前被各互联网大厂的项目部门大量需求，如视频推荐等。随着鸿蒙系统的发布，物联网时代将会催生更多大数据岗位。大数据技术在现在，以及可预见的将来，都是比较吃香的。

我国大数据发展整体上仍处于起步阶段，虽然快速发展的格局基本形成，但是在数据开放共享、以大数据驱动发展等方面都需要大量的大数据专业人才。大数据是一门交叉学科，很多大学没有为大数据单独设置专业，主要有自学和报班学习两种途径。

大数据专业全称数据科学与大数据技术，是2016年我国高校设置的本科专业。有32所高校成为第二批成功申请“数据科学与大数据技术”本科新专业的高校。加上第一批成功申请该专业的北京大学、对外经济贸易大学及中南大学，目前共有35所大学获批开设大数据专业。

大数据（Bigdata）专业的学生不仅具备计算机编程、统计和数据挖掘等专业技能，还能够将这些技能应用到自己所选领域中解决问题，比如应用到社会科学、自然科学和工程学领域。所以对于这项偏技术类的专业，你学大数据是一个很好的选择。

大数据工程师待遇30~50万之间。

你可以看到，在市场需求和人才供应的不均衡下，大数据人才问题日渐严峻。

人才紧缺带来的最直观的现象就是薪酬的提升。

目前，一个大数据工程师的月薪轻松过万，一个有几年工作经验的数据分析师的薪酬在30万~50万元之间，而更顶尖的大数据技术人才则是年薪轻松超百万，成为各大互联网和IT公司争夺的对象。

因而甚至有观点认为，大数据专业正在成为求职者进入大公司的捷径。

综上所述，大专学大数据是不错的选择，如果提升一下学历和实力，今后的就业会很容易。所以，不要因为学校是大专院校就放弃学习，你只有在大学期间更努力，积累深厚的专业功底，才能在这个越来越卷的职场脱颖而出。

对于想进大厂的应届毕业生，建议考一个阿里云大数据ACP证书，市面上大数据相关的认证证书并不多，有含金量、能被市场认可的更少了，而阿里云大数据ACP认证算是其中一个。它不仅能让你的理论知识联系实际应用，更能对你的求职起到助推作用，是你找工作的一个加分项。

想了解的同学可以关注我，免费领取大数据课件。

10. 大数据需要学编程吗

导读：

• 第一章：初识Hadoop

• 第二章：更高效的WordCount

• 第三章：把别处的数据搞到Hadoop上

• 第四章：把Hadoop上的数据搞到别处去

• 第五章：快一点吧，我的SQL

• 第六章：一夫多妻制

• 第七章：越来越多的分析任务

• 第八章：我的数据要实时

• 第九章：我的数据要对外

• 第十章：牛逼高大上的机器学习

经常有初学者在博客和QQ问我，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高。如果自己很迷茫，为了这些原因想往大数据方向发展，也可以，那么我就想问一下，你的专业是什么，对于计算机/软件，你的兴趣是什么？是计算机专业，对操作系统、硬件、网络、服务器感兴趣？是软件专业，对软件开发、编程、写代码感兴趣？还是数学、统计学专业，对数据和数字特别感兴趣。。

其实这就是想告诉你的大数据的三个发展方向，平台搭建/优化/运维/监控、大数据开发/设计/架构、数据分析/挖掘。请不要问我哪个容易，哪个前景好，哪个钱多。

先扯一下大数据的4V特征：

• 数据量大，TB->PB

• 数据类型繁多，结构化、非结构化文本、日志、视频、图片、地理位置等；

• 商业价值高，但是这种价值需要在海量数据之上，通过数据分析与机器学习更快速的挖掘出来；

• 处理时效性高，海量数据的处理需求不再局限在离线计算当中。

现如今，正式为了应对大数据的这几个特点，开源的大数据框架越来越多，越来越强，先列举一些常见的：

文件存储：Hadoop HDFS、Tachyon、KFS
离线计算：Hadoop MapRece、Spark
流式、实时计算：Storm、Spark Streaming、S4、Heron
K-V、NOSQL数据库：HBase、Redis、MongoDB
资源管理：YARN、Mesos
日志收集：Flume、Scribe、Logstash、Kibana
消息系统：Kafka、StormMQ、ZeroMQ、RabbitMQ
查询分析：Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid
分布式协调服务：Zookeeper
集群管理与监控：Ambari、Ganglia、Nagios、Cloudera Manager
数据挖掘、机器学习：Mahout、Spark MLLib
数据同步：Sqoop
任务调度：Oozie
……

眼花了吧，上面的有30多种吧，别说精通了，全部都会使用的，估计也没几个。

就我个人而言，主要经验是在第二个方向（开发/设计/架构），且听听我的建议吧。

第一章：初识Hadoop

1.1 学会网络与Google

不论遇到什么问题，先试试搜索并自己解决。

Google首选，翻不过去的，就用网络吧。

1.2 参考资料首选官方文档

特别是对于入门来说，官方文档永远是首选文档。

相信搞这块的大多是文化人，英文凑合就行，实在看不下去的，请参考第一步。

1.3 先让Hadoop跑起来

Hadoop可以算是大数据存储和计算的开山鼻祖，现在大多开源的大数据框架都依赖Hadoop或者与它能很好的兼容。

关于Hadoop,你至少需要搞清楚以下是什么：

• Hadoop 1.0、Hadoop 2.0

• MapRece、HDFS

• NameNode、DataNode

• JobTracker、TaskTracker

• Yarn、ResourceManager、NodeManager

自己搭建Hadoop，请使用第一步和第二步，能让它跑起来就行。

建议先使用安装包命令行安装，不要使用管理工具安装。

另外：Hadoop1.0知道它就行了，现在都用Hadoop 2.0.

1.4 试试使用Hadoop

HDFS目录操作命令；
上传、下载文件命令；
提交运行MapRece示例程序；

打开Hadoop WEB界面，查看Job运行状态，查看Job运行日志。

知道Hadoop的系统日志在哪里。

1.5 你该了解它们的原理了

MapRece：如何分而治之；
HDFS：数据到底在哪里，什么是副本；
Yarn到底是什么，它能干什么；
NameNode到底在干些什么；
ResourceManager到底在干些什么；

1.6 自己写一个MapRece程序

请仿照WordCount例子，自己写一个（照抄也行）WordCount程序，
打包并提交到Hadoop运行。

你不会Java？Shell、Python都可以，有个东西叫Hadoop Streaming。

如果你认真完成了以上几步，恭喜你，你的一只脚已经进来了。

第二章：更高效的WordCount

2.1 学点SQL吧

你知道数据库吗？你会写SQL吗？
如果不会，请学点SQL吧。

2.2 SQL版WordCount

在1.6中，你写（或者抄）的WordCount一共有几行代码？

给你看看我的:

SELECT word,COUNT(1) FROM wordcount GROUP BY word;

这便是SQL的魅力，编程需要几十行，甚至上百行代码，我这一句就搞定；使用SQL处理分析Hadoop上的数据，方便、高效、易上手、更是趋势。不论是离线计算还是实时计算，越来越多的大数据处理框架都在积极提供SQL接口。

2.3 SQL On Hadoop之Hive

什么是Hive？官方给的解释是：

The Apache Hive data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage and queried using SQL syntax.

为什么说Hive是数据仓库工具，而不是数据库工具呢？有的朋友可能不知道数据仓库，数据仓库是逻辑上的概念，底层使用的是数据库，数据仓库中的数据有这两个特点：最全的历史数据（海量）、相对稳定的；所谓相对稳定，指的是数据仓库不同于业务系统数据库，数据经常会被更新，数据一旦进入数据仓库，很少会被更新和删除，只会被大量查询。而Hive，也是具备这两个特点，因此，Hive适合做海量数据的数据仓库工具，而不是数据库工具。

2.4 安装配置Hive

请参考1.1 和 1.2 完成Hive的安装配置。可以正常进入Hive命令行。

2.5 试试使用Hive

请参考1.1 和 1.2 ，在Hive中创建wordcount表，并运行2.2中的SQL语句。
在Hadoop WEB界面中找到刚才运行的SQL任务。

看SQL查询结果是否和1.4中MapRece中的结果一致。

2.6 Hive是怎么工作的

明明写的是SQL，为什么Hadoop WEB界面中看到的是MapRece任务？

2.7 学会Hive的基本命令

创建、删除表；
加载数据到表；
下载Hive表的数据；

请参考1.2，学习更多关于Hive的语法和命令。

如果你已经按照《写给大数据开发初学者的话》中第一章和第二章的流程认真完整的走了一遍，那么你应该已经具备以下技能和知识点：

• 0和Hadoop2.0的区别；

• MapRece的原理（还是那个经典的题目，一个10G大小的文件，给定1G大小的内存，如何使用Java程序统计出现次数最多的10个单词及次数）；

• HDFS读写数据的流程；向HDFS中PUT数据；从HDFS中下载数据；

• 自己会写简单的MapRece程序，运行出现问题，知道在哪里查看日志；

• 会写简单的SELECT、WHERE、GROUP BY等SQL语句；

• Hive SQL转换成MapRece的大致流程；

• Hive中常见的语句：创建表、删除表、往表中加载数据、分区、将表中数据下载到本地；

从上面的学习，你已经了解到，HDFS是Hadoop提供的分布式存储框架，它可以用来存储海量数据，MapRece是Hadoop提供的分布式计算框架，它可以用来统计和分析HDFS上的海量数据，而Hive则是SQL On Hadoop，Hive提供了SQL接口，开发人员只需要编写简单易上手的SQL语句，Hive负责把SQL翻译成MapRece，提交运行。

此时，你的”大数据平台”是这样的：

那么问题来了，海量数据如何到HDFS上呢？

第三章：把别处的数据搞到Hadoop上

此处也可以叫做数据采集，把各个数据源的数据采集到Hadoop上。

3.1 HDFS PUT命令

这个在前面你应该已经使用过了。

put命令在实际环境中也比较常用，通常配合shell、python等脚本语言来使用。

建议熟练掌握。

3.2 HDFS API

HDFS提供了写数据的API，自己用编程语言将数据写入HDFS，put命令本身也是使用API。

实际环境中一般自己较少编写程序使用API来写数据到HDFS，通常都是使用其他框架封装好的方法。比如：Hive中的INSERT语句，Spark中的saveAsTextfile等。

建议了解原理，会写Demo。

3.3 Sqoop

Sqoop是一个主要用于Hadoop/Hive与传统关系型数据库Oracle/MySQL/SQLServer等之间进行数据交换的开源框架。

就像Hive把SQL翻译成MapRece一样，Sqoop把你指定的参数翻译成MapRece，提交到Hadoop运行，完成Hadoop与其他数据库之间的数据交换。

自己下载和配置Sqoop（建议先使用Sqoop1，Sqoop2比较复杂）。

了解Sqoop常用的配置参数和方法。

使用Sqoop完成从MySQL同步数据到HDFS；
使用Sqoop完成从MySQL同步数据到Hive表；

PS：如果后续选型确定使用Sqoop作为数据交换工具，那么建议熟练掌握，否则，了解和会用Demo即可。

3.4 Flume

Flume是一个分布式的海量日志采集和传输框架，因为“采集和传输框架”，所以它并不适合关系型数据库的数据采集和传输。

Flume可以实时的从网络协议、消息系统、文件系统采集日志，并传输到HDFS上。

因此，如果你的业务有这些数据源的数据，并且需要实时的采集，那么就应该考虑使用Flume。

下载和配置Flume。

使用Flume监控一个不断追加数据的文件，并将数据传输到HDFS；

PS：Flume的配置和使用较为复杂，如果你没有足够的兴趣和耐心，可以先跳过Flume。

3.5 阿里开源的DataX

之所以介绍这个，是因为我们公司目前使用的Hadoop与关系型数据库数据交换的工具，就是之前基于DataX开发的，非常好用。

可以参考我的博文《异构数据源海量数据交换工具-Taobao DataX 下载和使用》。

现在DataX已经是3.0版本，支持很多数据源。

你也可以在其之上做二次开发。

PS：有兴趣的可以研究和使用一下，对比一下它与Sqoop。

如果你认真完成了上面的学习和实践，此时，你的”大数据平台”应该是这样的：

第四章：把Hadoop上的数据搞到别处去

前面介绍了如何把数据源的数据采集到Hadoop上，数据到Hadoop上之后，便可以使用Hive和MapRece进行分析了。那么接下来的问题是，分析完的结果如何从Hadoop上同步到其他系统和应用中去呢？

其实，此处的方法和第三章基本一致的。

4.1 HDFS GET命令

把HDFS上的文件GET到本地。需要熟练掌握。

4.2 HDFS API

同3.2.

4.3 Sqoop

同3.3.

使用Sqoop完成将HDFS上的文件同步到MySQL；
使用Sqoop完成将Hive表中的数据同步到MySQL；

4.4 DataX

同3.5.

如果你认真完成了上面的学习和实践，此时，你的”大数据平台”应该是这样的：

如果你已经按照《写给大数据开发初学者的话2》中第三章和第四章的流程认真完整的走了一遍，那么你应该已经具备以下技能和知识点：

知道如何把已有的数据采集到HDFS上，包括离线采集和实时采集；

你已经知道sqoop（或者还有DataX）是HDFS和其他数据源之间的数据交换工具；

你已经知道flume可以用作实时的日志采集。

从前面的学习，对于大数据平台，你已经掌握的不少的知识和技能，搭建Hadoop集群，把数据采集到Hadoop上，使用Hive和MapRece来分析数据，把分析结果同步到其他数据源。

接下来的问题来了，Hive使用的越来越多，你会发现很多不爽的地方，特别是速度慢，大多情况下，明明我的数据量很小，它都要申请资源，启动MapRece来执行。

第五章：快一点吧，我的SQL

其实大家都已经发现Hive后台使用MapRece作为执行引擎，实在是有点慢。

因此SQL On Hadoop的框架越来越多，按我的了解，最常用的按照流行度依次为SparkSQL、Impala和Presto.

这三种框架基于半内存或者全内存，提供了SQL接口来快速查询分析Hadoop上的数据。关于三者的比较，请参考1.1.

我们目前使用的是SparkSQL，至于为什么用SparkSQL，原因大概有以下吧：

使用Spark还做了其他事情，不想引入过多的框架；

Impala对内存的需求太大，没有过多资源部署；

5.1 关于Spark和SparkSQL

什么是Spark，什么是SparkSQL。
Spark有的核心概念及名词解释。
SparkSQL和Spark是什么关系，SparkSQL和Hive是什么关系。
SparkSQL为什么比Hive跑的快。

5.2 如何部署和运行SparkSQL

Spark有哪些部署模式？
如何在Yarn上运行SparkSQL？
使用SparkSQL查询Hive中的表。

PS: Spark不是一门短时间内就能掌握的技术，因此建议在了解了Spark之后，可以先从SparkSQL入手，循序渐进。

关于Spark和SparkSQL，可参考http://lxw1234.com/archives/category/spark

如果你认真完成了上面的学习和实践，此时，你的”大数据平台”应该是这样的：

第六章：一夫多妻制

请不要被这个名字所诱惑。其实我想说的是数据的一次采集、多次消费。

在实际业务场景下，特别是对于一些监控日志，想即时的从日志中了解一些指标（关于实时计算，后面章节会有介绍），这时候，从HDFS上分析就太慢了，尽管是通过Flume采集的，但Flume也不能间隔很短就往HDFS上滚动文件，这样会导致小文件特别多。

为了满足数据的一次采集、多次消费的需求，这里要说的便是Kafka。

6.1 关于Kafka

什么是Kafka？

Kafka的核心概念及名词解释。

6.2 如何部署和使用Kafka

使用单机部署Kafka，并成功运行自带的生产者和消费者例子。

使用Java程序自己编写并运行生产者和消费者程序。

Flume和Kafka的集成，使用Flume监控日志，并将日志数据实时发送至Kafka。

如果你认真完成了上面的学习和实践，此时，你的”大数据平台”应该是这样的：

这时，使用Flume采集的数据，不是直接到HDFS上，而是先到Kafka，Kafka中的数据可以由多个消费者同时消费，其中一个消费者，就是将数据同步到HDFS。

如果你已经按照《写给大数据开发初学者的话3》中第五章和第六章的流程认真完整的走了一遍，那么你应该已经具备以下技能和知识点：

• 为什么Spark比MapRece快。

• 使用SparkSQL代替Hive，更快的运行SQL。

• 使用Kafka完成数据的一次收集，多次消费架构。

• 自己可以写程序完成Kafka的生产者和消费者。

从前面的学习，你已经掌握了大数据平台中的数据采集、数据存储和计算、数据交换等大部分技能，而这其中的每一步，都需要一个任务（程序）来完成，各个任务之间又存在一定的依赖性，比如，必须等数据采集任务成功完成后，数据计算任务才能开始运行。如果一个任务执行失败，需要给开发运维人员发送告警，同时需要提供完整的日志来方便查错。

第七章：越来越多的分析任务

不仅仅是分析任务，数据采集、数据交换同样是一个个的任务。这些任务中，有的是定时触发，有点则需要依赖其他任务来触发。当平台中有几百上千个任务需要维护和运行时候，仅仅靠crontab远远不够了，这时便需要一个调度监控系统来完成这件事。调度监控系统是整个数据平台的中枢系统，类似于AppMaster，负责分配和监控任务。

7.1 Apache Oozie

1. Oozie是什么？有哪些功能？
2. Oozie可以调度哪些类型的任务（程序）？
3. Oozie可以支持哪些任务触发方式？
4. 安装配置Oozie。

第八章：我的数据要实时

在第六章介绍Kafka的时候提到了一些需要实时指标的业务场景，实时基本可以分为绝对实时和准实时，绝对实时的延迟要求一般在毫秒级，准实时的延迟要求一般在秒、分钟级。对于需要绝对实时的业务场景，用的比较多的是Storm，对于其他准实时的业务场景，可以是Storm，也可以是Spark Streaming。当然，如果可以的话，也可以自己写程序来做。

8.1 Storm

1. 什么是Storm？有哪些可能的应用场景？
2. Storm由哪些核心组件构成，各自担任什么角色？
3. Storm的简单安装和部署。
4. 自己编写Demo程序，使用Storm完成实时数据流计算。

8.2 Spark Streaming

1. 什么是Spark Streaming，它和Spark是什么关系？
2. Spark Streaming和Storm比较，各有什么优缺点？
3. 使用Kafka + Spark Streaming，完成实时计算的Demo程序。

如果你认真完成了上面的学习和实践，此时，你的”大数据平台”应该是这样的：

至此，你的大数据平台底层架构已经成型了，其中包括了数据采集、数据存储与计算（离线和实时）、数据同步、任务调度与监控这几大模块。接下来是时候考虑如何更好的对外提供数据了。

第九章：我的数据要对外

通常对外（业务）提供数据访问，大体上包含以下方面：

离线：比如，每天将前一天的数据提供到指定的数据源（DB、FILE、FTP）等；离线数据的提供可以采用Sqoop、DataX等离线数据交换工具。

实时：比如，在线网站的推荐系统，需要实时从数据平台中获取给用户的推荐数据，这种要求延时非常低（50毫秒以内）。

根据延时要求和实时数据的查询需要，可能的方案有：HBase、Redis、MongoDB、ElasticSearch等。

OLAP分析：OLAP除了要求底层的数据模型比较规范，另外，对查询的响应速度要求也越来越高，可能的方案有：Impala、Presto、SparkSQL、Kylin。如果你的数据模型比较规模，那么Kylin是最好的选择。

即席查询：即席查询的数据比较随意，一般很难建立通用的数据模型，因此可能的方案有：Impala、Presto、SparkSQL。

这么多比较成熟的框架和方案，需要结合自己的业务需求及数据平台技术架构，选择合适的。原则只有一个：越简单越稳定的，就是最好的。

如果你已经掌握了如何很好的对外（业务）提供数据，那么你的“大数据平台”应该是这样的：

第十章：牛逼高大上的机器学习

关于这块，我这个门外汉也只能是简单介绍一下了。数学专业毕业的我非常惭愧，很后悔当时没有好好学数学。

在我们的业务中，遇到的能用机器学习解决的问题大概这么三类：

• 分类问题：包括二分类和多分类，二分类就是解决了预测的问题，就像预测一封邮件是否垃圾邮件；多分类解决的是文本的分类；

• 聚类问题：从用户搜索过的关键词，对用户进行大概的归类。

• 推荐问题：根据用户的历史浏览和点击行为进行相关推荐。

大多数行业，使用机器学习解决的，也就是这几类问题