大數據編程

1. 大數據開發常用的編程語言有哪些

1、python語言
如果你的數據科學家不使用R，他們可能就會徹底了解Python。十多年來，Python在學術界當中一直很流行，尤其是在自然語言處理（NLP）等領域。因而，如果你有一個需要NLP處理的項目，就會面臨數量多得讓人眼花繚亂的選擇，包括經典的NTLK、使用GenSim的主題建模，或者超快、准確的spaCy。同樣，說到神經網路，Python同樣游刃有餘，有Theano和Tensorflow；隨後還有面向機器學習的scikit-learn，以及面向數據分析的NumPy和Pandas。
還有Juypter/iPython――這種基於Web的筆記本伺服器框架讓你可以使用一種可共享的日誌格式，將代碼、圖形以及幾乎任何對象混合起來。這一直是Python的殺手級功能之一，不過這年頭，這個概念證明大有用途，以至於出現在了奉行讀取－讀取－輸出－循環（REPL）概念的幾乎所有語言上，包括Scala和R。
Python往往在大數據處理框架中得到支持，但與此同時，它往往又不是「一等公民」。比如說，Spark中的新功能幾乎總是出現在Scala/java綁定的首位，可能需要用PySpark編寫面向那些更新版的幾個次要版本（對Spark Streaming/MLLib方面的開發工具而言尤為如此）。
與R相反，Python是一種傳統的面向對象語言，所以大多數開發人員用起來會相當得心應手，而初次接觸R或Scala會讓人心生畏懼。一個小問題就是你的代碼中需要留出正確的空白處。這將人員分成兩大陣營，一派覺得「這非常有助於確保可讀性」，另一派則認為，我們應該不需要就因為一行代碼有個字元不在適當的位置，就要迫使解釋器讓程序運行起來。
2、R語言
在過去的幾年時間中，R語言已經成為了數據科學的寵兒——數據科學現在不僅僅在書獃子一樣的統計學家中人盡皆知，而且也為華爾街交易員，生物學家，和矽谷開發者所家喻戶曉。各種行業的公司，例如Google，Facebook，美國銀行，以及紐約時報都使用R語言，R語言正在商業用途上持續蔓延和擴散。
R語言有著簡單而明顯的吸引力。使用R語言，只需要短短的幾行代碼，你就可以在復雜的數據集中篩選，通過先進的建模函數處理數據，以及創建平整的圖形來代表數字。它被比喻為是Excel的一個極度活躍版本。
R語言最偉大的資本是已圍繞它開發的充滿活力的生態系統：R語言社區總是在不斷地添加新的軟體包和功能到它已經相當豐富的功能集中。據估計，超過200萬的人使用R語言，並且最近的一次投票表明，R語言是迄今為止在科學數據中最流行的語言，被61%的受訪者使用(其次是Python，39%)。
3、JAVA
Java，以及基於Java的框架，被發現儼然成為了矽谷最大的那些高科技公司的骨骼支架。 「如果你去看Twitter，LinkedIn和Facebook，那麼你會發現，Java是它們所有數據工程基礎設施的基礎語言，」Driscoll說。
Java不能提供R和Python同樣質量的可視化，並且它並非統計建模的最佳選擇。但是，如果你移動到過去的原型製作並需要建立大型系統，那麼Java往往是你的最佳選擇。
4、Hadoop和Hive
一群基於Java的工具被開發出來以滿足數據處理的巨大需求。Hadoop作為首選的基於Java的框架用於批處理數據已經點燃了大家的熱情。Hadoop比其他一些處理工具慢，但它出奇的准確，因此被廣泛用於後端分析。它和Hive——一個基於查詢並且運行在頂部的框架可以很好地結對工作。

2. 大數據學習編程么

大數據前景是很不錯的，像大數據這樣的專業還是一線城市比較好，師資力量跟得上、就業的薪資也是可觀的，學大數據面授班的時間大約半年，學大數據可以按照路線圖的順序，

3. 大數據的編程語言有那幾種

如果要學習大數據，不管你是零基礎，還是有一定的基礎，都是要懂至少一種計算機編程語言，因為大數據的開發離不開編程語言，不僅要懂，還要精通！但這門編程語言不一定是java。

比如說，如果你主攻Hadoop開發方向，是一定要學習java的，因為Hadoop是由java來開發的。

如果你想要主攻spark方向，是要學習Scala語言的，每個方向要求的編程語言是不同的。

如果你是想要走數據分析方向，那你就要從python編程語言下手，這個也是看自己未來的需求的。

大數據是需要一定的編程基礎的，但具體學習哪一門編程，自己可以選擇的。其實只要學會了一門編程語言，其他編程語言也是不在話下的。

4. 大數據處理需要用到的編程語言有哪些

R語言:為統計人員開發的一種語言，可以用R語言構建深奧的統計模型、數據探索以及統計分析等
Python語言：Python是數據分析利器，使用Python進行科學計算可以提高效率，Python可以替代Excel進行更高效的數據處理
java語言：Java是一門很適合大數據項目的編程語言，Hadoop、Spark、Storm、Flink、Flume、Kafka、Sqoop等大數據框架和工具都是用Java編寫的，因此，大數據會不可避免的使用到Java。
Scala語言:Scala是一門輕松的語言，在JVM上運行，成功地結合了函數範式和面向對象範式

5. 大數據專業學什麼編程

大數據前景是很不錯的，像大數據這樣的專業還是一線城市比較好，師資力量跟得上、就業的薪資也是可觀的，學習大數據可以按照路線圖的順序，

0基礎學習Java是沒有問題的，關鍵是找到靠譜的Java培訓機構，你可以深度了解機構的口碑情況，問問周圍知道這家機構的人，除了口碑再了解機構的以下幾方面：

1. 師資力量雄厚

要想有1+1>2的實際效果，很關鍵的一點是師資隊伍，你接下來無論是找個工作還是工作中出任哪些的人物角色，都越來越愛你本身的技術專業java技術性，也許的技術專業java技術性則絕大多數來自你的技術專業java教師，一個好的java培訓機構必須具備雄厚的師資力量。

2. 就業保障完善

實現1+1>2效果的關鍵在於能夠為你提供良好的發展平台，即能夠為你提供良好的就業保障，讓學員能夠學到實在實在的知識，並向java學員提供一對一的就業指導，確保學員找到自己的心理工作。

3. 學費性價比高

一個好的Java培訓機構肯定能給你帶來1+1>2的效果，如果你在一個由專業的Java教師領導並由Java培訓機構自己提供的平台上工作，你將獲得比以往更多的投資。

希望你早日學有所成。

6. 學完大數據以後能幹其他的編程嗎

其實大數據在整個編程學科中算難的了，就像黑馬在學習的時候就要邊講邊聯系，讓自己具備自我學習的能力。學完以後你具備了編程的思想，在去學習其他的編程語言，做其他的編程也是可以的

7. 大數據怎麼學，是不是還要學習編程

一般學大數據就是面授，線上學大數據效果並不理想，選擇大數據培訓機構的時候一定要好好的了解機構的口碑、師資、就業、課程、費用等等方面的情況，多對比幾家機構，如果條件允許就去實地考察一下，希望你能找到好的大數據培訓機構。

8. 大數據和編程，有什麼關系

Java是一門編程語言，實現同一個需求有上百種編程語言可以完成，Java之於大數據，就是一種工具罷了。
大數據就是一個行業，實現同一個需求同樣有多種工具可以選擇，狹義一點以技術的角度講，各類框架有Hadoop，spark，storm，flink等，就這類技術生態圈來講，還有各種中間件如flume，kafka，sqoop等等 ，這些框架以及工具大多數是用Java編寫而成，但提供諸如Java，scala，Python，R等各種語言API供編程。
所以，大數據的實習需要用到Java，但是Java並不是大數據。

9. 大數據專業將來就是編程、敲代碼嗎前景怎麼樣

學大數據很不錯，就業前景廣闊！

但是有關大數據的崗位，通常都是有學歷要求的，一般是大專/本科起步。

大數據作為一項前沿互聯網技術，目前被各互聯網大廠的項目部門大量需求，如視頻推薦等。隨著鴻蒙系統的發布，物聯網時代將會催生更多大數據崗位。大數據技術在現在，以及可預見的將來，都是比較吃香的。

我國大數據發展整體上仍處於起步階段，雖然快速發展的格局基本形成，但是在數據開放共享、以大數據驅動發展等方面都需要大量的大數據專業人才。大數據是一門交叉學科，很多大學沒有為大數據單獨設置專業，主要有自學和報班學習兩種途徑。

大數據專業全稱數據科學與大數據技術，是2016年我國高校設置的本科專業。有32所高校成為第二批成功申請「數據科學與大數據技術」本科新專業的高校。加上第一批成功申請該專業的北京大學、對外經濟貿易大學及中南大學，目前共有35所大學獲批開設大數據專業。

大數據（Bigdata）專業的學生不僅具備計算機編程、統計和數據挖掘等專業技能，還能夠將這些技能應用到自己所選領域中解決問題，比如應用到社會科學、自然科學和工程學領域。所以對於這項偏技術類的專業，你學大數據是一個很好的選擇。

大數據工程師待遇30~50萬之間。

你可以看到，在市場需求和人才供應的不均衡下，大數據人才問題日漸嚴峻。

人才緊缺帶來的最直觀的現象就是薪酬的提升。

目前，一個大數據工程師的月薪輕松過萬，一個有幾年工作經驗的數據分析師的薪酬在30萬~50萬元之間，而更頂尖的大數據技術人才則是年薪輕松超百萬，成為各大互聯網和IT公司爭奪的對象。

因而甚至有觀點認為，大數據專業正在成為求職者進入大公司的捷徑。

綜上所述，大專學大數據是不錯的選擇，如果提升一下學歷和實力，今後的就業會很容易。所以，不要因為學校是大專院校就放棄學習，你只有在大學期間更努力，積累深厚的專業功底，才能在這個越來越卷的職場脫穎而出。

對於想進大廠的應屆畢業生，建議考一個阿里雲大數據ACP證書，市面上大數據相關的認證證書並不多，有含金量、能被市場認可的更少了，而阿里雲大數據ACP認證算是其中一個。它不僅能讓你的理論知識聯系實際應用，更能對你的求職起到助推作用，是你找工作的一個加分項。

想了解的同學可以關注我，免費領取大數據課件。

10. 大數據需要學編程嗎

導讀：

• 第一章：初識Hadoop

• 第二章：更高效的WordCount

• 第三章：把別處的數據搞到Hadoop上

• 第四章：把Hadoop上的數據搞到別處去

• 第五章：快一點吧，我的SQL

• 第六章：一夫多妻制

• 第七章：越來越多的分析任務

• 第八章：我的數據要實時

• 第九章：我的數據要對外

• 第十章：牛逼高大上的機器學習

經常有初學者在博客和QQ問我，自己想往大數據方向發展，該學哪些技術，學習路線是什麼樣的，覺得大數據很火，就業很好，薪資很高。如果自己很迷茫，為了這些原因想往大數據方向發展，也可以，那麼我就想問一下，你的專業是什麼，對於計算機/軟體，你的興趣是什麼？是計算機專業，對操作系統、硬體、網路、伺服器感興趣？是軟體專業，對軟體開發、編程、寫代碼感興趣？還是數學、統計學專業，對數據和數字特別感興趣。。

其實這就是想告訴你的大數據的三個發展方向，平台搭建/優化/運維/監控、大數據開發/設計/架構、數據分析/挖掘。請不要問我哪個容易，哪個前景好，哪個錢多。

先扯一下大數據的4V特徵：

• 數據量大，TB->PB

• 數據類型繁多，結構化、非結構化文本、日誌、視頻、圖片、地理位置等；

• 商業價值高，但是這種價值需要在海量數據之上，通過數據分析與機器學習更快速的挖掘出來；

• 處理時效性高，海量數據的處理需求不再局限在離線計算當中。

現如今，正式為了應對大數據的這幾個特點，開源的大數據框架越來越多，越來越強，先列舉一些常見的：

文件存儲：Hadoop HDFS、Tachyon、KFS
離線計算：Hadoop MapRece、Spark
流式、實時計算：Storm、Spark Streaming、S4、Heron
K-V、NOSQL資料庫：HBase、Redis、MongoDB
資源管理：YARN、Mesos
日誌收集：Flume、Scribe、Logstash、Kibana
消息系統：Kafka、StormMQ、ZeroMQ、RabbitMQ
查詢分析：Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid
分布式協調服務：Zookeeper
集群管理與監控：Ambari、Ganglia、Nagios、Cloudera Manager
數據挖掘、機器學習：Mahout、Spark MLLib
數據同步：Sqoop
任務調度：Oozie
……

眼花了吧，上面的有30多種吧，別說精通了，全部都會使用的，估計也沒幾個。

就我個人而言，主要經驗是在第二個方向（開發/設計/架構），且聽聽我的建議吧。

第一章：初識Hadoop

1.1 學會網路與Google

不論遇到什麼問題，先試試搜索並自己解決。

Google首選，翻不過去的，就用網路吧。

1.2 參考資料首選官方文檔

特別是對於入門來說，官方文檔永遠是首選文檔。

相信搞這塊的大多是文化人，英文湊合就行，實在看不下去的，請參考第一步。

1.3 先讓Hadoop跑起來

Hadoop可以算是大數據存儲和計算的開山鼻祖，現在大多開源的大數據框架都依賴Hadoop或者與它能很好的兼容。

關於Hadoop,你至少需要搞清楚以下是什麼：

• Hadoop 1.0、Hadoop 2.0

• MapRece、HDFS

• NameNode、DataNode

• JobTracker、TaskTracker

• Yarn、ResourceManager、NodeManager

自己搭建Hadoop，請使用第一步和第二步，能讓它跑起來就行。

建議先使用安裝包命令行安裝，不要使用管理工具安裝。

另外：Hadoop1.0知道它就行了，現在都用Hadoop 2.0.

1.4 試試使用Hadoop

HDFS目錄操作命令；
上傳、下載文件命令；
提交運行MapRece示常式序；

打開Hadoop WEB界面，查看Job運行狀態，查看Job運行日誌。

知道Hadoop的系統日誌在哪裡。

1.5 你該了解它們的原理了

MapRece：如何分而治之；
HDFS：數據到底在哪裡，什麼是副本；
Yarn到底是什麼，它能幹什麼；
NameNode到底在幹些什麼；
ResourceManager到底在幹些什麼；

1.6 自己寫一個MapRece程序

請仿照WordCount例子，自己寫一個（照抄也行）WordCount程序，
打包並提交到Hadoop運行。

你不會Java？Shell、Python都可以，有個東西叫Hadoop Streaming。

如果你認真完成了以上幾步，恭喜你，你的一隻腳已經進來了。

第二章：更高效的WordCount

2.1 學點SQL吧

你知道資料庫嗎？你會寫SQL嗎？
如果不會，請學點SQL吧。

2.2 SQL版WordCount

在1.6中，你寫（或者抄）的WordCount一共有幾行代碼？

給你看看我的:

SELECT word,COUNT(1) FROM wordcount GROUP BY word;

這便是SQL的魅力，編程需要幾十行，甚至上百行代碼，我這一句就搞定；使用SQL處理分析Hadoop上的數據，方便、高效、易上手、更是趨勢。不論是離線計算還是實時計算，越來越多的大數據處理框架都在積極提供SQL介面。

2.3 SQL On Hadoop之Hive

什麼是Hive？官方給的解釋是：

The Apache Hive data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage and queried using SQL syntax.

為什麼說Hive是數據倉庫工具，而不是資料庫工具呢？有的朋友可能不知道數據倉庫，數據倉庫是邏輯上的概念，底層使用的是資料庫，數據倉庫中的數據有這兩個特點：最全的歷史數據（海量）、相對穩定的；所謂相對穩定，指的是數據倉庫不同於業務系統資料庫，數據經常會被更新，數據一旦進入數據倉庫，很少會被更新和刪除，只會被大量查詢。而Hive，也是具備這兩個特點，因此，Hive適合做海量數據的數據倉庫工具，而不是資料庫工具。

2.4 安裝配置Hive

請參考1.1 和 1.2 完成Hive的安裝配置。可以正常進入Hive命令行。

2.5 試試使用Hive

請參考1.1 和 1.2 ，在Hive中創建wordcount表，並運行2.2中的SQL語句。
在Hadoop WEB界面中找到剛才運行的SQL任務。

看SQL查詢結果是否和1.4中MapRece中的結果一致。

2.6 Hive是怎麼工作的

明明寫的是SQL，為什麼Hadoop WEB界面中看到的是MapRece任務？

2.7 學會Hive的基本命令

創建、刪除表；
載入數據到表；
下載Hive表的數據；

請參考1.2，學習更多關於Hive的語法和命令。

如果你已經按照《寫給大數據開發初學者的話》中第一章和第二章的流程認真完整的走了一遍，那麼你應該已經具備以下技能和知識點：

• 0和Hadoop2.0的區別；

• MapRece的原理（還是那個經典的題目，一個10G大小的文件，給定1G大小的內存，如何使用Java程序統計出現次數最多的10個單詞及次數）；

• HDFS讀寫數據的流程；向HDFS中PUT數據；從HDFS中下載數據；

• 自己會寫簡單的MapRece程序，運行出現問題，知道在哪裡查看日誌；

• 會寫簡單的SELECT、WHERE、GROUP BY等SQL語句；

• Hive SQL轉換成MapRece的大致流程；

• Hive中常見的語句：創建表、刪除表、往表中載入數據、分區、將表中數據下載到本地；

從上面的學習，你已經了解到，HDFS是Hadoop提供的分布式存儲框架，它可以用來存儲海量數據，MapRece是Hadoop提供的分布式計算框架，它可以用來統計和分析HDFS上的海量數據，而Hive則是SQL On Hadoop，Hive提供了SQL介面，開發人員只需要編寫簡單易上手的SQL語句，Hive負責把SQL翻譯成MapRece，提交運行。

此時，你的」大數據平台」是這樣的：

那麼問題來了，海量數據如何到HDFS上呢？

第三章：把別處的數據搞到Hadoop上

此處也可以叫做數據採集，把各個數據源的數據採集到Hadoop上。

3.1 HDFS PUT命令

這個在前面你應該已經使用過了。

put命令在實際環境中也比較常用，通常配合shell、python等腳本語言來使用。

建議熟練掌握。

3.2 HDFS API

HDFS提供了寫數據的API，自己用編程語言將數據寫入HDFS，put命令本身也是使用API。

實際環境中一般自己較少編寫程序使用API來寫數據到HDFS，通常都是使用其他框架封裝好的方法。比如：Hive中的INSERT語句，Spark中的saveAsTextfile等。

建議了解原理，會寫Demo。

3.3 Sqoop

Sqoop是一個主要用於Hadoop/Hive與傳統關系型資料庫Oracle/MySQL/SQLServer等之間進行數據交換的開源框架。

就像Hive把SQL翻譯成MapRece一樣，Sqoop把你指定的參數翻譯成MapRece，提交到Hadoop運行，完成Hadoop與其他資料庫之間的數據交換。

自己下載和配置Sqoop（建議先使用Sqoop1，Sqoop2比較復雜）。

了解Sqoop常用的配置參數和方法。

使用Sqoop完成從MySQL同步數據到HDFS；
使用Sqoop完成從MySQL同步數據到Hive表；

PS：如果後續選型確定使用Sqoop作為數據交換工具，那麼建議熟練掌握，否則，了解和會用Demo即可。

3.4 Flume

Flume是一個分布式的海量日誌採集和傳輸框架，因為「採集和傳輸框架」，所以它並不適合關系型資料庫的數據採集和傳輸。

Flume可以實時的從網路協議、消息系統、文件系統採集日誌，並傳輸到HDFS上。

因此，如果你的業務有這些數據源的數據，並且需要實時的採集，那麼就應該考慮使用Flume。

下載和配置Flume。

使用Flume監控一個不斷追加數據的文件，並將數據傳輸到HDFS；

PS：Flume的配置和使用較為復雜，如果你沒有足夠的興趣和耐心，可以先跳過Flume。

3.5 阿里開源的DataX

之所以介紹這個，是因為我們公司目前使用的Hadoop與關系型資料庫數據交換的工具，就是之前基於DataX開發的，非常好用。

可以參考我的博文《異構數據源海量數據交換工具-Taobao DataX 下載和使用》。

現在DataX已經是3.0版本，支持很多數據源。

你也可以在其之上做二次開發。

PS：有興趣的可以研究和使用一下，對比一下它與Sqoop。

如果你認真完成了上面的學習和實踐，此時，你的」大數據平台」應該是這樣的：

第四章：把Hadoop上的數據搞到別處去

前面介紹了如何把數據源的數據採集到Hadoop上，數據到Hadoop上之後，便可以使用Hive和MapRece進行分析了。那麼接下來的問題是，分析完的結果如何從Hadoop上同步到其他系統和應用中去呢？

其實，此處的方法和第三章基本一致的。

4.1 HDFS GET命令

把HDFS上的文件GET到本地。需要熟練掌握。

4.2 HDFS API

同3.2.

4.3 Sqoop

同3.3.

使用Sqoop完成將HDFS上的文件同步到MySQL；
使用Sqoop完成將Hive表中的數據同步到MySQL；

4.4 DataX

同3.5.

如果你認真完成了上面的學習和實踐，此時，你的」大數據平台」應該是這樣的：

如果你已經按照《寫給大數據開發初學者的話2》中第三章和第四章的流程認真完整的走了一遍，那麼你應該已經具備以下技能和知識點：

知道如何把已有的數據採集到HDFS上，包括離線採集和實時採集；

你已經知道sqoop（或者還有DataX）是HDFS和其他數據源之間的數據交換工具；

你已經知道flume可以用作實時的日誌採集。

從前面的學習，對於大數據平台，你已經掌握的不少的知識和技能，搭建Hadoop集群，把數據採集到Hadoop上，使用Hive和MapRece來分析數據，把分析結果同步到其他數據源。

接下來的問題來了，Hive使用的越來越多，你會發現很多不爽的地方，特別是速度慢，大多情況下，明明我的數據量很小，它都要申請資源，啟動MapRece來執行。

第五章：快一點吧，我的SQL

其實大家都已經發現Hive後台使用MapRece作為執行引擎，實在是有點慢。

因此SQL On Hadoop的框架越來越多，按我的了解，最常用的按照流行度依次為SparkSQL、Impala和Presto.

這三種框架基於半內存或者全內存，提供了SQL介面來快速查詢分析Hadoop上的數據。關於三者的比較，請參考1.1.

我們目前使用的是SparkSQL，至於為什麼用SparkSQL，原因大概有以下吧：

使用Spark還做了其他事情，不想引入過多的框架；

Impala對內存的需求太大，沒有過多資源部署；

5.1 關於Spark和SparkSQL

什麼是Spark，什麼是SparkSQL。
Spark有的核心概念及名詞解釋。
SparkSQL和Spark是什麼關系，SparkSQL和Hive是什麼關系。
SparkSQL為什麼比Hive跑的快。

5.2 如何部署和運行SparkSQL

Spark有哪些部署模式？
如何在Yarn上運行SparkSQL？
使用SparkSQL查詢Hive中的表。

PS: Spark不是一門短時間內就能掌握的技術，因此建議在了解了Spark之後，可以先從SparkSQL入手，循序漸進。

關於Spark和SparkSQL，可參考http://lxw1234.com/archives/category/spark

如果你認真完成了上面的學習和實踐，此時，你的」大數據平台」應該是這樣的：

第六章：一夫多妻制

請不要被這個名字所誘惑。其實我想說的是數據的一次採集、多次消費。

在實際業務場景下，特別是對於一些監控日誌，想即時的從日誌中了解一些指標（關於實時計算，後面章節會有介紹），這時候，從HDFS上分析就太慢了，盡管是通過Flume採集的，但Flume也不能間隔很短就往HDFS上滾動文件，這樣會導致小文件特別多。

為了滿足數據的一次採集、多次消費的需求，這里要說的便是Kafka。

6.1 關於Kafka

什麼是Kafka？

Kafka的核心概念及名詞解釋。

6.2 如何部署和使用Kafka

使用單機部署Kafka，並成功運行自帶的生產者和消費者例子。

使用Java程序自己編寫並運行生產者和消費者程序。

Flume和Kafka的集成，使用Flume監控日誌，並將日誌數據實時發送至Kafka。

如果你認真完成了上面的學習和實踐，此時，你的」大數據平台」應該是這樣的：

這時，使用Flume採集的數據，不是直接到HDFS上，而是先到Kafka，Kafka中的數據可以由多個消費者同時消費，其中一個消費者，就是將數據同步到HDFS。

如果你已經按照《寫給大數據開發初學者的話3》中第五章和第六章的流程認真完整的走了一遍，那麼你應該已經具備以下技能和知識點：

• 為什麼Spark比MapRece快。

• 使用SparkSQL代替Hive，更快的運行SQL。

• 使用Kafka完成數據的一次收集，多次消費架構。

• 自己可以寫程序完成Kafka的生產者和消費者。

從前面的學習，你已經掌握了大數據平台中的數據採集、數據存儲和計算、數據交換等大部分技能，而這其中的每一步，都需要一個任務（程序）來完成，各個任務之間又存在一定的依賴性，比如，必須等數據採集任務成功完成後，數據計算任務才能開始運行。如果一個任務執行失敗，需要給開發運維人員發送告警，同時需要提供完整的日誌來方便查錯。

第七章：越來越多的分析任務

不僅僅是分析任務，數據採集、數據交換同樣是一個個的任務。這些任務中，有的是定時觸發，有點則需要依賴其他任務來觸發。當平台中有幾百上千個任務需要維護和運行時候，僅僅靠crontab遠遠不夠了，這時便需要一個調度監控系統來完成這件事。調度監控系統是整個數據平台的中樞系統，類似於AppMaster，負責分配和監控任務。

7.1 Apache Oozie

1. Oozie是什麼？有哪些功能？
2. Oozie可以調度哪些類型的任務（程序）？
3. Oozie可以支持哪些任務觸發方式？
4. 安裝配置Oozie。

第八章：我的數據要實時

在第六章介紹Kafka的時候提到了一些需要實時指標的業務場景，實時基本可以分為絕對實時和准實時，絕對實時的延遲要求一般在毫秒級，准實時的延遲要求一般在秒、分鍾級。對於需要絕對實時的業務場景，用的比較多的是Storm，對於其他准實時的業務場景，可以是Storm，也可以是Spark Streaming。當然，如果可以的話，也可以自己寫程序來做。

8.1 Storm

1. 什麼是Storm？有哪些可能的應用場景？
2. Storm由哪些核心組件構成，各自擔任什麼角色？
3. Storm的簡單安裝和部署。
4. 自己編寫Demo程序，使用Storm完成實時數據流計算。

8.2 Spark Streaming

1. 什麼是Spark Streaming，它和Spark是什麼關系？
2. Spark Streaming和Storm比較，各有什麼優缺點？
3. 使用Kafka + Spark Streaming，完成實時計算的Demo程序。

如果你認真完成了上面的學習和實踐，此時，你的」大數據平台」應該是這樣的：

至此，你的大數據平台底層架構已經成型了，其中包括了數據採集、數據存儲與計算（離線和實時）、數據同步、任務調度與監控這幾大模塊。接下來是時候考慮如何更好的對外提供數據了。

第九章：我的數據要對外

通常對外（業務）提供數據訪問，大體上包含以下方面：

離線：比如，每天將前一天的數據提供到指定的數據源（DB、FILE、FTP）等；離線數據的提供可以採用Sqoop、DataX等離線數據交換工具。

實時：比如，在線網站的推薦系統，需要實時從數據平台中獲取給用戶的推薦數據，這種要求延時非常低（50毫秒以內）。

根據延時要求和實時數據的查詢需要，可能的方案有：HBase、Redis、MongoDB、ElasticSearch等。

OLAP分析：OLAP除了要求底層的數據模型比較規范，另外，對查詢的響應速度要求也越來越高，可能的方案有：Impala、Presto、SparkSQL、Kylin。如果你的數據模型比較規模，那麼Kylin是最好的選擇。

即席查詢：即席查詢的數據比較隨意，一般很難建立通用的數據模型，因此可能的方案有：Impala、Presto、SparkSQL。

這么多比較成熟的框架和方案，需要結合自己的業務需求及數據平台技術架構，選擇合適的。原則只有一個：越簡單越穩定的，就是最好的。

如果你已經掌握了如何很好的對外（業務）提供數據，那麼你的「大數據平台」應該是這樣的：

第十章：牛逼高大上的機器學習

關於這塊，我這個門外漢也只能是簡單介紹一下了。數學專業畢業的我非常慚愧，很後悔當時沒有好好學數學。

在我們的業務中，遇到的能用機器學習解決的問題大概這么三類：

• 分類問題：包括二分類和多分類，二分類就是解決了預測的問題，就像預測一封郵件是否垃圾郵件；多分類解決的是文本的分類；

• 聚類問題：從用戶搜索過的關鍵詞，對用戶進行大概的歸類。

• 推薦問題：根據用戶的歷史瀏覽和點擊行為進行相關推薦。

大多數行業，使用機器學習解決的，也就是這幾類問題