yarn源碼分析

⑴ Yarn中的MRAppMaster如何選取下一個需要調度的rece任務

應該是有一個調度器，查看源碼應該可以有所了解。hadoop1.0的調度器默認是FIFO，Hadoop2.0的Yarn應該也是和他是一個邏輯，有三個調度器可以選。
可以參考下看看FairScheler的源碼：
http://blog.csdn.net/vickyway/article/details/17209145

⑵ hadoop的yarn和zookeeper是什麼關系

yarn 是為了提高資源利用率，也就是多類程序的資源分配。
而zookeeper是分布式程序的協調服務，可以說是某一類程序。
zookeeper是相對多台機器同一分布式程序來說的，yarn可以針對一台伺服器多個程序資源進行協調

⑶ 求Hadoop yarn源碼分析視頻

個人推薦學習學途無憂夜行俠老師講的
Hadoop架構設計與源碼分析第一季
這個課程還是挺不錯的

⑷ Mesos和YARN的區別以及它們如何協同工作

Hadoop 2.0之後把對集群資源的管理從MapRece v1的JobTracker中提取出來，在YARN中進行了實現。雖然YARN支持了多種不同的計算框架，但依舊沒有很好的解決集群資源的彈性伸縮問題。本文介紹了一個新的項目- Myriad，它把YARN和Mesos兩者的優勢結合起來，不僅使YARN的運行使用更加靈活，而且讓整個數據中心的擴容變得更簡單。

這是一個關於兩個集群的故事。第一個是Apache Hadoop集群，其中資源與Hadoop以及進程完全隔離。另一個集群是對所有資源的描述，這些資源並不是Hadoop集群的一部分。通過這種方式來區分兩個集群是因為Hadoop通過Apache YARN(Yet Another Resource Negotiator)來管理自己的資源。對於Hadoop來說，在沒有大數據任務在隊列中時，這些資源常常是未被充分使用的。當一個大數據任務運行時，這些資源迅速被用到極限，並且在請求更多資源。這對於第一種集群而言相當困難。

Myriad把YARN和Mesos兩者的優勢結合起來。通過使用Myriad項目，讓Mesos和YARN可以協作，你可以完成一個實時業務。數據分析可以在和運行生產服務的相同硬體上執行。你不再需要面臨由靜態分區引起的資源限制(和低利用率)。資源可以根據業務的需求彈性的伸縮。

最後的思考

為了確保人們理解這個項目的來源，我認為Mesos和YARN擅長在自己特定的場景下工作，並且都有提升的空間。兩者的資源管理器在安全領域都能有所提升;而安全的支持對企業採納與否至關重要。

Mesos需要一個端到端的安全架構，我個人覺得可以使用Kerberos來提供安全支持，但根據個人經驗，這樣做應該不會簡單。對Mesos其他方面的提升同樣十分復雜，主要歸納為資源的搶占和撤銷。假設一個業務的所有資源已經分配，當業務依賴運行的一個最重要的資源項需要擴容時，甚至這個擴容工作僅需要數十分鍾來完成，你仍然會因為缺少資源而無法完成。資源的搶占和撤銷就可以解決這個問題。目前，Mesos圍繞著這個問題有多種解決方案，但我十分期待Mesos委員會使用Dynamic Reservations和Optimistic (Revocable) Resources Offers來解決這個問題。

Myriad作為一種新的技術，讓我們把數據中心或雲端的所有資源當作一個簡單的資源池來使用。正如Hadoop消除數據孤島之間的壁壘一樣，Myriad消除了孤立的集群之間的壁壘。通過Myriad，開發者可以專注於業務依賴的數據和應用程序，而運維團隊可以更敏捷地管理他們的計算資源。這為我們專注數據而不被基礎設施持續困擾打開了另一扇窗。有了Myriad，存儲網路的限制和計算與存儲之間的協調就成為我們在實現完整的靈活性、敏捷和伸縮上的最後一個需要攻克的難題。

⑸ hadoop yarn源碼怎麼進行修改

第一個階段：學習hadoop基本使用和基本原理，從應用角度對hadoop進行了解和學習
這是第一個階段，你開始嘗試使用hadoop，從應用層面，對hadoop有一定了解，比如你可以使用hadoop shell對hdfs進行操作，使用hdfs API編寫一些程序上傳，下載文件；使用MapRece API編寫一個數據處理程序。一旦你對hadoop的基本使用方法比較熟悉了，接下來可以嘗試了解它的內部原理，注意，不需要通過閱讀源代碼了解內部原理，只需看一些博客，書籍，比如《Hadoop權威指南》，對於HDFS而言，你應該知道它的基本架構以及各個模塊的功能；對於MapRece而言，你應該知道其具體的工作流程，知道partition，shuffle，sort等工作原理，可以自己在紙上完整個畫完maprece的流程，越詳細越好。
在這個階段，建議你多看一些知名博客，多讀讀《hadoop權威指南》（可選擇性看相關的幾章）。如果你有實際項目驅動，那是再好不過了，理論聯系實際是最好的hadoop學習方法；如果你沒有項目驅動，那建議你不要自己一個人悶頭學，多跟別人交流，多主動給別人講講，最好的學習方式還是「講給別人聽」。
============
第二個階段：從無到入門，開始閱讀hadoop源代碼
這個階段是最困苦和漫長的，尤其對於那些沒有任何分布式經驗的人。 很多人這個階段沒有走完，就放棄了，最後停留在hadoop應用層面。
這個階段，第一件要做的事情是，選擇一個hadoop組件。如果你對分布式存儲感興趣，那麼你可以選擇HDFS，如果你讀分布式計算感興趣，你可以選擇MapRece，如果你對資源管理系統感興趣，你可以選擇YARN。
選擇好系統後，接下來的經歷是最困苦的。當你把hadoop源代碼導入eclipse或intellij idea，沏上一杯茶，開始准備優哉游哉地看hadoop源代碼時，你懵逼了：你展開那數不盡的package和class，覺得無從下手，好不容易找到了入口點，然後你屁顛屁顛地通過eclipse的查找引用功能，順著類的調用關系一層層找下去，最後迷失在了代碼的海洋中，如同你在不盡的壓棧，最後棧溢出了，你忘記在最初的位置。很多人經歷過上面的過程，最後沒有順利逃出來，而放棄。
如果你正在經歷這個過程，我的經驗如下：首先，你要摸清hadoop的代碼模塊，知道client，master，slave各自對應的模塊（hadoop中核心系統都是master/slave架構，非常類似），並在閱讀源代碼過程中，時刻謹記你當前閱讀的代碼屬於哪一個模塊，會在哪個組件中執行；之後你需要摸清各個組件的交互協議，也就是分布式中的RPC，這是hadoop自己實現的，你需要對hadoop RPC的使用方式有所了解，然後看各模塊間的RPC protocol，到此，你把握了系統的骨架，這是接下來閱讀源代碼的基礎；接著，你要選擇一個模塊開始閱讀，我一般會選擇Client，這個模塊相對簡單些，會給自己增加信心，為了在閱讀代碼過程中，不至於迷失自己，建議在紙上畫出類的調用關系，邊看邊畫，我記得我閱讀hadoop源代碼時，花了一疊紙。注意，看源代碼過程中，很容易煩躁不安，建議經常起來走走，不要把自己逼得太緊。
在這個階段，建議大家多看一些源代碼分析博客和書籍，比如《Hadoop技術內幕》系列叢書（軒相關網站：Hadoop技術內幕）就是最好的參考資料。藉助這些博客和書籍，你可以在前人的幫助下，更快地學習hadoop源代碼，節省大量時間，注意，目前博客和書籍很多，建議大家廣泛收集資料，找出最適合自己的參考資料。
這個階段最終達到的目的，是對hadoop源代碼整體架構和局部的很多細節，有了一定的了解。比如你知道MapRece Scheler是怎樣實現的，MapRece shuffle過程中，map端做了哪些事情，rece端做了哪些事情，是如何實現的，等等。這個階段完成後，當你遇到問題或者困惑點時，可以迅速地在Hadoop源代碼中定位相關的類和具體的函數，通過閱讀源代碼解決問題，這時候，hadoop源代碼變成了你解決問題的參考書。
============
第三個階段：根據需求，修改源代碼。
這個階段，是驗證你閱讀源代碼成效的時候。你根據leader給你的需求，修改相關代碼完成功能模塊的開發。在修改源代碼過程中，你發現之前閱讀源代碼仍過於粗糙，這時候你再進一步深入閱讀相關代碼，彌補第二個階段中薄弱的部分。當然，很多人不需要經歷第三個階段，僅僅第二階段就夠了：一來能夠通過閱讀代碼解決自己長久以來的技術困惑，滿足自己的好奇心，二來從根源上解決解決自己遇到的各種問題。 這個階段，沒有太多的參考書籍或者博客，多跟周圍的同事交流，通過代碼review和測試，證明自己的正確性。
============
閱讀hadoop源代碼的目的不一定非是工作的需要，你可以把他看成一種修養，通過閱讀hadoop源代碼，加深自己對分布式系統的理解，培養自己踏實做事的心態。

⑹ 數據分析需要掌握哪些知識

Java基礎語法

1. · 分支結構if/switch

2. · 循環結構for/while/do while

3. · 方法聲明和調用

4. · 方法重載

5. · 數組的使用

6. · 命令行參數、可變參數

IDEA

1. · IDEA常用設置、常用快捷鍵

2. · 自定義模板

3. · 關聯Tomcat

4. · Web項目案例實操

面向對象編程

1. · 封裝、繼承、多態、構造器、包

2. · 異常處理機制

3. · 抽象類、介面、內部類

4. · 常有基礎API、集合List/Set/Map

5. · 泛型、線程的創建和啟動

6. · 深入集合源碼分析、常見數據結構解析

7. · 線程的安全、同步和通信、IO流體系

8. · 反射、類的載入機制、網路編程

Java8/9/10/11
新特性

1. · Lambda表達式、方法引用

2. · 構造器引用、StreamAPI

3. · jShell(JShell)命令

4. · 介面的私有方法、Optional加強

5. · 局部變數的類型推斷

6. · 更簡化的編譯運行程序等

MySQL

1. · DML語言、DDL語言、DCL語言

2. · 分組查詢、Join查詢、子查詢、Union查詢、函數

3. · 流程式控制制語句、事務的特點、事務的隔離級別等

JDBC

1. · 使用JDBC完成資料庫增刪改查操作

2. · 批處理的操作

3. · 資料庫連接池的原理及應用

4. · 常見資料庫連接池C3P0、DBCP、Druid等

Maven

1. · Maven環境搭建

2. · 本地倉庫&中央倉庫

3. · 創建Web工程

4. · 自動部署

5. · 持續繼承

6. · 持續部署

Linux

1. · VI/VIM編輯器

2. · 系統管理操作&遠程登錄

3. · 常用命令

4. · 軟體包管理&企業真題

Shell編程

1. · 自定義變數與特殊變數

2. · 運算符

3. · 條件判斷

4. · 流程式控制制

5. · 系統函數&自定義函數

6. · 常用工具命令

7. · 面試真題

Hadoop

1. · Hadoop生態介紹

2. · Hadoop運行模式

3. · 源碼編譯

4. · HDFS文件系統底層詳解

5. · DN&NN工作機制

6. · HDFS的API操作

7. · MapRece框架原理

8. · 數據壓縮

9. · Yarn工作機制

10. · MapRece案例詳解

11. · Hadoop參數調優

12. · HDFS存儲多目錄

13. · 多磁碟數據均衡

14. · LZO壓縮

15. · Hadoop基準測試

Zookeeper

1. · Zookeeper數據結果

2. · 內部原理

3. · 選舉機制

4. · Stat結構體

5. · 監聽器

6. · 分布式安裝部署

7. · API操作

8. · 實戰案例

9. · 面試真題

10. · 啟動停止腳本

HA+新特性

1. · HDFS-HA集群配置

Hive

1. · Hive架構原理

2. · 安裝部署

3. · 遠程連接

4. · 常見命令及基本數據類型

5. · DML數據操作

6. · 查詢語句

7. · Join&排序

8. · 分桶&函數

9. · 壓縮&存儲

10. · 企業級調優

11. · 實戰案例

12. · 面試真題

Flume

1. · Flume架構

2. · Agent內部原理

3. · 事務

4. · 安裝部署

5. · 實戰案例

6. · 自定義Source

7. · 自定義Sink

8. · Ganglia監控

Kafka

1. · 消息隊列

2. · Kafka架構

3. · 集群部署

4. · 命令行操作

5. · 工作流程分析

6. · 分區分配策略

7. · 數據寫入流程

8. · 存儲策略

9. · 高階API

10. · 低級API

11. · 攔截器

12. · 監控

13. · 高可靠性存儲

14. · 數據可靠性和持久性保證

15. · ISR機制

16. · Kafka壓測

17. · 機器數量計算

18. · 分區數計算

19. · 啟動停止腳本

DataX

1. · 安裝

2. · 原理

3. · 數據一致性

4. · 空值處理

5. · LZO壓縮處理

Scala

1. · Scala基礎入門

2. · 函數式編程

3. · 數據結構

4. · 面向對象編程

5. · 模式匹配

6. · 高階函數

7. · 特質

8. · 註解&類型參數

9. · 隱式轉換

10. · 高級類型

11. · 案例實操

Spark Core

1. · 安裝部署

2. · RDD概述

3. · 編程模型

4. · 持久化&檢查點機制

5. · DAG

6. · 運算元詳解

7. · RDD編程進階

8. · 累加器&廣播變數

Spark SQL

1. · SparkSQL

2. · DataFrame

3. · DataSet

4. · 自定義UDF&UDAF函數

Spark Streaming

1. · SparkStreaming

2. · 背壓機制原理

3. · Receiver和Direct模式原理

4. · Window原理及案例實操

5. · 7x24 不間斷運行&性能考量

Spark內核&優化

1. · 內核源碼詳解

2. · 優化詳解

Hbase

1. · Hbase原理及架構

2. · 數據讀寫流程

3. · API使用

4. · 與Hive和Sqoop集成

5. · 企業級調優

Presto

1. · Presto的安裝部署

2. · 使用Presto執行數倉項目的即席查詢模塊

Ranger2.0

1. · 許可權管理工具Ranger的安裝和使用

Azkaban3.0

1. · 任務調度工具Azkaban3.0的安裝部署

2. · 使用Azkaban進行項目任務調度，實現電話郵件報警

Kylin3.0

1. · Kylin的安裝部署

2. · Kylin核心思想

3. · 使用Kylin對接數據源構建模型

Atlas2.0

1. · 元數據管理工具Atlas的安裝部署

Zabbix

1. · 集群監控工具Zabbix的安裝部署

DolphinScheler

1. · 任務調度工具DolphinScheler的安裝部署

2. · 實現數倉項目任務的自動化調度、配置郵件報警

Superset

1. · 使用SuperSet對數倉項目的計算結果進行可視化展示

Echarts

1. · 使用Echarts對數倉項目的計算結果進行可視化展示

Redis

1. · Redis安裝部署

2. · 五大數據類型

3. · 總體配置

4. · 持久化

5. · 事務

6. · 發布訂閱

7. · 主從復制

Canal

1. · 使用Canal實時監控MySQL數據變化採集至實時項目

Flink

1. · 運行時架構

2. · 數據源Source

3. · Window API

4. · Water Mark

5. · 狀態編程

6. · CEP復雜事件處理

Flink SQL

1. · Flink SQL和Table API詳細解讀

Flink 內核

1. · Flink內核源碼講解

2. · 經典面試題講解

Git&GitHub

1. · 安裝配置

2. · 本地庫搭建

3. · 基本操作

4. · 工作流

5. · 集中式

ClickHouse

1. · ClickHouse的安裝部署

2. · 讀寫機制

3. · 數據類型

4. · 執行引擎

DataV

1. · 使用DataV對實時項目需求計算結果進行可視化展示

sugar

1. · 結合Springboot對接網路sugar實現數據可視化大屏展示

Maxwell

1. · 使用Maxwell實時監控MySQL數據變化採集至實時項目

ElasticSearch

1. · ElasticSearch索引基本操作、案例實操

Kibana

1. · 通過Kibana配置可視化分析

Springboot

1. · 利用Springboot開發可視化介面程序

⑺ 大數據技術是學什麼的

大數據系統類主要偏向於系統研發，比如Hadoop系統就屬於系統類技術。這就要求熟悉Hadoop大數據平台的核心框架和組件，能夠運用Java、R、Python等編程語言基於大數據平台來寫代碼開發應用，實現產品功能，支撐業務應用。首先，學習大數據是需要有Java，Python和R語言的基礎。為什麼一定要學Java呢?大數據的第一個框架Hadoop以及其他大數據技術框架，底層語言全是Java寫的，所以推薦首選學習Java。Python學習起來比較容易。你學會了Java，再來學習Python會很簡單的，一周的時間就可以入門Python。R語言也可以學習，但是更推薦Java，因為Java用的人最多，大數據的第一個框架Hadoop，底層全是Java寫的。Hadoop：這是現在流行的大數據處理平台，幾乎已經成為大數據的代名詞。所以這個是必學的。Hadoop裡麵包括幾個組件HDFS、MapRece和YARN，HDFS是存儲數據的地方就像我們電腦的硬碟一樣文件都存儲在這個上面，MapRece是對數據進行處理計算的，它有個特點就是不管多大的數據只要給它時間它就能把數據跑完，但是時間可能不是很快所以它叫數據的批處理。Linux：因為大數據相關軟體都是在Linux上運行的，所以Linux要學習的扎實一些。學好Linux對你快速掌握大數據相關技術會有很大的幫助，能讓你更好的理解hadoop、hive、hbase、spark等大數據軟體的運行環境和網路環境配置，能少踩很多坑，學會shell就能看懂腳本這樣能更容易理解和配置大數據集群。還能讓你對以後新出的大數據技術學習起來更快。

⑻ hadoop家族先學什麼

優先學習hadoop，總體架構先了解清楚，有助於以後細節的具體學習。劉鵬的基本書寫的很入門，推薦看一看。煉數成金的hadoop視頻教程很不錯，值得入門看看。然後就可以學習hadoop權威指南。hadoop源碼分析，這個地方有張鑫寫的《深入雲計算：hadoop源代碼分析》，和《hadoop源碼分析》，之後就可以學習hive和pig，habse，zookeeper，這時候你如果有一定的資料庫知識，會簡單一點，如果不知道，那可以去了解一下資料庫的知識。等你把這些學會了，新的項目，我想hadoop源碼都會的人，應該不難了吧！歡迎採納，交流。——支持開源!熱愛學習！吼吼。

⑼ 大數據分析應該掌握哪些基礎知識

Java基礎語法

· 分支結構if/switch

· 循環結構for/while/do while

· 方法聲明和調用

· 方法重載

· 數組的使用

· 命令行參數、可變參數

IDEA

· IDEA常用設置、常用快捷鍵

· 自定義模板

· 關聯Tomcat

· Web項目案例實操

面向對象編程

· 封裝、繼承、多態、構造器、包

· 異常處理機制

· 抽象類、介面、內部類

· 常有基礎API、集合List/Set/Map

· 泛型、線程的創建和啟動

· 深入集合源碼分析、常見數據結構解析

· 線程的安全、同步和通信、IO流體系

· 反射、類的載入機制、網路編程

Java8/9/10/11新特性

· Lambda表達式、方法引用

· 構造器引用、StreamAPI

· jShell(JShell)命令

· 介面的私有方法、Optional加強

· 局部變數的類型推斷

· 更簡化的編譯運行程序等

MySQL

· DML語言、DDL語言、DCL語言

· 分組查詢、Join查詢、子查詢、Union查詢、函數

· 流程式控制制語句、事務的特點、事務的隔離級別等

JDBC

· 使用JDBC完成資料庫增刪改查操作

· 批處理的操作

· 資料庫連接池的原理及應用

· 常見資料庫連接池C3P0、DBCP、Druid等

Maven

· Maven環境搭建

· 本地倉庫&中央倉庫

· 創建Web工程

· 自動部署

· 持續繼承

· 持續部署

Linux

· VI/VIM編輯器

· 系統管理操作&遠程登錄

· 常用命令

· 軟體包管理&企業真題

Shell編程

· 自定義變數與特殊變數

· 運算符

· 條件判斷

· 流程式控制制

· 系統函數&自定義函數

· 常用工具命令

· 面試真題

Hadoop

· Hadoop生態介紹

· Hadoop運行模式

· 源碼編譯

· HDFS文件系統底層詳解

· DN&NN工作機制

· HDFS的API操作

· MapRece框架原理

· 數據壓縮

· Yarn工作機制

· MapRece案例詳解

· Hadoop參數調優

· HDFS存儲多目錄

· 多磁碟數據均衡

· LZO壓縮

· Hadoop基準測試

Zookeeper

· Zookeeper數據結果

· 內部原理

· 選舉機制

· Stat結構體

· 監聽器

· 分布式安裝部署

· API操作

· 實戰案例

· 面試真題

· 啟動停止腳本

HA+新特性

· HDFS-HA集群配置

Hive

· Hive架構原理

· 安裝部署

· 遠程連接

· 常見命令及基本數據類型

· DML數據操作

· 查詢語句

· Join&排序

· 分桶&函數

· 壓縮&存儲

· 企業級調優

· 實戰案例

· 面試真題

Flume

· Flume架構

· Agent內部原理

· 事務

· 安裝部署

· 實戰案例

· 自定義Source

· 自定義Sink

· Ganglia監控

Kafka

· 消息隊列

· Kafka架構

· 集群部署

· 命令行操作

· 工作流程分析

· 分區分配策略

· 數據寫入流程

· 存儲策略

· 高階API

· 低級API

· 攔截器

· 監控

· 高可靠性存儲

· 數據可靠性和持久性保證

· ISR機制

· Kafka壓測

· 機器數量計算

· 分區數計算

· 啟動停止腳本

DataX

· 安裝

· 原理

· 數據一致性

· 空值處理

· LZO壓縮處理

Scala

· Scala基礎入門

· 函數式編程

· 數據結構

· 面向對象編程

· 模式匹配

· 高階函數

· 特質

· 註解&類型參數

· 隱式轉換

· 高級類型

· 案例實操

Spark Core

· 安裝部署

· RDD概述

· 編程模型

· 持久化&檢查點機制

· DAG

· 運算元詳解

· RDD編程進階

· 累加器&廣播變數

Spark SQL

· SparkSQL

· DataFrame

· DataSet

· 自定義UDF&UDAF函數

Spark Streaming

· SparkStreaming

· 背壓機制原理

· Receiver和Direct模式原理

· Window原理及案例實操

· 7x24 不間斷運行&性能考量

Spark內核&優化

· 內核源碼詳解

· 優化詳解

Hbase

· Hbase原理及架構

· 數據讀寫流程

· API使用

· 與Hive和Sqoop集成

· 企業級調優

Presto

· Presto的安裝部署

· 使用Presto執行數倉項目的即席查詢模塊

Ranger2.0

· 許可權管理工具Ranger的安裝和使用

Azkaban3.0

· 任務調度工具Azkaban3.0的安裝部署

· 使用Azkaban進行項目任務調度，實現電話郵件報警

Kylin3.0

· Kylin的安裝部署

· Kylin核心思想

· 使用Kylin對接數據源構建模型

Atlas2.0

· 元數據管理工具Atlas的安裝部署

Zabbix

· 集群監控工具Zabbix的安裝部署

DolphinScheler

· 任務調度工具DolphinScheler的安裝部署

· 實現數倉項目任務的自動化調度、配置郵件報警

Superset

· 使用SuperSet對數倉項目的計算結果進行可視化展示

Echarts

· 使用Echarts對數倉項目的計算結果進行可視化展示

Redis

· Redis安裝部署

· 五大數據類型

· 總體配置

· 持久化

· 事務

· 發布訂閱

· 主從復制

Canal

· 使用Canal實時監控MySQL數據變化採集至實時項目

Flink

· 運行時架構

· 數據源Source

· Window API

· Water Mark

· 狀態編程

· CEP復雜事件處理

Flink SQL

· Flink SQL和Table API詳細解讀

Flink 內核

· Flink內核源碼講解

· 經典面試題講解

Git&GitHub

· 安裝配置

· 本地庫搭建

· 基本操作

· 工作流

· 集中式

ClickHouse

· ClickHouse的安裝部署

· 讀寫機制

· 數據類型

· 執行引擎

DataV

· 使用DataV對實時項目需求計算結果進行可視化展示

sugar

· 結合Springboot對接網路sugar實現數據可視化大屏展示

Maxwell

· 使用Maxwell實時監控MySQL數據變化採集至實時項目

ElasticSearch

· ElasticSearch索引基本操作、案例實操

Kibana

· 通過Kibana配置可視化分析

Springboot

· 利用Springboot開發可視化介面程序