yarn源码分析

⑴ Yarn中的MRAppMaster如何选取下一个需要调度的rece任务

应该是有一个调度器，查看源码应该可以有所了解。hadoop1.0的调度器默认是FIFO，Hadoop2.0的Yarn应该也是和他是一个逻辑，有三个调度器可以选。
可以参考下看看FairScheler的源码：
http://blog.csdn.net/vickyway/article/details/17209145

⑵ hadoop的yarn和zookeeper是什么关系

yarn 是为了提高资源利用率，也就是多类程序的资源分配。
而zookeeper是分布式程序的协调服务，可以说是某一类程序。
zookeeper是相对多台机器同一分布式程序来说的，yarn可以针对一台服务器多个程序资源进行协调

⑶ 求Hadoop yarn源码分析视频

个人推荐学习学途无忧夜行侠老师讲的
Hadoop架构设计与源码分析第一季
这个课程还是挺不错的

⑷ Mesos和YARN的区别以及它们如何协同工作

Hadoop 2.0之后把对集群资源的管理从MapRece v1的JobTracker中提取出来，在YARN中进行了实现。虽然YARN支持了多种不同的计算框架，但依旧没有很好的解决集群资源的弹性伸缩问题。本文介绍了一个新的项目- Myriad，它把YARN和Mesos两者的优势结合起来，不仅使YARN的运行使用更加灵活，而且让整个数据中心的扩容变得更简单。

这是一个关于两个集群的故事。第一个是Apache Hadoop集群，其中资源与Hadoop以及进程完全隔离。另一个集群是对所有资源的描述，这些资源并不是Hadoop集群的一部分。通过这种方式来区分两个集群是因为Hadoop通过Apache YARN(Yet Another Resource Negotiator)来管理自己的资源。对于Hadoop来说，在没有大数据任务在队列中时，这些资源常常是未被充分使用的。当一个大数据任务运行时，这些资源迅速被用到极限，并且在请求更多资源。这对于第一种集群而言相当困难。

Myriad把YARN和Mesos两者的优势结合起来。通过使用Myriad项目，让Mesos和YARN可以协作，你可以完成一个实时业务。数据分析可以在和运行生产服务的相同硬件上执行。你不再需要面临由静态分区引起的资源限制(和低利用率)。资源可以根据业务的需求弹性的伸缩。

最后的思考

为了确保人们理解这个项目的来源，我认为Mesos和YARN擅长在自己特定的场景下工作，并且都有提升的空间。两者的资源管理器在安全领域都能有所提升;而安全的支持对企业采纳与否至关重要。

Mesos需要一个端到端的安全架构，我个人觉得可以使用Kerberos来提供安全支持，但根据个人经验，这样做应该不会简单。对Mesos其他方面的提升同样十分复杂，主要归纳为资源的抢占和撤销。假设一个业务的所有资源已经分配，当业务依赖运行的一个最重要的资源项需要扩容时，甚至这个扩容工作仅需要数十分钟来完成，你仍然会因为缺少资源而无法完成。资源的抢占和撤销就可以解决这个问题。目前，Mesos围绕着这个问题有多种解决方案，但我十分期待Mesos委员会使用Dynamic Reservations和Optimistic (Revocable) Resources Offers来解决这个问题。

Myriad作为一种新的技术，让我们把数据中心或云端的所有资源当作一个简单的资源池来使用。正如Hadoop消除数据孤岛之间的壁垒一样，Myriad消除了孤立的集群之间的壁垒。通过Myriad，开发者可以专注于业务依赖的数据和应用程序，而运维团队可以更敏捷地管理他们的计算资源。这为我们专注数据而不被基础设施持续困扰打开了另一扇窗。有了Myriad，存储网络的限制和计算与存储之间的协调就成为我们在实现完整的灵活性、敏捷和伸缩上的最后一个需要攻克的难题。

⑸ hadoop yarn源码怎么进行修改

第一个阶段：学习hadoop基本使用和基本原理，从应用角度对hadoop进行了解和学习
这是第一个阶段，你开始尝试使用hadoop，从应用层面，对hadoop有一定了解，比如你可以使用hadoop shell对hdfs进行操作，使用hdfs API编写一些程序上传，下载文件；使用MapRece API编写一个数据处理程序。一旦你对hadoop的基本使用方法比较熟悉了，接下来可以尝试了解它的内部原理，注意，不需要通过阅读源代码了解内部原理，只需看一些博客，书籍，比如《Hadoop权威指南》，对于HDFS而言，你应该知道它的基本架构以及各个模块的功能；对于MapRece而言，你应该知道其具体的工作流程，知道partition，shuffle，sort等工作原理，可以自己在纸上完整个画完maprece的流程，越详细越好。
在这个阶段，建议你多看一些知名博客，多读读《hadoop权威指南》（可选择性看相关的几章）。如果你有实际项目驱动，那是再好不过了，理论联系实际是最好的hadoop学习方法；如果你没有项目驱动，那建议你不要自己一个人闷头学，多跟别人交流，多主动给别人讲讲，最好的学习方式还是“讲给别人听”。
============
第二个阶段：从无到入门，开始阅读hadoop源代码
这个阶段是最困苦和漫长的，尤其对于那些没有任何分布式经验的人。 很多人这个阶段没有走完，就放弃了，最后停留在hadoop应用层面。
这个阶段，第一件要做的事情是，选择一个hadoop组件。如果你对分布式存储感兴趣，那么你可以选择HDFS，如果你读分布式计算感兴趣，你可以选择MapRece，如果你对资源管理系统感兴趣，你可以选择YARN。
选择好系统后，接下来的经历是最困苦的。当你把hadoop源代码导入eclipse或intellij idea，沏上一杯茶，开始准备优哉游哉地看hadoop源代码时，你懵逼了：你展开那数不尽的package和class，觉得无从下手，好不容易找到了入口点，然后你屁颠屁颠地通过eclipse的查找引用功能，顺着类的调用关系一层层找下去，最后迷失在了代码的海洋中，如同你在不尽的压栈，最后栈溢出了，你忘记在最初的位置。很多人经历过上面的过程，最后没有顺利逃出来，而放弃。
如果你正在经历这个过程，我的经验如下：首先，你要摸清hadoop的代码模块，知道client，master，slave各自对应的模块（hadoop中核心系统都是master/slave架构，非常类似），并在阅读源代码过程中，时刻谨记你当前阅读的代码属于哪一个模块，会在哪个组件中执行；之后你需要摸清各个组件的交互协议，也就是分布式中的RPC，这是hadoop自己实现的，你需要对hadoop RPC的使用方式有所了解，然后看各模块间的RPC protocol，到此，你把握了系统的骨架，这是接下来阅读源代码的基础；接着，你要选择一个模块开始阅读，我一般会选择Client，这个模块相对简单些，会给自己增加信心，为了在阅读代码过程中，不至于迷失自己，建议在纸上画出类的调用关系，边看边画，我记得我阅读hadoop源代码时，花了一叠纸。注意，看源代码过程中，很容易烦躁不安，建议经常起来走走，不要把自己逼得太紧。
在这个阶段，建议大家多看一些源代码分析博客和书籍，比如《Hadoop技术内幕》系列丛书（轩相关网站：Hadoop技术内幕）就是最好的参考资料。借助这些博客和书籍，你可以在前人的帮助下，更快地学习hadoop源代码，节省大量时间，注意，目前博客和书籍很多，建议大家广泛收集资料，找出最适合自己的参考资料。
这个阶段最终达到的目的，是对hadoop源代码整体架构和局部的很多细节，有了一定的了解。比如你知道MapRece Scheler是怎样实现的，MapRece shuffle过程中，map端做了哪些事情，rece端做了哪些事情，是如何实现的，等等。这个阶段完成后，当你遇到问题或者困惑点时，可以迅速地在Hadoop源代码中定位相关的类和具体的函数，通过阅读源代码解决问题，这时候，hadoop源代码变成了你解决问题的参考书。
============
第三个阶段：根据需求，修改源代码。
这个阶段，是验证你阅读源代码成效的时候。你根据leader给你的需求，修改相关代码完成功能模块的开发。在修改源代码过程中，你发现之前阅读源代码仍过于粗糙，这时候你再进一步深入阅读相关代码，弥补第二个阶段中薄弱的部分。当然，很多人不需要经历第三个阶段，仅仅第二阶段就够了：一来能够通过阅读代码解决自己长久以来的技术困惑，满足自己的好奇心，二来从根源上解决解决自己遇到的各种问题。 这个阶段，没有太多的参考书籍或者博客，多跟周围的同事交流，通过代码review和测试，证明自己的正确性。
============
阅读hadoop源代码的目的不一定非是工作的需要，你可以把他看成一种修养，通过阅读hadoop源代码，加深自己对分布式系统的理解，培养自己踏实做事的心态。

⑹ 数据分析需要掌握哪些知识

Java基础语法

1. · 分支结构if/switch

2. · 循环结构for/while/do while

3. · 方法声明和调用

4. · 方法重载

5. · 数组的使用

6. · 命令行参数、可变参数

IDEA

1. · IDEA常用设置、常用快捷键

2. · 自定义模板

3. · 关联Tomcat

4. · Web项目案例实操

面向对象编程

1. · 封装、继承、多态、构造器、包

2. · 异常处理机制

3. · 抽象类、接口、内部类

4. · 常有基础API、集合List/Set/Map

5. · 泛型、线程的创建和启动

6. · 深入集合源码分析、常见数据结构解析

7. · 线程的安全、同步和通信、IO流体系

8. · 反射、类的加载机制、网络编程

Java8/9/10/11
新特性

1. · Lambda表达式、方法引用

2. · 构造器引用、StreamAPI

3. · jShell(JShell)命令

4. · 接口的私有方法、Optional加强

5. · 局部变量的类型推断

6. · 更简化的编译运行程序等

MySQL

1. · DML语言、DDL语言、DCL语言

2. · 分组查询、Join查询、子查询、Union查询、函数

3. · 流程控制语句、事务的特点、事务的隔离级别等

JDBC

1. · 使用JDBC完成数据库增删改查操作

2. · 批处理的操作

3. · 数据库连接池的原理及应用

4. · 常见数据库连接池C3P0、DBCP、Druid等

Maven

1. · Maven环境搭建

2. · 本地仓库&中央仓库

3. · 创建Web工程

4. · 自动部署

5. · 持续继承

6. · 持续部署

Linux

1. · VI/VIM编辑器

2. · 系统管理操作&远程登录

3. · 常用命令

4. · 软件包管理&企业真题

Shell编程

1. · 自定义变量与特殊变量

2. · 运算符

3. · 条件判断

4. · 流程控制

5. · 系统函数&自定义函数

6. · 常用工具命令

7. · 面试真题

Hadoop

1. · Hadoop生态介绍

2. · Hadoop运行模式

3. · 源码编译

4. · HDFS文件系统底层详解

5. · DN&NN工作机制

6. · HDFS的API操作

7. · MapRece框架原理

8. · 数据压缩

9. · Yarn工作机制

10. · MapRece案例详解

11. · Hadoop参数调优

12. · HDFS存储多目录

13. · 多磁盘数据均衡

14. · LZO压缩

15. · Hadoop基准测试

Zookeeper

1. · Zookeeper数据结果

2. · 内部原理

3. · 选举机制

4. · Stat结构体

5. · 监听器

6. · 分布式安装部署

7. · API操作

8. · 实战案例

9. · 面试真题

10. · 启动停止脚本

HA+新特性

1. · HDFS-HA集群配置

Hive

1. · Hive架构原理

2. · 安装部署

3. · 远程连接

4. · 常见命令及基本数据类型

5. · DML数据操作

6. · 查询语句

7. · Join&排序

8. · 分桶&函数

9. · 压缩&存储

10. · 企业级调优

11. · 实战案例

12. · 面试真题

Flume

1. · Flume架构

2. · Agent内部原理

3. · 事务

4. · 安装部署

5. · 实战案例

6. · 自定义Source

7. · 自定义Sink

8. · Ganglia监控

Kafka

1. · 消息队列

2. · Kafka架构

3. · 集群部署

4. · 命令行操作

5. · 工作流程分析

6. · 分区分配策略

7. · 数据写入流程

8. · 存储策略

9. · 高阶API

10. · 低级API

11. · 拦截器

12. · 监控

13. · 高可靠性存储

14. · 数据可靠性和持久性保证

15. · ISR机制

16. · Kafka压测

17. · 机器数量计算

18. · 分区数计算

19. · 启动停止脚本

DataX

1. · 安装

2. · 原理

3. · 数据一致性

4. · 空值处理

5. · LZO压缩处理

Scala

1. · Scala基础入门

2. · 函数式编程

3. · 数据结构

4. · 面向对象编程

5. · 模式匹配

6. · 高阶函数

7. · 特质

8. · 注解&类型参数

9. · 隐式转换

10. · 高级类型

11. · 案例实操

Spark Core

1. · 安装部署

2. · RDD概述

3. · 编程模型

4. · 持久化&检查点机制

5. · DAG

6. · 算子详解

7. · RDD编程进阶

8. · 累加器&广播变量

Spark SQL

1. · SparkSQL

2. · DataFrame

3. · DataSet

4. · 自定义UDF&UDAF函数

Spark Streaming

1. · SparkStreaming

2. · 背压机制原理

3. · Receiver和Direct模式原理

4. · Window原理及案例实操

5. · 7x24 不间断运行&性能考量

Spark内核&优化

1. · 内核源码详解

2. · 优化详解

Hbase

1. · Hbase原理及架构

2. · 数据读写流程

3. · API使用

4. · 与Hive和Sqoop集成

5. · 企业级调优

Presto

1. · Presto的安装部署

2. · 使用Presto执行数仓项目的即席查询模块

Ranger2.0

1. · 权限管理工具Ranger的安装和使用

Azkaban3.0

1. · 任务调度工具Azkaban3.0的安装部署

2. · 使用Azkaban进行项目任务调度，实现电话邮件报警

Kylin3.0

1. · Kylin的安装部署

2. · Kylin核心思想

3. · 使用Kylin对接数据源构建模型

Atlas2.0

1. · 元数据管理工具Atlas的安装部署

Zabbix

1. · 集群监控工具Zabbix的安装部署

DolphinScheler

1. · 任务调度工具DolphinScheler的安装部署

2. · 实现数仓项目任务的自动化调度、配置邮件报警

Superset

1. · 使用SuperSet对数仓项目的计算结果进行可视化展示

Echarts

1. · 使用Echarts对数仓项目的计算结果进行可视化展示

Redis

1. · Redis安装部署

2. · 五大数据类型

3. · 总体配置

4. · 持久化

5. · 事务

6. · 发布订阅

7. · 主从复制

Canal

1. · 使用Canal实时监控MySQL数据变化采集至实时项目

Flink

1. · 运行时架构

2. · 数据源Source

3. · Window API

4. · Water Mark

5. · 状态编程

6. · CEP复杂事件处理

Flink SQL

1. · Flink SQL和Table API详细解读

Flink 内核

1. · Flink内核源码讲解

2. · 经典面试题讲解

Git&GitHub

1. · 安装配置

2. · 本地库搭建

3. · 基本操作

4. · 工作流

5. · 集中式

ClickHouse

1. · ClickHouse的安装部署

2. · 读写机制

3. · 数据类型

4. · 执行引擎

DataV

1. · 使用DataV对实时项目需求计算结果进行可视化展示

sugar

1. · 结合Springboot对接网络sugar实现数据可视化大屏展示

Maxwell

1. · 使用Maxwell实时监控MySQL数据变化采集至实时项目

ElasticSearch

1. · ElasticSearch索引基本操作、案例实操

Kibana

1. · 通过Kibana配置可视化分析

Springboot

1. · 利用Springboot开发可视化接口程序

⑺ 大数据技术是学什么的

大数据系统类主要偏向于系统研发，比如Hadoop系统就属于系统类技术。这就要求熟悉Hadoop大数据平台的核心框架和组件，能够运用Java、R、Python等编程语言基于大数据平台来写代码开发应用，实现产品功能，支撑业务应用。首先，学习大数据是需要有Java，Python和R语言的基础。为什么一定要学Java呢?大数据的第一个框架Hadoop以及其他大数据技术框架，底层语言全是Java写的，所以推荐首选学习Java。Python学习起来比较容易。你学会了Java，再来学习Python会很简单的，一周的时间就可以入门Python。R语言也可以学习，但是更推荐Java，因为Java用的人最多，大数据的第一个框架Hadoop，底层全是Java写的。Hadoop：这是现在流行的大数据处理平台，几乎已经成为大数据的代名词。所以这个是必学的。Hadoop里面包括几个组件HDFS、MapRece和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapRece是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批处理。Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些。学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。

⑻ hadoop家族先学什么

优先学习hadoop，总体架构先了解清楚，有助于以后细节的具体学习。刘鹏的基本书写的很入门，推荐看一看。炼数成金的hadoop视频教程很不错，值得入门看看。然后就可以学习hadoop权威指南。hadoop源码分析，这个地方有张鑫写的《深入云计算：hadoop源代码分析》，和《hadoop源码分析》，之后就可以学习hive和pig，habse，zookeeper，这时候你如果有一定的数据库知识，会简单一点，如果不知道，那可以去了解一下数据库的知识。等你把这些学会了，新的项目，我想hadoop源码都会的人，应该不难了吧！欢迎采纳，交流。——支持开源!热爱学习！吼吼。

⑼ 大数据分析应该掌握哪些基础知识

Java基础语法

· 分支结构if/switch

· 循环结构for/while/do while

· 方法声明和调用

· 方法重载

· 数组的使用

· 命令行参数、可变参数

IDEA

· IDEA常用设置、常用快捷键

· 自定义模板

· 关联Tomcat

· Web项目案例实操

面向对象编程

· 封装、继承、多态、构造器、包

· 异常处理机制

· 抽象类、接口、内部类

· 常有基础API、集合List/Set/Map

· 泛型、线程的创建和启动

· 深入集合源码分析、常见数据结构解析

· 线程的安全、同步和通信、IO流体系

· 反射、类的加载机制、网络编程

Java8/9/10/11新特性

· Lambda表达式、方法引用

· 构造器引用、StreamAPI

· jShell(JShell)命令

· 接口的私有方法、Optional加强

· 局部变量的类型推断

· 更简化的编译运行程序等

MySQL

· DML语言、DDL语言、DCL语言

· 分组查询、Join查询、子查询、Union查询、函数

· 流程控制语句、事务的特点、事务的隔离级别等

JDBC

· 使用JDBC完成数据库增删改查操作

· 批处理的操作

· 数据库连接池的原理及应用

· 常见数据库连接池C3P0、DBCP、Druid等

Maven

· Maven环境搭建

· 本地仓库&中央仓库

· 创建Web工程

· 自动部署

· 持续继承

· 持续部署

Linux

· VI/VIM编辑器

· 系统管理操作&远程登录

· 常用命令

· 软件包管理&企业真题

Shell编程

· 自定义变量与特殊变量

· 运算符

· 条件判断

· 流程控制

· 系统函数&自定义函数

· 常用工具命令

· 面试真题

Hadoop

· Hadoop生态介绍

· Hadoop运行模式

· 源码编译

· HDFS文件系统底层详解

· DN&NN工作机制

· HDFS的API操作

· MapRece框架原理

· 数据压缩

· Yarn工作机制

· MapRece案例详解

· Hadoop参数调优

· HDFS存储多目录

· 多磁盘数据均衡

· LZO压缩

· Hadoop基准测试

Zookeeper

· Zookeeper数据结果

· 内部原理

· 选举机制

· Stat结构体

· 监听器

· 分布式安装部署

· API操作

· 实战案例

· 面试真题

· 启动停止脚本

HA+新特性

· HDFS-HA集群配置

Hive

· Hive架构原理

· 安装部署

· 远程连接

· 常见命令及基本数据类型

· DML数据操作

· 查询语句

· Join&排序

· 分桶&函数

· 压缩&存储

· 企业级调优

· 实战案例

· 面试真题

Flume

· Flume架构

· Agent内部原理

· 事务

· 安装部署

· 实战案例

· 自定义Source

· 自定义Sink

· Ganglia监控

Kafka

· 消息队列

· Kafka架构

· 集群部署

· 命令行操作

· 工作流程分析

· 分区分配策略

· 数据写入流程

· 存储策略

· 高阶API

· 低级API

· 拦截器

· 监控

· 高可靠性存储

· 数据可靠性和持久性保证

· ISR机制

· Kafka压测

· 机器数量计算

· 分区数计算

· 启动停止脚本

DataX

· 安装

· 原理

· 数据一致性

· 空值处理

· LZO压缩处理

Scala

· Scala基础入门

· 函数式编程

· 数据结构

· 面向对象编程

· 模式匹配

· 高阶函数

· 特质

· 注解&类型参数

· 隐式转换

· 高级类型

· 案例实操

Spark Core

· 安装部署

· RDD概述

· 编程模型

· 持久化&检查点机制

· DAG

· 算子详解

· RDD编程进阶

· 累加器&广播变量

Spark SQL

· SparkSQL

· DataFrame

· DataSet

· 自定义UDF&UDAF函数

Spark Streaming

· SparkStreaming

· 背压机制原理

· Receiver和Direct模式原理

· Window原理及案例实操

· 7x24 不间断运行&性能考量

Spark内核&优化

· 内核源码详解

· 优化详解

Hbase

· Hbase原理及架构

· 数据读写流程

· API使用

· 与Hive和Sqoop集成

· 企业级调优

Presto

· Presto的安装部署

· 使用Presto执行数仓项目的即席查询模块

Ranger2.0

· 权限管理工具Ranger的安装和使用

Azkaban3.0

· 任务调度工具Azkaban3.0的安装部署

· 使用Azkaban进行项目任务调度，实现电话邮件报警

Kylin3.0

· Kylin的安装部署

· Kylin核心思想

· 使用Kylin对接数据源构建模型

Atlas2.0

· 元数据管理工具Atlas的安装部署

Zabbix

· 集群监控工具Zabbix的安装部署

DolphinScheler

· 任务调度工具DolphinScheler的安装部署

· 实现数仓项目任务的自动化调度、配置邮件报警

Superset

· 使用SuperSet对数仓项目的计算结果进行可视化展示

Echarts

· 使用Echarts对数仓项目的计算结果进行可视化展示

Redis

· Redis安装部署

· 五大数据类型

· 总体配置

· 持久化

· 事务

· 发布订阅

· 主从复制

Canal

· 使用Canal实时监控MySQL数据变化采集至实时项目

Flink

· 运行时架构

· 数据源Source

· Window API

· Water Mark

· 状态编程

· CEP复杂事件处理

Flink SQL

· Flink SQL和Table API详细解读

Flink 内核

· Flink内核源码讲解

· 经典面试题讲解

Git&GitHub

· 安装配置

· 本地库搭建

· 基本操作

· 工作流

· 集中式

ClickHouse

· ClickHouse的安装部署

· 读写机制

· 数据类型

· 执行引擎

DataV

· 使用DataV对实时项目需求计算结果进行可视化展示

sugar

· 结合Springboot对接网络sugar实现数据可视化大屏展示

Maxwell

· 使用Maxwell实时监控MySQL数据变化采集至实时项目

ElasticSearch

· ElasticSearch索引基本操作、案例实操

Kibana

· 通过Kibana配置可视化分析

Springboot

· 利用Springboot开发可视化接口程序