yarn如何全局安装配置

⑴ ubuntu怎么安装hadoop yarn

本教程基于原生 Hadoop 2，在 Hadoop 2.6.0 (stable) 版本下验证通过，可适合任何 Hadoop 2.x.y 版本，例如 Hadoop 2.4.1。
Hadoop版本
Hadoop 有两个主要版本，Hadoop 1.x.y 和 Hadoop 2.x.y 系列，比较老的教材上用的可能是 0.20 这样的版本。Hadoop 2.x 版本在不断更新，本教程均可适用。如果需安装 0.20，1.2.1这样的版本，本教程也可以作为参考，主要差别在于配置项，配置请参考官网教程或其他教程。
新版是兼容旧版的，书上旧版本的代码应该能够正常运行（我自己没验证，欢迎验证反馈）。

⑵ yarn npm包安装 为什么需要超级管理员

arn 采用的解决方式是，引入了一个 yarn.lock 文件来应对这个问题。lock 机制在很多包管理中都有用到。例如 ruby 的 rubygems 就会生成 Gemfile.lock. yarn.lock 会记录你安装的所有大大小小的。

⑶ 如何规划和配置YARN和MapRece 2

arn 的优点：
这个设计大大减小了 JobTracker（也就是现在的 ResourceManager）的资源消耗，并且让监测每一个 Job 子任务 (tasks) 状态的程序分布式化了，更安全、更优美。
在新的 Yarn 中，ApplicationMaster 是一个可变更的部分，用户可以对不同的编程模型写自己的 AppMst，让更多类型的编程模型能够跑在 Hadoop 集群中，可以参考 hadoop Yarn 官方配置模板中的 mapred-site.xml 配置。
对于资源的表示以内存为单位 ( 在目前版本的 Yarn 中，没有考虑 cpu 的占用 )，比之前以剩余 slot 数目更合理。
老的框架中，JobTracker 一个很大的负担就是监控 job 下的 tasks 的运行状况，现在，这个部分就扔给 ApplicationMaster 做了，而 ResourceManager 中有一个模块叫做 ApplicationsMasters( 注意不是 ApplicationMaster)，

⑷ 安装hadoop的步骤有哪些

hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFSHA、YARN等。最新的hadoop-2.4.1又增加了YARNHA

注意：apache提供的hadoop-2.4.1的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库，
所以如果在64位的操作上安装hadoop-2.4.1就需要重新在64操作系统上重新编译
（建议第一次安装用32位的系统，我将编译好的64位的也上传到群共享里了，如果有兴趣的可以自己编译一下）

前期准备就不详细说了，课堂上都介绍了
1.修改Linux主机名
2.修改IP
3.修改主机名和IP的映射关系
	######注意######如果你们公司是租用的服务器或是使用的云主机（如华为用主机、阿里云主机等）
	/etc/hosts里面要配置的是内网IP地址和主机名的映射关系	
4.关闭防火墙
5.ssh免登陆
6.安装JDK，配置环境变量等

集群规划：
	主机名		IP				安装的软件					运行的进程
	HA181	192.168.1.181	jdk、hadoop					NameNode、DFSZKFailoverController(zkfc)
	HA182	192.168.1.182	jdk、hadoop					NameNode、DFSZKFailoverController(zkfc)
	HA183	192.168.1.183	jdk、hadoop					ResourceManager
	HA184	192.168.1.184	jdk、hadoop					ResourceManager
	HA185	192.168.1.185	jdk、hadoop、zookeeper		DataNode、NodeManager、JournalNode、QuorumPeerMain
	HA186	192.168.1.186	jdk、hadoop、zookeeper		DataNode、NodeManager、JournalNode、QuorumPeerMain
	HA187	192.168.1.187	jdk、hadoop、zookeeper		DataNode、NodeManager、JournalNode、QuorumPeerMain
	
说明：
	1.在hadoop2.0中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。ActiveNameNode对外提供服务，而StandbyNameNode则不对外提供服务，仅同步activenamenode的状态，以便能够在它失败时快速进行切换。
	hadoop2.0官方提供了两种HDFSHA的解决方案，一种是NFS，另一种是QJM。这里我们使用简单的QJM。在该方案中，主备NameNode之间通过一组JournalNode同步元数据信息，一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode
	这里还配置了一个zookeeper集群，用于ZKFC（DFSZKFailoverController）故障转移，当ActiveNameNode挂掉了，会自动切换StandbyNameNode为standby状态
	2.hadoop-2.2.0中依然存在一个问题，就是ResourceManager只有一个，存在单点故障，hadoop-2.4.1解决了这个问题，有两个ResourceManager，一个是Active，一个是Standby，状态由zookeeper进行协调
安装步骤：
	1.安装配置zooekeeper集群（在HA185上）
		1.1解压
			tar-zxvfzookeeper-3.4.5.tar.gz-C/app/
		1.2修改配置
			cd/app/zookeeper-3.4.5/conf/
			cpzoo_sample.cfgzoo.cfg
			vimzoo.cfg
			修改：dataDir=/app/zookeeper-3.4.5/tmp
			在最后添加：
server.1=HA185:2888:3888
server.2=HA186:2888:3888
server.3=HA187:2888:3888
			保存退出
			然后创建一个tmp文件夹
			mkdir/app/zookeeper-3.4.5/tmp
			再创建一个空文件
			touch/app/zookeeper-3.4.5/tmp/myid
			最后向该文件写入ID
			echo1>/app/zookeeper-3.4.5/tmp/myid
		1.3将配置好的zookeeper拷贝到其他节点(首先分别在HA186、HA187根目录下创建一个weekend目录：mkdir/weekend)
			scp-r/app/zookeeper-3.4.5/HA186:/app/
			scp-r/app/zookeeper-3.4.5/HA187:/app/
			
			注意：修改HA186、HA187对应/weekend/zookeeper-3.4.5/tmp/myid内容
			HA186：
				echo2>/app/zookeeper-3.4.5/tmp/myid
			HA187：
				echo3>/app/zookeeper-3.4.5/tmp/myid
	
	2.安装配置hadoop集群（在HA181上操作）
		2.1解压
			tar-zxvfhadoop-2.4.1.tar.gz-C/weekend/
		2.2配置HDFS（hadoop2.0所有的配置文件都在$HADOOP_HOME/etc/hadoop目录下）
			#将hadoop添加到环境变量中
			vim/etc/profile
			exportJAVA_HOME=/app/jdk1.7.0_79
			exportHADOOP_HOME=/app/hadoop-2.4.1
			exportPATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
			
			#hadoop2.0的配置文件全部在$HADOOP_HOME/etc/hadoop下
			cd/home/hadoop/app/hadoop-2.4.1/etc/hadoop
			
			2.2.1修改hadoop-env.sh
				exportJAVA_HOME=/app/jdk1.7.0_79
				
			2.2.2修改core-site.xml
<configuration>
	<!--指定hdfs的nameservice为ns1-->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://ns1/</value>
	</property>
	<!--指定hadoop临时目录-->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/app/hadoop-2.4.1/tmp</value>
	</property>
	
	<!--指定zookeeper地址-->
	<property>
		<name>ha.zookeeper.quorum</name>
		<value>HA185:2181,HA186:2181,HA187:2181</value>
	</property>
</configuration>
				
			2.2.3修改hdfs-site.xml
<configuration>
	<!--指定hdfs的nameservice为ns1，需要和core-site.xml中的保持一致-->
	<property>
		<name>dfs.nameservices</name>
		<value>ns1</value>
	</property>
	<!--ns1下面有两个NameNode，分别是nn1，nn2-->
	<property>
		<name>dfs.ha.namenodes.ns1</name>
		<value>nn1,nn2</value>
	</property>
	<!--nn1的RPC通信地址-->
	<property>
		<name>dfs.namenode.rpc-address.ns1.nn1</name>
		<value>HA181:9000</value>
	</property>
	<!--nn1的http通信地址-->
	<property>
		<name>dfs.namenode.http-address.ns1.nn1</name>
		<value>HA181:50070</value>
	</property>
	<!--nn2的RPC通信地址-->
	<property>
		<name>dfs.namenode.rpc-address.ns1.nn2</name>
		<value>HA182:9000</value>
	</property>
	<!--nn2的http通信地址-->
	<property>
		<name>dfs.namenode.http-address.ns1.nn2</name>
		<value>HA182:50070</value>
	</property>
	<!--指定NameNode的元数据在JournalNode上的存放位置-->
	<property>
		<name>dfs.namenode.shared.edits.dir</name>
		<value>qjournal://HA185:8485;HA186:8485;HA187:8485/ns1</value>
	</property>
	<!--指定JournalNode在本地磁盘存放数据的位置-->
	<property>
		<name>dfs.journalnode.edits.dir</name>
		<value>/app/hadoop-2.4.1/journaldata</value>
	</property>
	<!--开启NameNode失败自动切换-->
	<property>
		<name>dfs.ha.automatic-failover.enabled</name>
		<value>true</value>
	</property>
	<!--配置失败自动切换实现方式-->
	<property>
		<name>dfs.client.failover.proxy.provider.ns1</name>
		<value>org.apache.hadoop.hdfs.server.namenode.ha.</value>
	</property>
	<!--配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
	<property>
		<name>dfs.ha.fencing.methods</name>
		<value>
			sshfence
			shell(/bin/true)
		</value>
	</property>
	<!--使用sshfence隔离机制时需要ssh免登陆-->
	<property>
		<name>dfs.ha.fencing.ssh.private-key-files</name>
		<value>/home/hadoop/.ssh/id_rsa</value>
	</property>
	<!--配置sshfence隔离机制超时时间-->
	<property>
		<name>dfs.ha.fencing.ssh.connect-timeout</name>
		<value>30000</value>
	</property>
</configuration>
			
			2.2.4修改mapred-site.xml
<configuration>
	<!--指定mr框架为yarn方式-->
	<property>
		<name>maprece.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>	
			
			2.2.5修改yarn-site.xml
<configuration>
		<!--开启RM高可用-->
		<property>
		<name>yarn.resourcemanager.ha.enabled</name>
		<value>true</value>
		</property>
		<!--指定RM的clusterid-->
		<property>
		<name>yarn.resourcemanager.cluster-id</name>
		<value>yrc</value>
		</property>
		<!--指定RM的名字-->
		<property>
		<name>yarn.resourcemanager.ha.rm-ids</name>
		<value>rm1,rm2</value>
		</property>
		<!--分别指定RM的地址-->
		<property>
		<name>yarn.resourcemanager.hostname.rm1</name>
		<value>HA183</value>
		</property>
		<property>
		<name>yarn.resourcemanager.hostname.rm2</name>
		<value>HA184</value>
		</property>
		<!--指定zk集群地址-->
		<property>
		<name>yarn.resourcemanager.zk-address</name>
		<value>HA185:2181,HA186:2181,HA187:2181</value>
		</property>
		<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>maprece_shuffle</value>
		</property>
</configuration>
			
				
			2.2.6修改slaves(slaves是指定子节点的位置，因为要在HA181上启动HDFS、在HA183启动yarn，
			所以HA181上的slaves文件指定的是datanode的位置，HA183上的slaves文件指定的是nodemanager的位置)
HA185
HA186
HA187

			2.2.7配置免密码登陆
				#首先要配置HA181到HA182、HA183、HA184、HA185、HA186、HA187的免密码登陆
				#在HA181上生产一对钥匙
				ssh-keygen-trsa
				#将公钥拷贝到其他节点，包括自己
				ssh--idHA181
				ssh--idHA182
				ssh--idHA183
				ssh--idHA184
				ssh--idHA185
				ssh--idHA186
				ssh--idHA187
				#配置HA183到HA184、HA185、HA186、HA187的免密码登陆
				#在HA183上生产一对钥匙
				ssh-keygen-trsa
				#将公钥拷贝到其他节点
ssh--idHA184
ssh--idHA185
ssh--idHA186
ssh--idHA187
				#注意：两个namenode之间要配置ssh免密码登陆，别忘了配置HA182到HA181的免登陆
				在HA182上生产一对钥匙
				ssh-keygen-trsa
				ssh--id-iHA181				
		
		2.4将配置好的hadoop拷贝到其他节点
scp-r/app/hadoop-2.5.1/HA182:/app/
scp-r/app/hadoop-2.5.1/HA183:/app/
scp-r/app/hadoop-2.5.1/HA184:/app/
scp-r/app/hadoop-2.5.1/HA185:/app/
scp-r/app/hadoop-2.5.1/HA186:/app/
scp-r/app/hadoop-2.5.1/HA187:/app/
		###注意：严格按照下面的步骤
		2.5启动zookeeper集群（分别在HA185、HA186、tcast07上启动zk）
cd/app/zookeeper-3.4.5/bin/
./zkServer.shstart
			#查看状态：一个leader，两个follower
			./zkServer.shstatus
			
		2.6启动journalnode（分别在在HA185、HA186、HA187上执行）
cd/app/hadoop-2.5.1
hadoop-daemon.shstartjournalnode
			#运行jps命令检验，HA185、HA186、HA187上多了JournalNode进程
		2.7格式化ZKFC(在HA181上执行即可)			hdfszkfc-formatZK
		2.8格式化HDFS
			#在HA181上执行命令:
			hdfsnamenode-format
			#格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件，这里我配置的是/app/hadoop-2.4.1/tmp，然后将/weekend/hadoop-2.4.1/tmp拷贝到HA182的/weekend/hadoop-2.4.1/下。
			scp-rtmp/HA182:/app/hadoop-2.5.1/
			##也可以这样，建议hdfsnamenode-bootstrapStandby
		
		
		
		2.9启动HDFS(在HA181上执行)
			sbin/start-dfs.sh

		2.10启动YARN(#####注意#####：是在HA183上执行start-yarn.sh，把namenode和resourcemanager分开是因为性能问题，因为他们都要占用大量资源，所以把他们分开了，他们分开了就要分别在不同的机器上启动)
			sbin/start-yarn.sh

		
	到此，hadoop-2.4.1配置完毕，可以统计浏览器访问:
		http://192.168.1.181:50070
		NameNode'HA181:9000'(active)
		http://192.168.1.182:50070
		NameNode'HA182:9000'(standby)
	
	验证HDFSHA
		首先向hdfs上传一个文件
		hadoopfs-put/etc/profile/profile
		hadoopfs-ls/
		然后再kill掉active的NameNode
		kill-9<pidofNN>
		通过浏览器访问：http://192.168.1.182:50070
		NameNode'HA182:9000'(active)
		这个时候HA182上的NameNode变成了active
		在执行命令：
		hadoopfs-ls/
		-rw-r--r--3rootsupergroup19262014-02-0615:36/profile
		刚才上传的文件依然存在！！！
		手动启动那个挂掉的NameNode
		sbin/hadoop-daemon.shstartnamenode
		通过浏览器访问：http://192.168.1.181:50070
		NameNode'HA181:9000'(standby)
	
	验证YARN：
		运行一下hadoop提供的demo中的WordCount程序：
		hadoopjarshare/hadoop/maprece/hadoop-maprece-examples-2.4.1.jarwordcount/profile/out
	
	OK，大功告成！！！
CID-74d21742-3e4b-4df6-a99c-d52f703b49c0
	
			
		
测试集群工作状态的一些指令：
bin/hdfsdfsadmin-report	查看hdfs的各节点状态信息


bin/hdfshaadmin-getServiceStatenn1		获取一个namenode节点的HA状态

sbin/hadoop-daemon.shstartnamenode单独启动一个namenode进程


./hadoop-daemon.shstartzkfc单独启动一个zkfc进程
				

⑸ yarn 如何更新所有的依赖包到最新版本

yarn install --force

⑹ 如何搭建内网yarn

工具/原料

两台及以上电脑，并且安装网卡

集线器或路由器

具备组网的其它必备设备

方法/步骤

根据物理位置和距离情况，制作若干根网线，并且通过测试确保网线的连通性。在制作网线方面，有两种布线方式，一种是平行布线方式，适合不同种类的设备进行互联时;另一种是交叉布线方式，适合同一类型设备之间的互联。现在大部分设备都能识别平行和交叉布线方式。

利用网线将集线器或路由器的LAN口与电脑网卡接口连接起来。尤其对于路由器，为了组建局域网，确定所有的LAN接口与电脑网卡相连。

确保各个电脑的网卡驱动安装正常。测试方法：打开“运行”对话框，输入命令“ping 127.0.0.1 -t",如下出现如下界面提示，表明安装正常。否则下载相应的最新驱动重新安装。

设置各电脑的IP地址，一般来说，对于局域网用户，IP地址推荐的范围是“192.168.1.1”至“192.168.1.254”，对于每台电脑，都应该指定在该范围内且唯一的IP，子网掩码：“255.255.255.0”，其它各项按默认处理。IP地址的设置方法：右击“本地连接”，进入“本地连接 属性”对话框，双击“Internet 协议版本4（Tcp/IP)”,打开设置对话框 ，输入IP地址和子网掩码。

在各电脑的IP设置完成后，就进行各计算机之间的互通性测试。测试方法：打开“运行”对话框，在任意一台计算机上通过命令“ping 192.168.1.X”(X代表任意一台计算机制IP最后一组数字）来测试，如果出现如下界面，说明网络已连接。至此，整个局域网就搭建完成。

对于局域网中电脑的数量多于集线器或路由器接口数量的情况，可采用多个集线器或路由器相连的方式来扩展网络范围。具体作法是：集线器或路由器之间通过LAN口相连接即可扩展网络，唯一需要注意的是路由器的WAN口不要用作扩展网络的接口，该接口的作用是用于连接ADSL或宽带。

END
注意事项

对于组网设置为其它的情况，应根据实现设备情况进行操作，但基本原理和过程基本是一样的。

对于想通过组建局域网来达到共享上网目地的，联网设备建议选择路由器，同时将ADSL或宽带的接口与路由器的WAN相连，路由器的其它接口LAN与电脑相连就可以了。

在组建局域网过程中，合理使用Ping命令，以确保网络的畅通。

⑺ win10下 yarn进程的环境变量怎样设置 要运行RANCHER项目

可以通过配置以下Yarn的信息，另外运行ResourceManager守护进程和NodeManager守护进程来进行一个伪分布的MapRece作业。

⑻ YARN到底是怎么一回事

YARN的编程模型
1：保证编程模型的向下兼容性，MRv2重用了MRv1的编程模型和数据处理引擎，但运行环境被重写。
2：编程模型与数据处理引擎
maprece应用程序编程接口有两套：新的API（mapred)和旧的API（maprece）
采用MRv1旧的API编写的程序可直接运行在MRv2上
采用MRv1新的API编写的程序需要使用MRv2编程库重新编译并修改不兼容的参数 和返回值
3：运行时环境
MRv1:Jobracker和Tasktracker
MRv2:YARN和ApplicationMaster

YARN的组成
yarn主要由ResourceManager，NodeManager，ApplicationMaster和Container等几个组件组成。
ResourceManager（RM）
RM是全局资源管理器，负责整个系统的资源管理和分配。
主要由两个组件组成：调度器和应用 程序管理器（ASM）
调度器
调度器根据容量，队列等限制条件，将系统中的资源分配给各个正在运行的应用程序
不负责具体应用程序的相关工作，比如监控或跟踪状态
不负责重新启动失败任务
资源分配单位用“资源容器”resource Container表示
Container是一个动态资源分配单位，它将内存，CPU,磁盘，网络等资源封装在一起，从而限定每个任务的资源量
调度器是一个可插拔的组件，用户可以自行设计
YARN提供了多种直接可用的调度器，比如fair Scheler和Capacity Scheler等。
应用程序管理器
负责管理整个系统中所有应用程序
ApplicationMaster(AM)
用户提交的每个应用程序均包含一个AM
AM的主要功能
与RM调度器协商以获取资源（用Container表示）
将得到的任务进一步分配给内部的任务
与NM通信以自动/停止任务
监控所有任务运行状态，并在任务运行失败时重新为任务申请资源以重启任务
当前YARN自带了两个AM实现
一个用于演示AM编写方法的实例程序distributedshell
一个用于Maprece程序---MRAppMaster
其他的计算框架对应的AM正在开发中，比如spark等。
Nodemanager（NM）和Container
NM是每个节点上的资源和任务管理器
定时向RM汇报本节点上的资源使用情况和各个Container的运行状态
接收并处理来自AM的Container启动/停止等各种要求
Container是YARN中的资源抽象，它封装了某个节点上的多维度资源
YARN会为每个任务分配一个Container，且改任务只能使用该Container中描述的资源
Container不同于MRv1的slot，它是一个动态资源划分单位，是根据应用程序的需求动态产生的
YARN主要由以下几个协议组成
ApplicationClientProtocol
Jobclient通过该RPC协议提交应用才程序，查询应用程序状态等

Admin通过该协议更新系统配置文件，比如节点黑名单，用户队列权限等。
ApplicationMasterProtocol
AM通过该RPC协议想RM注册和撤销自己，并为各个任务申请资源
ContainerManagementProtocol
AM通过要求NM启动或者停止Container，获取各个Container的使用状态等信息
ResourceTracker
NM通过该RPC协议向RM注册，并定时发送心跳信息汇报当前节点的资源使用情况和Container运行状况
YARN的工作流程
文字描述一下这个过程：
1：由客户端提交一个应用，由RM的ASM接受应用请求
提交过来的应用程序包括哪些内容：
a:ApplicationMaster
b:启动Applicationmaster的命令
c:本身应用程序的内容
2:提交了三部分内容给RM，然后RM找NodeManager,然后
Nodemanager就启用Applicationmaster，并分配Container

接下来我们就要执行这个任务了，
3:但是执行任务需要资源，所以我们得向RM的ASM申请执行任务的资源（它会在RM这儿注册一下，说我已经启动了，注册了以后就可以通过RM的来管理，我们用户也可以通过RM的web客户端来监控任务的状态）ASM只是负责APplicationMaster的启用
4::我们注册好了后，得申请资源，申请资源是通过第四步，向ResourceScheler申请的
5:申请并领取资源后，它会找Nodemanager，告诉他我应经申请到了，然后Nodemanager判断一下，
6:知道他申请到了以后就会启动任务，当前启动之前会准备好环境，
7:任务启动以后会跟APplicationmaster进行通信，不断的心跳进行任务的汇报。
8:完成以后会给RM进行汇报，让RSM撤销注册。然后RSM就会回收资源。当然了，我们是分布式的，所以我们不会只跟自己的Nodemanager通信。也会跟其他的节点通信。