编译hadoop源码

发布时间: 2022-07-13 06:25:28

㈠如何编译Apache Hadoop2.2.0源代码

下载hadoop-2.2.0-src.tar.gz 下载。

执行以下命令解压缩jdk
tar -zxvf hadoop-2.2.0-src.tar.gz

会生成一个文件夹 hadoop-2.2.0-src。源代码中有个bug，这里需要修改一下，编辑目录/usr/local/hadoop-2.2.0-src/hadoop-common-project/hadoop-auth中的文件pom.xml，执行以下命令
gedit pom.xml
在第55行下增加以下内容
<dependency>
<groupId>org.mortbay.jetty</groupId>
<artifactId>jetty-util</artifactId>
<scope>test</scope>
</dependency>

保存退出即可。

上述bug详见https://issues.apache.org/jira/browse/HADOOP-10110，在hadoop3中修复了，离我们太遥远了。

好了，现在进入到目录/usr/local/hadoop-2.2.0-src中，执行命令
mvn package -DskipTests -Pdist,native,docs
如果没有执行第4步，把上面命令中的docs去掉即可，就不必生成文档了。
该命令会从外网下载依赖的jar，编译hadoop源码，需要花费很长时间，你可以吃饭了。
在等待n久之后，可以看到如下的结果：
[INFO] Apache Hadoop Main ................................ SUCCESS [6.936s]
[INFO] Apache Hadoop Project POM ......................... SUCCESS [4.928s]
[INFO] Apache Hadoop Annotations ......................... SUCCESS [9.399s]
[INFO] Apache Hadoop Assemblies .......................... SUCCESS [0.871s]
[INFO] Apache Hadoop Project Dist POM .................... SUCCESS [7.981s]
[INFO] Apache Hadoop Maven Plugins ....................... SUCCESS [8.965s]
[INFO] Apache Hadoop Auth ................................ SUCCESS [39.748s]
[INFO] Apache Hadoop Auth Examples ....................... SUCCESS [11.081s]
[INFO] Apache Hadoop Common .............................. SUCCESS [10:41.466s]
[INFO] Apache Hadoop NFS ................................. SUCCESS [26.346s]
[INFO] Apache Hadoop Common Project ...................... SUCCESS [0.061s]
[INFO] Apache Hadoop HDFS ................................ SUCCESS [12:49.368s]
[INFO] Apache Hadoop HttpFS .............................. SUCCESS [41.896s]
[INFO] Apache Hadoop HDFS BookKeeper Journal ............. SUCCESS [41.043s]
[INFO] Apache Hadoop HDFS-NFS ............................ SUCCESS [9.650s]
[INFO] Apache Hadoop HDFS Project ........................ SUCCESS [0.051s]
[INFO] hadoop-yarn ....................................... SUCCESS [1:22.693s]
[INFO] hadoop-yarn-api ................................... SUCCESS [1:20.262s]
[INFO] hadoop-yarn-common ................................ SUCCESS [1:30.530s]
[INFO] hadoop-yarn-server ................................ SUCCESS [0.177s]
[INFO] hadoop-yarn-server-common ......................... SUCCESS [15.781s]
[INFO] hadoop-yarn-server-nodemanager .................... SUCCESS [40.800s]
[INFO] hadoop-yarn-server-web-proxy ...................... SUCCESS [6.099s]
[INFO] hadoop-yarn-server-resourcemanager ................ SUCCESS [37.639s]
[INFO] hadoop-yarn-server-tests .......................... SUCCESS [4.516s]
[INFO] hadoop-yarn-client ................................ SUCCESS [25.594s]
[INFO] hadoop-yarn-applications .......................... SUCCESS [0.286s]
[INFO] hadoop-yarn-applications-distributedshell ......... SUCCESS [10.143s]
[INFO] hadoop-maprece-client ........................... SUCCESS [0.119s]
[INFO] hadoop-maprece-client-core ...................... SUCCESS [55.812s]
[INFO] hadoop-yarn-applications-unmanaged-am-launcher .... SUCCESS [8.749s]
[INFO] hadoop-yarn-site .................................. SUCCESS [0.524s]
[INFO] hadoop-yarn-project ............................... SUCCESS [16.641s]
[INFO] hadoop-maprece-client-common .................... SUCCESS [40.796s]
[INFO] hadoop-maprece-client-shuffle ................... SUCCESS [7.628s]
[INFO] hadoop-maprece-client-app ....................... SUCCESS [24.066s]
[INFO] hadoop-maprece-client-hs ........................ SUCCESS [13.243s]
[INFO] hadoop-maprece-client-jobclient ................. SUCCESS [16.670s]
[INFO] hadoop-maprece-client-hs-plugins ................ SUCCESS [3.787s]
[INFO] Apache Hadoop MapRece Examples .................. SUCCESS [17.012s]
[INFO] hadoop-maprece .................................. SUCCESS [6.459s]
[INFO] Apache Hadoop MapRece Streaming ................. SUCCESS [12.149s]
[INFO] Apache Hadoop Distributed Copy .................... SUCCESS [15.968s]
[INFO] Apache Hadoop Archives ............................ SUCCESS [5.851s]
[INFO] Apache Hadoop Rumen ............................... SUCCESS [18.364s]
[INFO] Apache Hadoop Gridmix ............................. SUCCESS [14.943s]
[INFO] Apache Hadoop Data Join ........................... SUCCESS [9.648s]
[INFO] Apache Hadoop Extras .............................. SUCCESS [5.763s]
[INFO] Apache Hadoop Pipes ............................... SUCCESS [16.289s]
[INFO] Apache Hadoop Tools Dist .......................... SUCCESS [3.261s]
[INFO] Apache Hadoop Tools ............................... SUCCESS [0.043s]
[INFO] Apache Hadoop Distribution ........................ SUCCESS [56.188s]
[INFO] Apache Hadoop Client .............................. SUCCESS [10.910s]
[INFO] Apache Hadoop Mini-Cluster ........................ SUCCESS [0.321s]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 40:00.444s
[INFO] Finished at: Thu Dec 26 12:42:24 CST 2013
[INFO] Final Memory: 109M/362M
[INFO] ------------------------------------------------------------------------

㈡如何编译Apache Hadoop2.4.0源代码

安装JDK

hadoop是java写的，编译hadoop必须安装jdk。

从oracle官网下载jdk，下载地址是http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html，选择 jdk-7u45-linux-x64.tar.gz下载。

执行以下命令解压缩jdk

tar -zxvfjdk-7u45-linux-x64.tar.gz

会生成一个文件夹jdk1.7.0_45，然后设置环境变量中。

执行命令 vi/etc/profile，增加以下内容到配置文件中，结果显示如下

export JAVA_HOME=/usr/java/jdk1.7.0_45

export JAVA_OPTS="-Xms1024m-Xmx1024m"

exportCLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH

export PATH=$JAVA_HOME/bin:$PATH

保存退出文件后，执行以下命令

source /etc/profile

java –version 看到显示的版本信息即正确。

安装maven

hadoop源码是使用maven组织管理的，必须下载maven。从maven官网下载，下载地址是http://maven.apache.org/download.cgi，选择 apache-maven-3.1.0-bin.tar.gz 下载，不要选择3.1下载。

执行以下命令解压缩jdk

tar -zxvf apache-maven-3.1.0-bin.tar.gz

会生成一个文件夹apache-maven-3.1.0，然后设置环境变量中。

执行命令vi /etc/profile，编辑结果如下所示

MAVEN_HOME=/usr/maven/apache-maven-3.1.0

export MAVEN_HOME

export PATH=${PATH}:${MAVEN_HOME}/bin

保存退出文件后，执行以下命令

source /etc/profile

mvn -version

如果看到下面的显示信息，证明配置正确了。

㈢ hadoop搭建时为什么要重新编译源码的解释

把你编译后的hadoop源码丢到原来的hadoop集群环境中去即覆盖hadoop安装目录下的原hadoop-core-xxx.jar 同样的所有节点都需要更新然后重启集群

㈣ linux下，如何在上不了外网的情况下编译hadoop源码作为一名学生，真是太愁苦了！！

1.首先确认，你的linux上有没有安装ant
2.确认你的各种环境是否配置正确（不会的话去看hadoop开发指南）
我把我的build.xml发给你
<?xml version="1.0"?>

<project name="Simple Buildfile" default="compile" basedir=".">


<property environment="env"/>


<property name="src.dir" value="src" />


<property name="build.dir" value="build"/>
<property name="build.classes" value="${build.dir}/classes"/>
<property name="build.lib" value="${build.dir}/lib"/>
<property name="jar.name" value="howtouse.jar"/>


<property name="hadoop.path" value="${env.HADOOP_HOME}"/>



<target name="prepare">
<mkdir dir="${build.dir}"/>
<mkdir dir="${build.classes}"/>
<mkdir dir="${build.lib}"/>
</target>

<target name="clean" description="Removes all generated files.">
<delete dir="${build.dir}"/>
</target>

<target name="compile" depends="prepare" description="Compiles all source code.">
<javac srcdir="${src.dir}" destdir="${build.classes}" includeantruntime="false"
deprecation="false">
<classpath>
<pathelement location="${hadoop.path}/hadoop-core-0.20.203.0.jar"/>
<pathelement location="${hadoop.path}/hadoop-tools-0.20.203.0.jar"/>
<pathelement location="${hadoop.path}/hadoop-examples-0.20.203.0.jar"/>
<pathelement location="${hadoop.path}/lib/mockito-all-1.8.5.jar"/>
<pathelement location="${hadoop.path}/lib/junit-4.5.jar"/>
<pathelement location="${hadoop.path}/lib/commons-math-2.1.jar"/>
<pathelement location="${hadoop.path}/lib/commons-cli-1.2.jar"/>
<pathelement location="${hadoop.path}/contrib/datajoin/hadoop-datajoin-0.20.203.0.jar"/>
</classpath>
</javac>
</target>

<target name="jar" depends="compile" description="Generates jar in the dist directory.">

<jar jarfile="${jar.name}" basedir="${build.classes}" excludes="**/*Test.class"/>

</target>

<target name="all" depends="clean,jar" description="Cleans,compiles,then builds the Jar file."/>

</project>

确保以上条件后
1.将自己写的java文件放到 /home/hadoop/ant/build/src 使用XFTP
2.在HDFS中新建一个文件目录专门用来装资源文件 hadoop fs -mkdir /user/src
3.将simple.txt测试文件放到HDFS中 hadoop fs -put/user/src
4.将/home/hadoop/ant/build/src下的java文件编译打包成play.jar(名字由build.xml决定)
方法:编译之前必须保证与build.xml同级目录下 ant jar
5.hadoop单机模式运行的时候必须保证在lib目录下
hadoop jar play.jar hadoop/MaxTemperature /user/src/simple.txt output

㈤如何用ant编译hadoop-1.2.1源码

1、安装ant 2、安装m4 3、安装autoconf 4、安装automake 5、安装libtool 6、安装ant vi /etc/profile export ANT_HOME=%ANT% export PATH=$JAVA_HOME/bin:$ANT_HOME/bin:$PATH source /etc/profile 7、安装eclipse 8、解压Hadoop文件，并修改配置文件取消ivy-download %hadoop%/src/contrib/build-contrib.xml 添加hadoop的version和eclipse的eclipse.home属性  <property name="version"value="1.1.2"/> <property name="eclipse.home"location="%eclipse%"/> 编辑%HADOOP_HOME%/build.xml 修改hadoop版本号取消ivy-download %hadoop%/src/contrib/eclipse-plugin/build.xml 取消ivy-download：添加将要打包到plugin中的第三方jar包列表   < file="${hadoop.root}/hadoop-core-${version}.jar"tofile="${build.dir}/lib/hadoop-core.jar"verbose="true"/> < file="${hadoop.root}/lib/commons-cli-1.2.jar" todir="${build.dir}/lib"verbose="true"/> < file="${hadoop.root}/lib/commons-configuration-1.6.jar" todir="${build.dir}/lib"verbose="true"/> < file="${hadoop.root}/lib/commons-httpclient-3.0.1.jar" todir="${build.dir}/lib"verbose="true"/> < file="${hadoop.root}/lib/commons-lang-2.4.jar" todir="${build.dir}/lib"verbose="true"/> < file="${hadoop.root}/lib/jackson-core-asl-1.8.8.jar" todir="${build.dir}/lib"verbose="true"/> < file="${hadoop.root}/lib/jackson-mapper-asl-1.8.8.jar" todir="${build.dir}/lib"verbose="true"/>  修改%hadoop%/src/contrib/eclipse-plugin/META-INF/MANIFEST.MF 修改${HADOOP_HOME}/src/contrib/eclipse-plugin/META-INF/MANIFEST.MF的Bundle-ClassPath： Bundle-ClassPath: classes/, lib/hadoop-core.jar, lib/commons-cli-1.2.jar, lib/commons-configuration-1.6.jar, lib/commons-httpclient-3.0.1.jar, lib/commons-lang-2.4.jar, lib/jackson-core-asl-1.8.8.jar, lib/jackson-mapper-asl-1.8.8.jar 9、执行ANT （编译源代码）进入到%hadoop%/执行ant compile 10、进入到%hadoop%/build/contrib/eclipse-plugin/执行 ant jar （生成elipse插件）

㈥怎么使用eclipse编译hadoop源码

使用eclipse编译hadoop源码

1，建立一个Hadoop源码文件夹。
2、svn 检出hadoop1.0.4的源码。svn checkout http://svn.apache.org/repos/asf/hadoop/common/tags/release-1.0.4
注意：如果在ubuntu下直接上面语句报错，可能需要执行下面的语句
sudo apt-get install autoconf
sudo apt-get install libtool
3、在检出完成后的目录下执行
ant eclipse.然后将源码导入到eclipse中。
4、修改 release-1.0.4/src/contrib/gridmix/src/Java/org/apache/hadoop/mapred/gridmix/Gridmix.java
将两处的 Enum<? extends T> 改成 Enum<?>

5、编译器设置及编译。
右击工程名，Properties-->Builders-->New--->Ant Builder
New_Builder --> Edit: Name: hadoop-Builder.Main:Builderfile(builder.xml的位置)：/home/nacey/workspace/source-workspace/hadoop-1.0.4;Targets—>Manual Build: jar
然后选择菜单Project-->Build Project

在/home/nacey/workspace/source-workspace/hadoop-1.0.4/build文件夹下会生成三个开发 jar 包:

hadoop-client-1.0.4-SNAPSHOT.jar
hadoop-core-1.0.4-SNAPSHOT.jar
hadoop-minicluster-1.0.4-SNAPSHOT.jar

去掉"-SNAPSHOT"即可替换hadoop-1.0.4 下的同名 jar 包.

注意如果要在集群中使用自己编译的jar，则需要替换集群中的所有机器。不然会出现版本不匹配。

㈦为什么编译 hadoop 源码

编译了hadoop，可以方便的查看某个函数的实现。如果不编译就只是自己去翻源代码了。更重要的是如果你编译了hadoop，你可以根据自己的需要改动hadoop的某些实现机制。（hadoop开源的好处）

㈧如何在CentOS6.5下编译64位的Hadoop2.x

一、预先安装必要软件

1、需要的软件：java, svn, autoconf, automake, libtool, ncurses-devel, openssl-devel, gcc, lzo-devel, zlib-devel, znt, maven, protobuf, cmake
检测系统中是否已安装了某一软件命令：rpm -qa|grep 软件名，如检测系统中是否安装了svn：

$ rpm -qa|grep svn
2、如果已安装，则跳过，如果没有安装，用命令：yum install svn进行安装，如：

$ yum install svn
如果yum命令安装失败（找不到相应的包），则需手动下载相应的软件包进行安装，比如maven, protobuf这两个个软件；

二、安装maven

1、软件包：apache-maven-3.0.5-bin.tar.gz
不要使用最新的Maven3.1.1，与Maven3.0.x存在兼容性问题，所以老是出现java.lang.NoClassDefFoundError: org/sonatype/aether/graph/DependencyFilter之类的错误。选择3.0.5版本：apache-maven-3.0.5-bin.tar.gz
将apache-maven-3.0.5-bin.tar.gz移动到/usr目录（软件包所在目录）：
# mv ./apache-maven-3.0.5-bin.tar.gz /usr
进入/usr目录，解压（/usr目录）：
# tar –zxvf apache-maven-3.0.5-bin.tar.gz ./
删除解压后的压缩包（/usr目录）：
# rm –rf apache-maven-3.0.5-bin.tar.gz
将/usr / apache-maven-3.0.5/bin加到环境变量中
# vi /etc/profile
在PATH行的最后加上“:/usr/apache-maven-3.0.5/bin”
2、使配置生效：

# source /etc/profile
验证是否安装成功：

# mvn –version

三、安装protobuf
1、软件包：protobuf-2.5.0.tar.gz
将protobuf-2.5.0.tar.gz移动到/usr目录（软件包所在目录）：
# mv ./ protobuf-2.5.0.tar.gz /usr
进入/usr目录，解压（/usr目录）：

# tar –zxvf protobuf-2.5.0.tar.gz ./
删除解压后的压缩包（/usr目录）：

# rm –rf protobuf-2.5.0.tar.gz
进入/usr/protobuf-2.5.0目录：
# cd /usr/protobuf-2.5.0
2、依次执行下列命令：
# ./configure
# make
# make check
# make install
检测是否安装成功：
# protoc --version
四、下载hadoop-2.2.0源码并编译

在/usr目录进行
用svn下载hadoop-2.2.0源码，命令：
$ svn checkout 'http://svn.apache.org/repos/asf/hadoop/common/tags/release-2.2.0'
源码下载完成后，在/usr目录下会有一个release-2.2.0目录，进入该目录：
$ cd /usr/release-2.2.0
$ ls –la

编译源码：
$ mvn package -Pdist,native -DskipTests –Dtar --不生成文档
$ mvn package -Pdist,native,docs,src -DskipTests –Dtar --生成文档，需要安装findbugs，并设置FINDBUGS_HOME环境变量
编译的时间比较久，编译过程中会联网下载所需要的包，机子没联网是不会成功编译的。
编译结束，最后打印的信息如下，每一项均是‘SUCCESS’，则编译成功：

编译好的代码包在/usr/release-2.2.0/hadoop-dist/target目录下：
$ cd /usr/release-2.2.0/hadoop-dist/target
$ ls –la
因为是在64位系统下编译的，所以编译出来的代码包是64位版本的；可以直接将/usr/release-2.2.0/hadoop-dist/target目录下的hadoop-2.2.0或者hadoop-2.2.0.tar.gz拷贝到其他linux64位平台进行搭建hadoop集群。

说明：
1、机器得连网，如果没联网找可以联网的机器下载，但是编译时还是要下载一些东西，所以，实在不行。最好找相同平台（可以是虚拟机）能上网的机器做下面工作，弄好了再把编译好的代码包拷回来。
2、命令操作中，‘#’开头的是在root用户进行，‘$’开头的是在普通用户下进行

㈨为什么要编译 hadoop 源码怎么在eclipse里写hadoop程序啊~ 上不了外网，hadoop源码编译不了，该怎么

1：编译了hadoop，可以方便的查看某个函数的实现。如果不编译就只是自己去翻源代码了。更重要的是如果你编译了hadoop，你可以根据自己的需要改动hadoop的某些实现机制。（hadoop开源的好处）.
2：编程hadoop程序是不需要编译hadoop源码的。你可以参看网上hadoop安装教程。
关于hadoop编程，欢迎访问我的博客：http://blog.csdn.net/jackydai987

㈩ hadoop源码修改了，编译成功后，将编译后的hadoop文件直接拿来搭建么，还是需要经过什么处理呢

把你编译后的hadoop源码丢到原来的hadoop集群环境中去即覆盖hadoop安装目录下的原hadoop-core-xxx.jar 同样的所有节点都需要更新然后重启集群

阅读全文

热点内容

vs编译找不到指定项目文件发布：2025-02-08 12:36:54 浏览：241

怎样用windows服务器搭建网站发布：2025-02-08 12:27:38 浏览：531

android获取音乐发布：2025-02-08 12:26:05 浏览：961

存储的数据可以复制吗发布：2025-02-08 12:20:22 浏览：852

scraino编程发布：2025-02-08 11:59:41 浏览：265

我的世界服务器进不去该怎么办发布：2025-02-08 11:47:41 浏览：236

linux的telnet 发布：2025-02-08 11:47:36 浏览：288

压缩袋打折发布：2025-02-08 11:46:02 浏览：259

c语言结构体题目发布：2025-02-08 11:46:01 浏览：339

如何svn限制一些外网不能访问发布：2025-02-08 11:46:00 浏览：992

编译hadoop源码

与编译hadoop源码相关的资讯