当前位置:首页 » 操作系统 » 导入hadoop源码

导入hadoop源码

发布时间: 2022-04-13 20:08:54

1. hadoop项目怎么导入eclipse

eclipse 导入hadoop 有三种方式,
1.直接找到 hadoop svn 资源库 在资源库中下
2.下载 hadoop 原码文件解压开之后 使用 maven 导入 (因为 hadoop 项目本省是使用maven 管理的)
3. 下载 hadoop maven原码,将maven功能转换成 eclipse 项目 ,再在eclipse 导入。

2. 你好,我编译hadoop2.4源码,成功之后导入eclipse中,但是怎么还是有报错,缺少包这类的问题呢

你把hadoop安装目录下的各个share目录下的lib下的jar包导入项目,那些是hadoop依赖的jar包

3. 用maven导入hadoop源码到eclipse中报异常

将hadoop源码解压到一个目录,注意目录层次不要太深,否则可能无法解压。
进入hadoop-maven-plugins文件夹,执行 mvn install
返回源码根目录,执行 mvn eclipse:eclipse –DskipTests
eclipse在任意目录创建新的WorkSpace
eclipse设置Maven:window->preference->maven->{Installations...;user Settings:maven\conf\settings.xml}
eclipse:File->inport->Existing Projects into WorkSpace->Hadoop源码根目录

4. hadoop 源代码 从哪里可以找到啊怎么下载,说详细一点谢谢

你可以用SVN软件在这里同步到最新的代码:
http://svn.apache.org/repos/asf/hadoop
其实你同步你研究领域的分支就可以了,全同步实在太大了。
SVN软件可以用Tortoise SVN,使用方法一下就可以了。
当然也可以到cloudera或Yahoo!的hadoop官网的download链接去下载。

5. maven怎么导入hadoop依赖包

如果你下载的是hadoop发行包,不需要的。如采用mavan管理的项目一般在项目的根目录下都有一个pom.xml文件,如果没有这个文件一般就不是用maven来管理的。果你下载了只是hadoop源码,而且mavan源码是用maven管理的需要用maven编译。

6. 怎样用windows eclipse 编程hadoop

1、目标:
在三台ubuntu上搭建hadoop开发环境;
在windows下利用Eclipse访问ubuntu下的hadoop环境,进行开发;
2、软硬件要求:
软件: hadoop-0.20.2 ,jdk-1.6 ,操作系统 ubuntu10.10 , Eclipse3.7 ;
硬件:3台装有ubuntu系统的机器(我使用的是在一台windows xp下利用 VMware workstation 安装了三台ubuntu虚拟机)
3台ubuntu虚拟器使用相同的用户名和密码 如我的用户名都是matt,
3、ubuntu上搭建hadoop环境
(这一步我直接省略,在网上有很多参考),搭建好后的配置文件如下:
core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/matt/HadoopInstall/tmp</value>
<description>A base for other temporary directories.</description>
</property>
<!-- file system properties -->
<property>
<name>fs.default.name</name>
<value>hdfs://tiger:9000</value>
</property>
</configuration>
mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>tiger:9001</value>
</property>
</configuration>
hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
4、在windows上安装eclipse3.7,
首先先进行windows系统参数设置,进入C:\WINDOWS\system32\drivers\etc 将hosts中加入主机名与对应Ip的关系
tiger 192.168.200.195
lion 192.168.200.196
wolf 192.168.200.197
(这三台分别是我的三台ubuntu虚拟机的主机名和对应的IP,可以参考我之前写的日志VMware虚拟机与主机共享上网的设置)
在官网下载解压eclipse3.7,然后将hadoop插件直接拷到eclipse的plugins里就可以了(hadoop0.20.2自带的hadoop插件只能支持
eclipse3.3.2以下版本,因此这个插件是我在google中搜索的);重启eclipse 通过点击Window -> Open Perspective -> Other 选择、Map/Rece,图标是个蓝色的象。就可以看到maprece视图了;接下来进行设置maprece开发环境,在
eclipse下端,控制台旁边会多一个Tab,叫“Map/Rece Locations”,在下面空白的地方点右键,选择“New Hadoop location...”,
弹出配置框

其中Location name可以随便起,Map/Rece Master要与你的mapered-site.xml对应,DFS与core-site.xml对应,User name是
unbuntu中搭建hadoop环境的用户名;接下来设置advanced parameter,里面主要注意的是 hadoop.tmp.dir(要与配置文件中的临时
目录一致) 和 hadoop.job.ugi(hadoop环境的用户名和组名 在这里就是 matt ,matt)这个变量名可能在刚开始时不存在,没有关系
先配置好其他的,确认保存。这时打开project Explorer就可以看到DFS Location了

如果在第一次没有hadoop.job.ugi变量的配置时在/hadoop/mapred/system下你是没有查看权限的 也就是查看不
到/matt/HadoopInstall/tmp这个目录,也不能进行删除文件操作,这时再打开advanced parameter,将值配置为上面提到的对应值就
好了(matt,matt);到这里整个配置部分就ok了;
5、运行第一个程序wordcount
在 project Explorer中右键->new ->maprece project 然后点击 configure Hadoop install directory 浏览到 hadoop0.20.2文件夹
下,这样project就会自动把hadoop下的jar包导入到工程,然后把hadoop自带的wordcount源码复制到project src目录下(注意包名要
一致)然后右键 Run As -> Run configuration ,弹出配置窗口单击左边的javap Application 选择WordCount程序,然后在右侧的
Arguments Program arguments 中配置运行参数(hdfs://tiger:9000/user/matt/input hdfs://tiger:9000/user/matt/output 分别对应程
序输入目录和输出目录)点击apply,然后再在wordcount上右键 ->run on hadoop 程序就能运行并在eclipse中打印日志信息了。

7. 如何将hadoop源码导入intellj idea

(1)准备工作 1) 安装JDK 6或者JDK 7 2) 安装scala 2.10.x (注意版本) 2)下载Intellij IDEA最新版(本文以IntelliJ IDEA Community Edition 13.1.1为例说明,不同版本,界面布局可能不同)

8. 如何把hadoop源码关联到eclipse工程中

操作步骤如下:

1、解压源码

首先,在windows下使用winRar把hadoop-1.0.4.tar.gz解压,如图所示:

9. 如何在eclipse里方便的读hadoop源码

  1. 导入查看hadoop源码(1)选择Existing Projects into Workspace (2)选择源码路径 (3)查看源码 这样就完成了全部的内容。

  2. 阅读hadoop源码其中比较常用的Open Call Hierarchy:用Open Call Hierarchy可以查看方法的调用层次。


热点内容
win8用户文件夹转移 发布:2024-11-15 13:21:24 浏览:73
批量缓存淘宝教育上的视频 发布:2024-11-15 13:20:44 浏览:723
如何确定手机是不是安卓 发布:2024-11-15 13:19:33 浏览:734
loadingbuffer怎么配置 发布:2024-11-15 13:16:57 浏览:797
安卓婉儿最低市战力在哪里 发布:2024-11-15 13:04:02 浏览:852
安卓如何设置图片模式 发布:2024-11-15 13:00:27 浏览:497
机房怎么用电脑连接服务器 发布:2024-11-15 12:52:24 浏览:561
删数据库事件 发布:2024-11-15 12:10:54 浏览:457
数据库选课管理系统 发布:2024-11-15 12:10:15 浏览:128
android音乐波形图 发布:2024-11-15 11:57:12 浏览:380