hadoopwindows编译

㈠ 求win10下的hadoop2.6.4编译后的bin和lib，虽然CSDN中有，但是没c币，

在lib这个目录下面,一定有很很多以.jar为后缀的文件(尤其是dt.jar和tools.jar),这是压缩文件,你可以用winRAR解压查看的.SUN公司发布的一些系统类就在这里,是java程序运行所依赖的.例如:在JAVA程序在进行输入和输出的时候要用到很输入输出类,如StreamInput,StreamOutput,你直接在程序的开头写上import java.io.*,编译器就到会lib目录下找相关的系统类. bin的文件夹，里面提供了一些工具，一些命令，供开发或者运行java程序时调用 是java编译时需要调用的程序（如java，javac等）所在的地方。一般是jdk的bin目录，例 ： C:\Program Files\Java\jdk1.5.0_22\bin，就是设置path路径所指的目录。

㈡ hadoop在window10上怎么编译

前言 Windows下运行Hadoop，通常有两种方式：一种是用VM方式安装一个linux操作系统，这样基本可以实现全Linux环境的Hadoop运行；另一种是通过Cygwin模拟Linux环境。后者的好处是使用比较方便，安装过程也简单，本篇文章是介绍第二种方式Cygwin模.

㈢ 如何在windows上使用eclipse远程连接hadoop进行程序开发

由于Hadoop主要是部署和应用在Linux环境中的，但是目前鄙人自知能力有限，还无法完全把工作环境转移到linux中去（当然还有点小私心啦，windows下那么多好用的程序到linux下用不了还真有点心疼——比如说快播，O(∩_∩)O~），于是便想着用eclipse来远程连接hadoop进行开发，摸索了一番，下面是其步骤：
1. 首先把hadoop-eclipse-plugin-1.0.4.jar（具体版本视你的hadoop版本而定）放到eclipse安装目录的plugins文件夹中，如果重新打开eclipse后看到有如下视图，则说明你的hadoop插件已经安装成功了：

其中的“hadoop installation directory”配置项用于指向你的hadoop安装目录，在windows下你只需要把下载到的hadoop-1.0.4.tar.gz包解压到某个位置，然后指向这个位置即可。
2. 配置eclipse中的Map/Rece Locations，如下图所示：

其中主机“master”是我在“C:\Windows\System32\drivers\etc\hosts”中自定义的主机名：
218.195.250.80 master
这时如果在eclipse中能看到如下“DFS Locations”，就说明eclipse已经成功连上远程的hadoop了（注意，别忘了把你的视图切换到Map/Rece视图，而不是默认的Java视图）：

3. 现在我们来测试《hadoop权威指导》中的MaxTemperature例子程序，建立如下三个类：

Run Configuration中的配置参数为：
hdfs://202.193.75.78:49000/user/hadoop/input/core-site.xml //输入文件，此处有换行
hdfs://202.193.75.78:49000/user/hadoop/output5 //输出目录

这时如果我们运行MaxTemperature类，会报如下错：
12/04/24 15:32:44 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
12/04/24 15:32:44 ERROR security.UserGroupInformation: PriviledgedActionException as:Administrator cause:java.io.IOException: Failed to set permissions of path: \tmp\hadoop-Administrator\mapred\staging\Administrator-519341271\.staging to 0700
Exception in thread "main" java.io.IOException: Failed to set permissions of path: \tmp\hadoop-Administrator\mapred\staging\Administrator-519341271\.staging to 0700

这个是Windows下文件权限问题，在Linux下可以正常运行，不存在这样的问题。
解决方法是，修改hadoop-1.0.4/src/core/org/apache/hadoop/fs/FileUtil.java里面的checkReturnValue，注释掉即可（有些粗暴，在Window下，可以不用检查）：
重新编译打包hadoop-core-1.0.4.jar，替换掉hadoop-1.0.4根目录下的hadoop-core-1.0.4.jar即可。（我重新打包的时候出了点问题，就直接以从网上下载的hadoop-core-1.0.2.jar代替hadoop-core-1.0.4.jar了，这样也可以正常运行，下载地址：https://skydrive.live.com/?cid=cf7746837803bc50&id=CF7746837803BC50%211276）
（其实还有另一种简单的办法，我们只需要把hadoop-1.0.4/src/core/org/apache/hadoop/fs/FileUtil.java修改之后重新编译过的class文件加入到原来的hadoop-core-1.0.4.jar包中代替原来的FileUtil.class文件即可，这里有一个已经做好的适合于windows环境的hadoop-core-1.0.4.jar包了，你可以直接下载）
另外，我还遇到了这么一个错误：
org.apache.hadoop.security.AccessControlException:Permission denied:user=Administrator,access=WRITE,inode="tmp":root:supergroup:rwxr-xr-x 。
这个错误有些蹊跷，因为我已经在map/rece locations中配置了用户名是hadoop（hadoop就是我linux上运行hadoop集群的用户名），不知道它为什么还是以Administrator用户身份来方位hadoop的，解决办法如下：
问题原因：本地用户administrator（本机windows用户）想要远程操作hadoop系统，没有权限引起的。
解决办法：
a、如果是测试环境，可以取消hadoop hdfs的用户权限检查。打开conf/hdfs-site.xml，找到dfs.permissions属性修改为false（默认为true）OK了。
b、修改hadoop location参数，在advanced parameter选项卡中，找到hadoop.job.ugi项，将此项改为启动hadoop的用户名即可。（注意第一次设置的时候可能没有hadoop.job.ugi参数，报错后在去看就有了。）
c、因为Eclipse使用hadoop插件提交作业时，会默认以 DrWho 身份去将作业写入hdfs文件系统中，对应的也就是 HDFS 上的/user/hadoop , 由于 DrWho 用户对hadoop目录并没有写入权限，所以导致异常的发生。解决方法为：放开 hadoop 目录的权限 ， 命令如下 ：$ hadoop fs -chmod 777

㈣ eclipse 导入hadoop包，无法编译。其他普通的JAVA程序可正常编译。是什么情况 （JDK1.6.10)

不知道你的Hadoop是什么版本的，比较新的版本hadoop要求jdk1.7以上版本才能用，如果不是版本问题，仔细检查下jar是不是加载了，看看build path中有没有，目测报的都是写class找不到的编译错误

㈤ 如何编译hadoop的native库

3、进入hadoop-2.4.1-src编译hadoop
cd hadoop-2.4.1-src
mvn clean package -Pdist,native -DskipTests -Dtar

4、一般情况下/root/soft/hadoop/hadoop-2.4.1-src/hadoop-hdfs-project/hadoop-hdfs-httpfs/downloads路径下的apache-tomcat-6.0.36.tar.gz下载不完全，
正常大小应该为6.47M左右，如果不对请官网手动下载，路径为http://archive.apache.org/dist/tomcat/tomcat-6/v6.0.36/bin/apache-tomcat-6.0.36.tar.gz
5、替换hadoop-2.4.1/lib/native为编译后hadoop-2.4.1-src/hadoop-dist/target/hadoop-2.4.1/lib/native包

㈥ winserver 2012 怎么配置hadoop

1、安装JDK1.6或更高版本

官网下载JDK，安装时注意，最好不要安装到带有空格的路径名下，例如:Programe Files，否则在配置Hadoop的配置文件时会找不到JDK（按相关说法，配置文件中的路径加引号即可解决，但我没测试成功）。

2、安装Cygwin

Cygwin是Windows平台下模拟Unix环境的工具，需要在安装Cygwin的基础上安装Hadoop

根据操作系统的需要下载32位或64的安装文件。

1)、双击下载好的安装文件，点击下一步，选择install from internet

2）、选择安装路径

3）、选择local Package Directory

4）、选择您的Internet连接方式

5）、选择合适的安装源，点击下一步

6）、在Select Packages界面里，Category展开net，选择如下openssh和openssl两项

如果要在Eclipe上编译Hadoop，需要安装Category为Base下的sed

如果想在Cygwin上直接修改hadoop的配置文件，可以安装Editors下的vim

7）、点击“下一步”，等待安装完成。

3、配置环境变量

在“我的电脑”上点击右键，选择菜单中的“属性"，点击属性对话框上的高级页签，点击”环境变量"按钮，在系统变量列表里双击“Path”变量，在变量值后输入安装的Cygwin的bin目录，例如：D:hadoopcygwin64in

4、安装sshd服务

双击桌面上的Cygwin图标，启动Cygwin，执行ssh-host-config -y命令

执行后，会提示输入密码，否则会退出该配置，此时输入密码和确认密码，回车。最后出现Host configuration finished.Have fun!表示安装成功。

输入net start sshd，启动服务。或者在系统的服务里找到并启动Cygwin sshd服务。

可能会遇到无法安装和启动sshd服务的问题，可参考此连接http://www.cnblogs.com/kinglau/p/3261886.html。

另外如果是Win8操作系统，启动Cygwin时，需要以管理员身份运行（右键图标，选择以管理员身份运行），否则会因为权限问题，提示“发生系统错误5”。

5、配置SSH免密码登录

执行ssh-keygen命令生成密钥文件

如下图所示，输入：ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa，注意-t -P -f参数区分大小写。

ssh-keygen是生成密钥命令

-t 表示指定生成的密钥类型(dsa,rsa)

-P表示提供的密语

-f指定生成的密钥文件。

注意:~代表当前用户的文件夹，/home/用户名

执行此命令后，在你的Cygwinhome用户名 路径下面会生成.ssh文件夹，可以通过命令ls -a /home/用户名 查看，ssh -version命令查看版本。

执行完ssh-keygen命令后，再执行下面命令，就可以生成authorized_keys文件了。

cd~/.ssh/
cpid_dsa.pubauthorized_keys

如下图所示：

然后执行exit命令，退出Cygwin窗口

6、再次在桌面上双击Cygwin图标，打开Cygwin窗口，执行ssh localhost命令，第一次执行该命令会有提示，输入yes后，回车即可。如下图所示

7、安装Hadoop

把hadoop压缩包解压到/home/用户名 目录下，文件夹名称更改为hadoop，可以不修改，但后边在执行命令时稍显麻烦。

（1）单机模式配置方式

单机模式不需要配置，这种方式下，Hadoop被认为是一个单独的Java进程，这种方式经常用来调试。

（2）伪分布模式

可以把伪分布模式看作是只有一个节点的集群，在这个集群中，这个节点既是Master，也是Slave，既是NameNode，也是DataNode，既是JobTracker，也是TaskTracker。

这种模式下修改几个配置文件即可。

配置hadoop-env.sh，记事本打开改文件，设置JAVA_HOME的值为你的JDK安装路径，例如：

JAVA_HOME="D:hadoopJavajdk1.7.0_25"

配置core-site.xml

<?xmlversion="1.0"?>
<?xml-stylesheettype="text/xsl"href="configuration.xsl"?>
<!--Putsite-.-->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>mapred.child.tmp</name>
<value>/home/u/hadoop/tmp</value>
</property>
</configuration>

配置hdfs-site.xml

<?xmlversion="1.0"?>
<?xml-stylesheettype="text/xsl"href="configuration.xsl"?>
<!--Putsite-.-->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

配置mapred-site.xml

<?xmlversion="1.0"?>
<?xml-stylesheettype="text/xsl"href="configuration.xsl"?>
<!--Putsite-.-->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
<property>
<name>mapred.child.tmp</name>
<value>/home/u/hadoop/tmp</value>
</property>
</configuration>

8、启动Hadoop

打开Cgywin窗口，执行cd ~/hadoop命令，进入hadoop文件夹，如下图：

启动Hadoop前，需要先格式化Hadoop的文件系统HDFS，执行命令：bin/hadoop namenode -format

注意namenode要小些，否则如果输入NameNode，会提示错误，找不到或无法加载主类NameNode。执行正确命令后如下图所示：

输入命令 bin/start-all.sh，启动所有进程，如下图：

接下来，验证是否安装成功

打开浏览器，分别输入下列网址，如果能够正常浏览，说明安装成功。

localhost:50030，回车打开MapRece的web页面，如下图（页面部分截图）：

localhost:50070，回车打开HDFS的web页面，如下图（页面部分截图）：

第一次启动后，如果都不能浏览，或不能浏览某一个，退出Cygwin，重新打开Cygwin，执行bin/start-all.sh命令。

如果只想启动MapRece，可执行bin/start-mapred.sh命令。

如果只想启动HDFS，可执行bin/start-dfs.sh命令。

㈦ hadoop编译时出现javac: file not found: 求助！！！！！

有 种可能
1、linux的classpath设置有问题，没有加上"."。
2、你的javac后的classpath设置也不对，wordCount的编译不只是需这一个包，我记得还有别的相关的jar包，只有都加到你的classpath中才能正常编译。

3、这种编译明显是不太合适，在windows上编译好后再导入linux运行比较简单直接一些。
试下看吧。

㈧ 如何在Windows下面运行hadoop的MapRece程序

1. 首先登入hadoop 集群里面的一个节点， 创建一个java源文件， 偷懒起见， 基本盗用官方的word count (因为本文的目的是教会你如何快编写和运行一个MapRece程序， 而不是如何写好一个功能齐全的MapRece程序）
内容如下：
import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.maprece.Job;
import org.apache.hadoop.maprece.Mapper;
import org.apache.hadoop.maprece.Recer;
import org.apache.hadoop.maprece.lib.input.FileInputFormat;
import org.apache.hadoop.maprece.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;
public class myword {
public static class TokenizerMapper
extends Mapper<Object, Text, Text, IntWritable>{
private final static IntWritable one = new IntWritable(1);
private Text word = new Text();
public void map(Object key, Text value, Context context
) throws IOException, InterruptedException {
StringTokenizer itr = new StringTokenizer(value.toString());
while (itr.hasMoreTokens()) {
word.set(itr.nextToken());
context.write(word, one);
}
}
}
public static class IntSumRecer
extends Recer<Text,IntWritable,Text,IntWritable> {
private IntWritable result = new IntWritable();
public void rece(Text key, Iterable<IntWritable> values,
Context context
) throws IOException, InterruptedException {
int sum = 0;
for (IntWritable val : values) {
sum += val.get();
}
result.set(sum);
context.write(key, result);
}
}
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
if (otherArgs.length != 2) {
System.err.println('Usage: wordcount <in> <out>');
System.exit(2);
}
Job job = new Job(conf, 'word count');
job.setJarByClass(myword.class);
job.setMapperClass(TokenizerMapper.class);
job.setCombinerClass(IntSumRecer.class);
job.setRecerClass(IntSumRecer.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));
System.exit(job.waitForCompletion(true) ? 0 : 1);
}
}
与官方版本相比， 主要做了两处修改
1） 为了简单起见，去掉了开头的 package org.apache.hadoop.examples;
2） 将类名从 WordCount 改为 myword, 以体现是我们自己的工作成果 :)
2. 拿到hadoop 运行的class path, 主要为编译所用
运行命令
hadoop classpath
保存打出的结果，本文用的hadoop 版本是Pivotal 公司的Pivotal hadoop, 例子：
/etc/gphd/hadoop/conf:/usr/lib/gphd/hadoop/lib/*:/usr/lib/gphd/hadoop/.//*:/usr/lib/gphd/hadoop-hdfs/./:/usr/lib/gphd/hadoop-hdfs/lib/*:/usr/lib/gphd/hadoop-hdfs/.//*:/usr/lib/gphd/hadoop-yarn/lib/*:/usr/lib/gphd/hadoop-yarn/.//*:/usr/lib/gphd/hadoop-maprece/lib/*:/usr/lib/gphd/hadoop-maprece/.//*::/etc/gphd/pxf/conf::/usr/lib/gphd/pxf/pxf-core.jar:/usr/lib/gphd/pxf/pxf-api.jar:/usr/lib/gphd/publicstage:/usr/lib/gphd/gfxd/lib/gemfirexd.jar::/usr/lib/gphd/zookeeper/zookeeper.jar:/usr/lib/gphd/hbase/lib/hbase-common.jar:/usr/lib/gphd/hbase/lib/hbase-protocol.jar:/usr/lib/gphd/hbase/lib/hbase-client.jar:/usr/lib/gphd/hbase/lib/hbase-thrift.jar:/usr/lib/gphd/hbase/lib/htrace-core-2.01.jar:/etc/gphd/hbase/conf::/usr/lib/gphd/hive/lib/hive-service.jar:/usr/lib/gphd/hive/lib/libthrift-0.9.0.jar:/usr/lib/gphd/hive/lib/hive-metastore.jar:/usr/lib/gphd/hive/lib/libfb303-0.9.0.jar:/usr/lib/gphd/hive/lib/hive-common.jar:/usr/lib/gphd/hive/lib/hive-exec.jar:/usr/lib/gphd/hive/lib/postgresql-jdbc.jar:/etc/gphd/hive/conf::/usr/lib/gphd/sm-plugins/*:
3. 编译
运行命令
javac -classpath xxx ./myword.java
xxx部分就是上一步里面取到的class path
运行完此命令后， 当前目录下会生成一些.class 文件， 例如：
myword.class myword$IntSumRecer.class myword$TokenizerMapper.class
4. 将class文件打包成.jar文件
运行命令
jar -cvf myword.jar ./*.class
至此, 目标jar 文件成功生成
5. 准备一些文本文件， 上传到hdfs, 以做word count的input
例子：
随意创建一些文本文件， 保存到mapred_test 文件夹
运行命令
hadoop fs -put ./mapred_test/
确保此文件夹成功上传到hdfs 当前用户根目录下
6. 运行我们的程序
运行命令
hadoop jar ./myword.jar myword mapred_test output
顺利的话， 此命令会正常进行， 一个MapRece job 会开始工作， 输出的结果会保存在 hdfs 当前用户根目录下的output 文件夹里面。
至此大功告成！
如果还需要更多的功能， 我们可以修改前面的源文件以达到一个真正有用的MapRece job。
但是原理大同小异， 练手的话， 基本够了。
一个抛砖引玉的简单例子， 欢迎板砖。

㈨ 如何在windows下安装Eclipse Hadoop插件

在windows下安装Eclipse Hadoop插件主要安装编译Eclipse-hadoop插件即可。

1、配置环境变量：把下载好的hadoop-2.5.2解压到D盘的根目录下，然后计算机==》属性==》高级系统设置==》环境变量

㈩ 如何在Windows中使用Intellij idea搭建远程Hadoop开发环境

（1）准备工作

1） 安装JDK 6或者JDK 7

2） 安装scala 2.10.x (注意版本)

2）下载Intellij IDEA最新版（本文以IntelliJ IDEA Community Edition 13.1.1为例说明，不同版本，界面布局可能不同）

3）将下载的Intellij IDEA解压后，安装scala插件，流程如下：

依次选择“Configure”–> “Plugins”–> “Browse repositories”，输入scala，然后安装即可

（2）搭建Spark源码阅读环境（需要联网）

一种方法是直接依次选择“import project”–> 选择spark所在目录 –>
“SBT”，之后intellij会自动识别SBT文件，并下载依赖的外部jar包，整个流程用时非常长，取决于机器的网络环境（不建议在windows
下操作，可能遇到各种问题），一般需花费几十分钟到几个小时。注意，下载过程会用到git，因此应该事先安装了git。

第二种方法是首先在linux操作系统上生成intellij项目文件，然后在intellij IDEA中直接通过“Open
Project”打开项目即可。在linux上生成intellij项目文件的方法（需要安装git，不需要安装scala，sbt会自动下载）是：在
spark源代码根目录下，输入sbt/sbt gen-idea

注：如果你在windows下阅读源代码，建议先在linux下生成项目文件，然后导入到windows中的intellij IDEA中。

（3）搭建Spark开发环境

在intellij IDEA中创建scala project，并依次选择“File”–> “project structure”
–> “Libraries”，选择“+”，将spark-hadoop
对应的包导入，比如导入spark-assembly_2.10-0.9.0-incubating-hadoop2.2.0.jar（只需导入该jar
包，其他不需要），如果IDE没有识别scala 库，则需要以同样方式将scala库导入。之后开发scala程序即可：

编写完scala程序后，可以直接在intellij中，以local模式运行，方法如下：

点击“Run”–> “Run Configurations”，在弹出的框中对应栏中填写“local”，表示将该参数传递给main函数，如下图所示，之后点击“Run”–> “Run”运行程序即可。

如果想把程序打成jar包，通过命令行的形式运行在spark 集群中，可以按照以下步骤操作：

依次选择“File”–> “Project Structure” –> “Artifact”，选择“+”–>
“Jar” –> “From Moles with
dependencies”，选择main函数，并在弹出框中选择输出jar位置，并选择“OK”。

最后依次选择“Build”–> “Build Artifact”编译生成jar包。