windows編譯hadoop

⑴ hadoop在window10上怎麼編譯

前言 Windows下運行Hadoop，通常有兩種方式：一種是用VM方式安裝一個linux操作系統，這樣基本可以實現全Linux環境的Hadoop運行；另一種是通過Cygwin模擬Linux環境。後者的好處是使用比較方便，安裝過程也簡單，本篇文章是介紹第二種方式Cygwin模.

⑵ hadoop編譯時出現javac: file not found: 求助！！！！！

有 種可能
1、linux的classpath設置有問題，沒有加上"."。
2、你的javac後的classpath設置也不對，wordCount的編譯不只是需這一個包，我記得還有別的相關的jar包，只有都加到你的classpath中才能正常編譯。

3、這種編譯明顯是不太合適，在windows上編譯好後再導入linux運行比較簡單直接一些。
試下看吧。

⑶ 怎麼在windows7下編譯hadoop 1.0.0 插件

1、下載Eclipse解壓。 2、把hadoop-eclipse-plugin-1.1.2.jar放到eclipse的plugs目錄下。 我的hadoop集群用的版本：hadoop1.1.2 hadoop0.20以後的版本的安裝目錄下contrib/沒有eclipse的hadoop-*-eclipse-plugin.jar插件，需要自己用ant編譯。

⑷ 編譯hadoop eclipse插件要聯網么

這里用到的hadoop版本是1.1.2，但此插件的編譯方面在1.2.0下也通過。）
1）hadoop的eclipse插件源碼位於hadoop.home（這里的hadoop.home為你的hadoop主目錄）/src/contrib/eclipse-plugin。
ant不外乎是一個build.xml，我們先拿它開刀。
我們找到<target name="jar"，裡面的元素<相關的先全部刪了，然後添加如下的，當然，這里的hadoop-core-XXX.jar，這個XXX是版本號，請根據你下載的hadoop的版本進行設置，也可以在後面的build-contrib.xml中進行設置，這里用變數進行替換，等一下我們再看。

< file="${hadoop.root}/hadoop-core-1.1.2.jar" tofile="${build.dir}/lib/hadoop-core.jar" verbose="true"/>
< file="${hadoop.root}/lib/commons-cli-1.2.jar" todir="${build.dir}/lib" verbose="true"/>
< file="${hadoop.root}/lib/commons-configuration-1.6.jar" tofile="${build.dir}/lib/commons-configuration-1.6.jar" verbose="true"/>
< file="${hadoop.root}/lib/commons-httpclient-3.0.1.jar" tofile="${build.dir}/lib/commons-httpclient-3.0.1.jar" verbose="true"/>
< file="${hadoop.root}/lib/commons-lang-2.4.jar" tofile="${build.dir}/lib/commons-lang-2.4.jar" verbose="true"/>
< file="${hadoop.root}/lib/jackson-core-asl-1.8.8.jar" tofile="${build.dir}/lib/jackson-core-asl-1.8.8.jar" verbose="true"/>
< file="${hadoop.root}/lib/jackson-mapper-asl-1.8.8.jar" tofile="${build.dir}/lib/jackson-mapper-asl-1.8.8.jar" verbose="true"/>

網上很多文章都說只要這一步就OK了，但實驗證明，我們編譯的時候會出現找不到類的情況，主要是沒有載入那些JAR包。
2）添加JAR包到classpath
還是build.xml文件中，我們找到<path id="classpath">
在其末尾加上：

<fileset dir="${hadoop.root}">
<include name="*.jar"/>
</fileset>
這里把hadoop根目錄下的所有JAR包加入到classpath，至於這里為什麼要加，我沒怎麼用Ant，就留給有興趣的朋友去研究了。
3）改完上面的，當我們在編譯的時候，那些需要的JAR包並沒有同時添加到生成的JAR內，這樣會有錯誤，所以我們要修改MANIFIEST.MF文件，相信搞過可運行JAR包的朋友都清楚這個文件用一個JAR來說是多麼的重要。
在同級目錄下找到META-INF/MANIFEST.MF，找到Bundle-ClassPath:，然後添加如下：

classes/,lib/hadoop-core.jar,lib/commons-configuration-1.6.jar,lib/commons-httpclient-3.0.1.jar,lib/commons-lang-2.4.jar,lib/jackson-core-asl-1.8.8.jar,lib/commons-cli-1.2.jar
注意，這一大段不要換行，否則在生成JAR包時會報錯。
4）加完這些，可以說實際上編譯就已經OK了，但我們需要跟特定的eclipse相結合，所以我們需要配置eclipse的路徑，回到我們剛才build.xml文件的上層文件夾，也就是hadoop.home/src/contrib文件夾下。
找到build-contrib.xml文件，找到project，在property最前面加多一個：

<property name="eclipse.home" value="D:/developerTools/eclipse/eclipse" />
這里的D:/xxx是我的eclipse安裝路徑，注意，需要把原來windows下的\換成linux樣式的/，否則會有問題的。

接下來就開始我們正式的編譯工作了，假設ant那些我們都配置好了，已經在path中了，並且ant版本高於1.7.2（建議下最新的），然後我們直接在cmd下執行：
可以看到這樣的結果：

這里已經生成成功了，接下來我們就可以到hadoop.home/build/contrib/eclipse-plugin下找到hadoop-eclipse-plugin-${version}.jar這樣的一個文件，${version}是什麼來的？

這里就涉及到一個前面說的版本變數的問題，我們在build-contrib.xml的eclipse.home下面添加一個：

<property name="version" value="1.1.2" />
這里的版本號請根據你自己下的版本來填，填好後，我們再生成後，就可以看到hadoop-eclipse-plugin-1.1.2.jar這樣的一個JAR包，這個版本號根據你設的version值來生成的。

我在另外一台電腦編譯時，遇到了報找不到log4j配置文件的錯誤，類似什麼master之類的，如果遇到類似這樣的錯誤，錯誤如下：

可以嘗試修改ivy.xml，把裡面的dependency裡面的conf裡面的master修改為default，一般就可以解決了，這個暫時沒發現是什麼造成的，遇到類似的問題就可以找找ivy.xml裡面的問題。

編譯完成後，我們把hadoop-eclipse-plugin-XXX.jar包丟進eclipse的plugins目錄下，然後重啟eclipse就OK了，啟動後就可以看到Map/Rece窗口了，這也方便我們運行WordCount等例子。

⑸ 如何在windows下安裝Eclipse Hadoop插件

在windows下安裝Eclipse Hadoop插件主要安裝編譯Eclipse-hadoop插件即可。

1、配置環境變數：把下載好的hadoop-2.5.2解壓到D盤的根目錄下，然後計算機==》屬性==》高級系統設置==》環境變數

⑹ 求win10下的hadoop2.6.4編譯後的bin和lib，雖然CSDN中有，但是沒c幣，

在lib這個目錄下面,一定有很很多以.jar為後綴的文件(尤其是dt.jar和tools.jar),這是壓縮文件,你可以用winRAR解壓查看的.SUN公司發布的一些系統類就在這里,是JAVA程序運行所依賴的.例如:在JAVA程序在進行輸入和輸出的時候要用到很輸入輸出類,如StreamInput,StreamOutput,你直接在程序的開頭寫上import java.io.*,編譯器就到會lib目錄下找相關的系統類. bin的文件夾，裡面提供了一些工具，一些命令，供開發或者運行java程序時調用 是java編譯時需要調用的程序（如java，javac等）所在的地方。一般是jdk的bin目錄，例 ： C:\Program Files\Java\jdk1.5.0_22\bin，就是設置path路徑所指的目錄。

⑺ 如何在Windows下面運行hadoop的MapRece程序

1. 首先登入hadoop 集群裡面的一個節點， 創建一個java源文件， 偷懶起見， 基本盜用官方的word count (因為本文的目的是教會你如何快編寫和運行一個MapRece程序， 而不是如何寫好一個功能齊全的MapRece程序）
內容如下：
import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.maprece.Job;
import org.apache.hadoop.maprece.Mapper;
import org.apache.hadoop.maprece.Recer;
import org.apache.hadoop.maprece.lib.input.FileInputFormat;
import org.apache.hadoop.maprece.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;
public class myword {
public static class TokenizerMapper
extends Mapper<Object, Text, Text, IntWritable>{
private final static IntWritable one = new IntWritable(1);
private Text word = new Text();
public void map(Object key, Text value, Context context
) throws IOException, InterruptedException {
StringTokenizer itr = new StringTokenizer(value.toString());
while (itr.hasMoreTokens()) {
word.set(itr.nextToken());
context.write(word, one);
}
}
}
public static class IntSumRecer
extends Recer<Text,IntWritable,Text,IntWritable> {
private IntWritable result = new IntWritable();
public void rece(Text key, Iterable<IntWritable> values,
Context context
) throws IOException, InterruptedException {
int sum = 0;
for (IntWritable val : values) {
sum += val.get();
}
result.set(sum);
context.write(key, result);
}
}
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
if (otherArgs.length != 2) {
System.err.println('Usage: wordcount <in> <out>');
System.exit(2);
}
Job job = new Job(conf, 'word count');
job.setJarByClass(myword.class);
job.setMapperClass(TokenizerMapper.class);
job.setCombinerClass(IntSumRecer.class);
job.setRecerClass(IntSumRecer.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));
System.exit(job.waitForCompletion(true) ? 0 : 1);
}
}
與官方版本相比， 主要做了兩處修改
1） 為了簡單起見，去掉了開頭的 package org.apache.hadoop.examples;
2） 將類名從 WordCount 改為 myword, 以體現是我們自己的工作成果 :)
2. 拿到hadoop 運行的class path, 主要為編譯所用
運行命令
hadoop classpath
保存打出的結果，本文用的hadoop 版本是Pivotal 公司的Pivotal hadoop, 例子：
/etc/gphd/hadoop/conf:/usr/lib/gphd/hadoop/lib/*:/usr/lib/gphd/hadoop/.//*:/usr/lib/gphd/hadoop-hdfs/./:/usr/lib/gphd/hadoop-hdfs/lib/*:/usr/lib/gphd/hadoop-hdfs/.//*:/usr/lib/gphd/hadoop-yarn/lib/*:/usr/lib/gphd/hadoop-yarn/.//*:/usr/lib/gphd/hadoop-maprece/lib/*:/usr/lib/gphd/hadoop-maprece/.//*::/etc/gphd/pxf/conf::/usr/lib/gphd/pxf/pxf-core.jar:/usr/lib/gphd/pxf/pxf-api.jar:/usr/lib/gphd/publicstage:/usr/lib/gphd/gfxd/lib/gemfirexd.jar::/usr/lib/gphd/zookeeper/zookeeper.jar:/usr/lib/gphd/hbase/lib/hbase-common.jar:/usr/lib/gphd/hbase/lib/hbase-protocol.jar:/usr/lib/gphd/hbase/lib/hbase-client.jar:/usr/lib/gphd/hbase/lib/hbase-thrift.jar:/usr/lib/gphd/hbase/lib/htrace-core-2.01.jar:/etc/gphd/hbase/conf::/usr/lib/gphd/hive/lib/hive-service.jar:/usr/lib/gphd/hive/lib/libthrift-0.9.0.jar:/usr/lib/gphd/hive/lib/hive-metastore.jar:/usr/lib/gphd/hive/lib/libfb303-0.9.0.jar:/usr/lib/gphd/hive/lib/hive-common.jar:/usr/lib/gphd/hive/lib/hive-exec.jar:/usr/lib/gphd/hive/lib/postgresql-jdbc.jar:/etc/gphd/hive/conf::/usr/lib/gphd/sm-plugins/*:
3. 編譯
運行命令
javac -classpath xxx ./myword.java
xxx部分就是上一步裡面取到的class path
運行完此命令後， 當前目錄下會生成一些.class 文件， 例如：
myword.class myword$IntSumRecer.class myword$TokenizerMapper.class
4. 將class文件打包成.jar文件
運行命令
jar -cvf myword.jar ./*.class
至此, 目標jar 文件成功生成
5. 准備一些文本文件， 上傳到hdfs, 以做word count的input
例子：
隨意創建一些文本文件， 保存到mapred_test 文件夾
運行命令
hadoop fs -put ./mapred_test/
確保此文件夾成功上傳到hdfs 當前用戶根目錄下
6. 運行我們的程序
運行命令
hadoop jar ./myword.jar myword mapred_test output
順利的話， 此命令會正常進行， 一個MapRece job 會開始工作， 輸出的結果會保存在 hdfs 當前用戶根目錄下的output 文件夾裡面。
至此大功告成！
如果還需要更多的功能， 我們可以修改前面的源文件以達到一個真正有用的MapRece job。
但是原理大同小異， 練手的話， 基本夠了。
一個拋磚引玉的簡單例子， 歡迎板磚。

⑻ 如何在Windows中使用Intellij idea搭建遠程Hadoop開發環境

（1）准備工作

1） 安裝JDK 6或者JDK 7

2） 安裝scala 2.10.x (注意版本)

2）下載Intellij IDEA最新版（本文以IntelliJ IDEA Community Edition 13.1.1為例說明，不同版本，界面布局可能不同）

3）將下載的Intellij IDEA解壓後，安裝scala插件，流程如下：

依次選擇「Configure」–> 「Plugins」–> 「Browse repositories」，輸入scala，然後安裝即可

（2）搭建Spark源碼閱讀環境（需要聯網）

一種方法是直接依次選擇「import project」–> 選擇spark所在目錄 –>
「SBT」，之後intellij會自動識別SBT文件，並下載依賴的外部jar包，整個流程用時非常長，取決於機器的網路環境（不建議在windows
下操作，可能遇到各種問題），一般需花費幾十分鍾到幾個小時。注意，下載過程會用到git，因此應該事先安裝了git。

第二種方法是首先在linux操作系統上生成intellij項目文件，然後在intellij IDEA中直接通過「Open
Project」打開項目即可。在linux上生成intellij項目文件的方法（需要安裝git，不需要安裝scala，sbt會自動下載）是：在
spark源代碼根目錄下，輸入sbt/sbt gen-idea

註：如果你在windows下閱讀源代碼，建議先在linux下生成項目文件，然後導入到windows中的intellij IDEA中。

（3）搭建Spark開發環境

在intellij IDEA中創建scala project，並依次選擇「File」–> 「project structure」
–> 「Libraries」，選擇「+」，將spark-hadoop
對應的包導入，比如導入spark-assembly_2.10-0.9.0-incubating-hadoop2.2.0.jar（只需導入該jar
包，其他不需要），如果IDE沒有識別scala 庫，則需要以同樣方式將scala庫導入。之後開發scala程序即可：

編寫完scala程序後，可以直接在intellij中，以local模式運行，方法如下：

點擊「Run」–> 「Run Configurations」，在彈出的框中對應欄中填寫「local」，表示將該參數傳遞給main函數，如下圖所示，之後點擊「Run」–> 「Run」運行程序即可。

如果想把程序打成jar包，通過命令行的形式運行在spark 集群中，可以按照以下步驟操作：

依次選擇「File」–> 「Project Structure」 –> 「Artifact」，選擇「+」–>
「Jar」 –> 「From Moles with
dependencies」，選擇main函數，並在彈出框中選擇輸出jar位置，並選擇「OK」。

最後依次選擇「Build」–> 「Build Artifact」編譯生成jar包。

⑼ 怎樣用windows eclipse 編程hadoop

1、目標：
在三台ubuntu上搭建hadoop開發環境；
在windows下利用Eclipse訪問ubuntu下的hadoop環境，進行開發；
2、軟硬體要求：
軟體： hadoop-0.20.2 ，jdk-1.6 ，操作系統 ubuntu10.10 ， Eclipse3.7 ；
硬體：3台裝有ubuntu系統的機器（我使用的是在一台windows xp下利用 VMware workstation 安裝了三台ubuntu虛擬機）
3台ubuntu虛擬器使用相同的用戶名和密碼 如我的用戶名都是matt，
3、ubuntu上搭建hadoop環境
（這一步我直接省略，在網上有很多參考），搭建好後的配置文件如下：
core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/matt/HadoopInstall/tmp</value>
<description>A base for other temporary directories.</description>
</property>
<!-- file system properties -->
<property>
<name>fs.default.name</name>
<value>hdfs://tiger:9000</value>
</property>
</configuration>
mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>tiger:9001</value>
</property>
</configuration>
hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
4、在windows上安裝eclipse3.7，
首先先進行windows系統參數設置，進入C:\WINDOWS\system32\drivers\etc 將hosts中加入主機名與對應Ip的關系
tiger 192.168.200.195
lion 192.168.200.196
wolf 192.168.200.197
（這三台分別是我的三台ubuntu虛擬機的主機名和對應的IP，可以參考我之前寫的日誌VMware虛擬機與主機共享上網的設置）
在官網下載解壓eclipse3.7，然後將hadoop插件直接拷到eclipse的plugins里就可以了(hadoop0.20.2自帶的hadoop插件只能支持
eclipse3.3.2以下版本，因此這個插件是我在google中搜索的)；重啟eclipse 通過點擊Window -> Open Perspective -> Other 選擇、Map/Rece，圖標是個藍色的象。就可以看到maprece視圖了；接下來進行設置maprece開發環境，在
eclipse下端，控制台旁邊會多一個Tab，叫「Map/Rece Locations」，在下面空白的地方點右鍵，選擇「New Hadoop location...」，
彈出配置框

其中Location name可以隨便起，Map/Rece Master要與你的mapered-site.xml對應，DFS與core-site.xml對應，User name是
unbuntu中搭建hadoop環境的用戶名；接下來設置advanced parameter，裡面主要注意的是 hadoop.tmp.dir(要與配置文件中的臨時
目錄一致) 和 hadoop.job.ugi（hadoop環境的用戶名和組名 在這里就是 matt ，matt）這個變數名可能在剛開始時不存在，沒有關系
先配置好其他的，確認保存。這時打開project Explorer就可以看到DFS Location了

如果在第一次沒有hadoop.job.ugi變數的配置時在/hadoop/mapred/system下你是沒有查看許可權的 也就是查看不
到/matt/HadoopInstall/tmp這個目錄，也不能進行刪除文件操作，這時再打開advanced parameter，將值配置為上面提到的對應值就
好了（matt,matt）；到這里整個配置部分就ok了；
5、運行第一個程序wordcount
在 project Explorer中右鍵->new ->maprece project 然後點擊 configure Hadoop install directory 瀏覽到 hadoop0.20.2文件夾
下，這樣project就會自動把hadoop下的jar包導入到工程，然後把hadoop自帶的wordcount源碼復制到project src目錄下（注意包名要
一致）然後右鍵 Run As -> Run configuration ，彈出配置窗口單擊左邊的javap Application 選擇WordCount程序，然後在右側的
Arguments Program arguments 中配置運行參數（hdfs://tiger:9000/user/matt/input hdfs://tiger:9000/user/matt/output 分別對應程
序輸入目錄和輸出目錄）點擊apply，然後再在wordcount上右鍵 ->run on hadoop 程序就能運行並在eclipse中列印日誌信息了。

⑽ 如何在windows上使用eclipse遠程連接hadoop進行程序開發

由於Hadoop主要是部署和應用在Linux環境中的，但是目前鄙人自知能力有限，還無法完全把工作環境轉移到linux中去（當然還有點小私心啦，windows下那麼多好用的程序到linux下用不了還真有點心疼——比如說快播，O(∩_∩)O~），於是便想著用eclipse來遠程連接hadoop進行開發，摸索了一番，下面是其步驟：
1. 首先把hadoop-eclipse-plugin-1.0.4.jar（具體版本視你的hadoop版本而定）放到eclipse安裝目錄的plugins文件夾中，如果重新打開eclipse後看到有如下視圖，則說明你的hadoop插件已經安裝成功了：

其中的「hadoop installation directory」配置項用於指向你的hadoop安裝目錄，在windows下你只需要把下載到的hadoop-1.0.4.tar.gz包解壓到某個位置，然後指向這個位置即可。
2. 配置eclipse中的Map/Rece Locations，如下圖所示：

其中主機「master」是我在「C:\Windows\System32\drivers\etc\hosts」中自定義的主機名：
218.195.250.80 master
這時如果在eclipse中能看到如下「DFS Locations」，就說明eclipse已經成功連上遠程的hadoop了（注意，別忘了把你的視圖切換到Map/Rece視圖，而不是默認的Java視圖）：

3. 現在我們來測試《hadoop權威指導》中的MaxTemperature例子程序，建立如下三個類：

Run Configuration中的配置參數為：
hdfs://202.193.75.78:49000/user/hadoop/input/core-site.xml //輸入文件，此處有換行
hdfs://202.193.75.78:49000/user/hadoop/output5 //輸出目錄

這時如果我們運行MaxTemperature類，會報如下錯：
12/04/24 15:32:44 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
12/04/24 15:32:44 ERROR security.UserGroupInformation: PriviledgedActionException as:Administrator cause:java.io.IOException: Failed to set permissions of path: \tmp\hadoop-Administrator\mapred\staging\Administrator-519341271\.staging to 0700
Exception in thread "main" java.io.IOException: Failed to set permissions of path: \tmp\hadoop-Administrator\mapred\staging\Administrator-519341271\.staging to 0700

這個是Windows下文件許可權問題，在Linux下可以正常運行，不存在這樣的問題。
解決方法是，修改hadoop-1.0.4/src/core/org/apache/hadoop/fs/FileUtil.java裡面的checkReturnValue，注釋掉即可（有些粗暴，在Window下，可以不用檢查）：
重新編譯打包hadoop-core-1.0.4.jar，替換掉hadoop-1.0.4根目錄下的hadoop-core-1.0.4.jar即可。（我重新打包的時候出了點問題，就直接以從網上下載的hadoop-core-1.0.2.jar代替hadoop-core-1.0.4.jar了，這樣也可以正常運行，下載地址：https://skydrive.live.com/?cid=cf7746837803bc50&id=CF7746837803BC50%211276）
（其實還有另一種簡單的辦法，我們只需要把hadoop-1.0.4/src/core/org/apache/hadoop/fs/FileUtil.java修改之後重新編譯過的class文件加入到原來的hadoop-core-1.0.4.jar包中代替原來的FileUtil.class文件即可，這里有一個已經做好的適合於windows環境的hadoop-core-1.0.4.jar包了，你可以直接下載）
另外，我還遇到了這么一個錯誤：
org.apache.hadoop.security.AccessControlException:Permission denied:user=Administrator,access=WRITE,inode="tmp":root:supergroup:rwxr-xr-x 。
這個錯誤有些蹊蹺，因為我已經在map/rece locations中配置了用戶名是hadoop（hadoop就是我linux上運行hadoop集群的用戶名），不知道它為什麼還是以Administrator用戶身份來方位hadoop的，解決辦法如下：
問題原因：本地用戶administrator（本機windows用戶）想要遠程操作hadoop系統，沒有許可權引起的。
解決辦法：
a、如果是測試環境，可以取消hadoop hdfs的用戶許可權檢查。打開conf/hdfs-site.xml，找到dfs.permissions屬性修改為false（默認為true）OK了。
b、修改hadoop location參數，在advanced parameter選項卡中，找到hadoop.job.ugi項，將此項改為啟動hadoop的用戶名即可。（注意第一次設置的時候可能沒有hadoop.job.ugi參數，報錯後在去看就有了。）
c、因為Eclipse使用hadoop插件提交作業時，會默認以 DrWho 身份去將作業寫入hdfs文件系統中，對應的也就是 HDFS 上的/user/hadoop , 由於 DrWho 用戶對hadoop目錄並沒有寫入許可權，所以導致異常的發生。解決方法為：放開 hadoop 目錄的許可權 ， 命令如下 ：$ hadoop fs -chmod 777