導入hadoop源碼
1. hadoop項目怎麼導入eclipse
eclipse 導入hadoop 有三種方式,
1.直接找到 hadoop svn 資源庫 在資源庫中下
2.下載 hadoop 原碼文件解壓開之後 使用 maven 導入 (因為 hadoop 項目本省是使用maven 管理的)
3. 下載 hadoop maven原碼,將maven功能轉換成 eclipse 項目 ,再在eclipse 導入。
2. 你好,我編譯hadoop2.4源碼,成功之後導入eclipse中,但是怎麼還是有報錯,缺少包這類的問題呢
你把hadoop安裝目錄下的各個share目錄下的lib下的jar包導入項目,那些是hadoop依賴的jar包
3. 用maven導入hadoop源碼到eclipse中報異常
將hadoop源碼解壓到一個目錄,注意目錄層次不要太深,否則可能無法解壓。
進入hadoop-maven-plugins文件夾,執行 mvn install
返回源碼根目錄,執行 mvn eclipse:eclipse –DskipTests
eclipse在任意目錄創建新的WorkSpace
eclipse設置Maven:window->preference->maven->{Installations...;user Settings:maven\conf\settings.xml}
eclipse:File->inport->Existing Projects into WorkSpace->Hadoop源碼根目錄
4. hadoop 源代碼 從哪裡可以找到啊怎麼下載,說詳細一點謝謝
你可以用SVN軟體在這里同步到最新的代碼:
http://svn.apache.org/repos/asf/hadoop
其實你同步你研究領域的分支就可以了,全同步實在太大了。
SVN軟體可以用Tortoise SVN,使用方法一下就可以了。
當然也可以到cloudera或Yahoo!的hadoop官網的download鏈接去下載。
5. maven怎麼導入hadoop依賴包
如果你下載的是hadoop發行包,不需要的。如採用mavan管理的項目一般在項目的根目錄下都有一個pom.xml文件,如果沒有這個文件一般就不是用maven來管理的。果你下載了只是hadoop源碼,而且mavan源碼是用maven管理的需要用maven編譯。
6. 怎樣用windows eclipse 編程hadoop
1、目標:
在三台ubuntu上搭建hadoop開發環境;
在windows下利用Eclipse訪問ubuntu下的hadoop環境,進行開發;
2、軟硬體要求:
軟體: hadoop-0.20.2 ,jdk-1.6 ,操作系統 ubuntu10.10 , Eclipse3.7 ;
硬體:3台裝有ubuntu系統的機器(我使用的是在一台windows xp下利用 VMware workstation 安裝了三台ubuntu虛擬機)
3台ubuntu虛擬器使用相同的用戶名和密碼 如我的用戶名都是matt,
3、ubuntu上搭建hadoop環境
(這一步我直接省略,在網上有很多參考),搭建好後的配置文件如下:
core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/matt/HadoopInstall/tmp</value>
<description>A base for other temporary directories.</description>
</property>
<!-- file system properties -->
<property>
<name>fs.default.name</name>
<value>hdfs://tiger:9000</value>
</property>
</configuration>
mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>tiger:9001</value>
</property>
</configuration>
hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
4、在windows上安裝eclipse3.7,
首先先進行windows系統參數設置,進入C:\WINDOWS\system32\drivers\etc 將hosts中加入主機名與對應Ip的關系
tiger 192.168.200.195
lion 192.168.200.196
wolf 192.168.200.197
(這三台分別是我的三台ubuntu虛擬機的主機名和對應的IP,可以參考我之前寫的日誌VMware虛擬機與主機共享上網的設置)
在官網下載解壓eclipse3.7,然後將hadoop插件直接拷到eclipse的plugins里就可以了(hadoop0.20.2自帶的hadoop插件只能支持
eclipse3.3.2以下版本,因此這個插件是我在google中搜索的);重啟eclipse 通過點擊Window -> Open Perspective -> Other 選擇、Map/Rece,圖標是個藍色的象。就可以看到maprece視圖了;接下來進行設置maprece開發環境,在
eclipse下端,控制台旁邊會多一個Tab,叫「Map/Rece Locations」,在下面空白的地方點右鍵,選擇「New Hadoop location...」,
彈出配置框
其中Location name可以隨便起,Map/Rece Master要與你的mapered-site.xml對應,DFS與core-site.xml對應,User name是
unbuntu中搭建hadoop環境的用戶名;接下來設置advanced parameter,裡面主要注意的是 hadoop.tmp.dir(要與配置文件中的臨時
目錄一致) 和 hadoop.job.ugi(hadoop環境的用戶名和組名 在這里就是 matt ,matt)這個變數名可能在剛開始時不存在,沒有關系
先配置好其他的,確認保存。這時打開project Explorer就可以看到DFS Location了
如果在第一次沒有hadoop.job.ugi變數的配置時在/hadoop/mapred/system下你是沒有查看許可權的 也就是查看不
到/matt/HadoopInstall/tmp這個目錄,也不能進行刪除文件操作,這時再打開advanced parameter,將值配置為上面提到的對應值就
好了(matt,matt);到這里整個配置部分就ok了;
5、運行第一個程序wordcount
在 project Explorer中右鍵->new ->maprece project 然後點擊 configure Hadoop install directory 瀏覽到 hadoop0.20.2文件夾
下,這樣project就會自動把hadoop下的jar包導入到工程,然後把hadoop自帶的wordcount源碼復制到project src目錄下(注意包名要
一致)然後右鍵 Run As -> Run configuration ,彈出配置窗口單擊左邊的javap Application 選擇WordCount程序,然後在右側的
Arguments Program arguments 中配置運行參數(hdfs://tiger:9000/user/matt/input hdfs://tiger:9000/user/matt/output 分別對應程
序輸入目錄和輸出目錄)點擊apply,然後再在wordcount上右鍵 ->run on hadoop 程序就能運行並在eclipse中列印日誌信息了。
7. 如何將hadoop源碼導入intellj idea
(1)准備工作 1) 安裝JDK 6或者JDK 7 2) 安裝scala 2.10.x (注意版本) 2)下載Intellij IDEA最新版(本文以IntelliJ IDEA Community Edition 13.1.1為例說明,不同版本,界面布局可能不同)
8. 如何把hadoop源碼關聯到eclipse工程中
操作步驟如下:
1、解壓源碼
首先,在windows下使用winRar把hadoop-1.0.4.tar.gz解壓,如圖所示:
9. 如何在eclipse里方便的讀hadoop源碼
導入查看hadoop源碼(1)選擇Existing Projects into Workspace (2)選擇源碼路徑 (3)查看源碼 這樣就完成了全部的內容。
閱讀hadoop源碼其中比較常用的Open Call Hierarchy:用Open Call Hierarchy可以查看方法的調用層次。