當前位置:首頁 » 操作系統 » 導入hadoop源碼

導入hadoop源碼

發布時間: 2022-04-13 20:08:54

1. hadoop項目怎麼導入eclipse

eclipse 導入hadoop 有三種方式,
1.直接找到 hadoop svn 資源庫 在資源庫中下
2.下載 hadoop 原碼文件解壓開之後 使用 maven 導入 (因為 hadoop 項目本省是使用maven 管理的)
3. 下載 hadoop maven原碼,將maven功能轉換成 eclipse 項目 ,再在eclipse 導入。

2. 你好,我編譯hadoop2.4源碼,成功之後導入eclipse中,但是怎麼還是有報錯,缺少包這類的問題呢

你把hadoop安裝目錄下的各個share目錄下的lib下的jar包導入項目,那些是hadoop依賴的jar包

3. 用maven導入hadoop源碼到eclipse中報異常

將hadoop源碼解壓到一個目錄,注意目錄層次不要太深,否則可能無法解壓。
進入hadoop-maven-plugins文件夾,執行 mvn install
返回源碼根目錄,執行 mvn eclipse:eclipse –DskipTests
eclipse在任意目錄創建新的WorkSpace
eclipse設置Maven:window->preference->maven->{Installations...;user Settings:maven\conf\settings.xml}
eclipse:File->inport->Existing Projects into WorkSpace->Hadoop源碼根目錄

4. hadoop 源代碼 從哪裡可以找到啊怎麼下載,說詳細一點謝謝

你可以用SVN軟體在這里同步到最新的代碼:
http://svn.apache.org/repos/asf/hadoop
其實你同步你研究領域的分支就可以了,全同步實在太大了。
SVN軟體可以用Tortoise SVN,使用方法一下就可以了。
當然也可以到cloudera或Yahoo!的hadoop官網的download鏈接去下載。

5. maven怎麼導入hadoop依賴包

如果你下載的是hadoop發行包,不需要的。如採用mavan管理的項目一般在項目的根目錄下都有一個pom.xml文件,如果沒有這個文件一般就不是用maven來管理的。果你下載了只是hadoop源碼,而且mavan源碼是用maven管理的需要用maven編譯。

6. 怎樣用windows eclipse 編程hadoop

1、目標:
在三台ubuntu上搭建hadoop開發環境;
在windows下利用Eclipse訪問ubuntu下的hadoop環境,進行開發;
2、軟硬體要求:
軟體: hadoop-0.20.2 ,jdk-1.6 ,操作系統 ubuntu10.10 , Eclipse3.7 ;
硬體:3台裝有ubuntu系統的機器(我使用的是在一台windows xp下利用 VMware workstation 安裝了三台ubuntu虛擬機)
3台ubuntu虛擬器使用相同的用戶名和密碼 如我的用戶名都是matt,
3、ubuntu上搭建hadoop環境
(這一步我直接省略,在網上有很多參考),搭建好後的配置文件如下:
core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/matt/HadoopInstall/tmp</value>
<description>A base for other temporary directories.</description>
</property>
<!-- file system properties -->
<property>
<name>fs.default.name</name>
<value>hdfs://tiger:9000</value>
</property>
</configuration>
mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>tiger:9001</value>
</property>
</configuration>
hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
4、在windows上安裝eclipse3.7,
首先先進行windows系統參數設置,進入C:\WINDOWS\system32\drivers\etc 將hosts中加入主機名與對應Ip的關系
tiger 192.168.200.195
lion 192.168.200.196
wolf 192.168.200.197
(這三台分別是我的三台ubuntu虛擬機的主機名和對應的IP,可以參考我之前寫的日誌VMware虛擬機與主機共享上網的設置)
在官網下載解壓eclipse3.7,然後將hadoop插件直接拷到eclipse的plugins里就可以了(hadoop0.20.2自帶的hadoop插件只能支持
eclipse3.3.2以下版本,因此這個插件是我在google中搜索的);重啟eclipse 通過點擊Window -> Open Perspective -> Other 選擇、Map/Rece,圖標是個藍色的象。就可以看到maprece視圖了;接下來進行設置maprece開發環境,在
eclipse下端,控制台旁邊會多一個Tab,叫「Map/Rece Locations」,在下面空白的地方點右鍵,選擇「New Hadoop location...」,
彈出配置框

其中Location name可以隨便起,Map/Rece Master要與你的mapered-site.xml對應,DFS與core-site.xml對應,User name是
unbuntu中搭建hadoop環境的用戶名;接下來設置advanced parameter,裡面主要注意的是 hadoop.tmp.dir(要與配置文件中的臨時
目錄一致) 和 hadoop.job.ugi(hadoop環境的用戶名和組名 在這里就是 matt ,matt)這個變數名可能在剛開始時不存在,沒有關系
先配置好其他的,確認保存。這時打開project Explorer就可以看到DFS Location了

如果在第一次沒有hadoop.job.ugi變數的配置時在/hadoop/mapred/system下你是沒有查看許可權的 也就是查看不
到/matt/HadoopInstall/tmp這個目錄,也不能進行刪除文件操作,這時再打開advanced parameter,將值配置為上面提到的對應值就
好了(matt,matt);到這里整個配置部分就ok了;
5、運行第一個程序wordcount
在 project Explorer中右鍵->new ->maprece project 然後點擊 configure Hadoop install directory 瀏覽到 hadoop0.20.2文件夾
下,這樣project就會自動把hadoop下的jar包導入到工程,然後把hadoop自帶的wordcount源碼復制到project src目錄下(注意包名要
一致)然後右鍵 Run As -> Run configuration ,彈出配置窗口單擊左邊的javap Application 選擇WordCount程序,然後在右側的
Arguments Program arguments 中配置運行參數(hdfs://tiger:9000/user/matt/input hdfs://tiger:9000/user/matt/output 分別對應程
序輸入目錄和輸出目錄)點擊apply,然後再在wordcount上右鍵 ->run on hadoop 程序就能運行並在eclipse中列印日誌信息了。

7. 如何將hadoop源碼導入intellj idea

(1)准備工作 1) 安裝JDK 6或者JDK 7 2) 安裝scala 2.10.x (注意版本) 2)下載Intellij IDEA最新版(本文以IntelliJ IDEA Community Edition 13.1.1為例說明,不同版本,界面布局可能不同)

8. 如何把hadoop源碼關聯到eclipse工程中

操作步驟如下:

1、解壓源碼

首先,在windows下使用winRar把hadoop-1.0.4.tar.gz解壓,如圖所示:

9. 如何在eclipse里方便的讀hadoop源碼

  1. 導入查看hadoop源碼(1)選擇Existing Projects into Workspace (2)選擇源碼路徑 (3)查看源碼 這樣就完成了全部的內容。

  2. 閱讀hadoop源碼其中比較常用的Open Call Hierarchy:用Open Call Hierarchy可以查看方法的調用層次。


熱點內容
mysql創建表的sql語句 發布:2024-09-29 04:24:46 瀏覽:329
protues用什麼編譯器 發布:2024-09-29 04:04:12 瀏覽:421
bab編程 發布:2024-09-29 03:48:58 瀏覽:933
魔獸世界伺服器新是什麼意思 發布:2024-09-29 03:43:48 瀏覽:390
吉利博越自動擋哪個配置最好 發布:2024-09-29 03:43:26 瀏覽:761
伺服器出現故障碼怎麼解決 發布:2024-09-29 03:40:50 瀏覽:182
公費訪問學者 發布:2024-09-29 03:33:12 瀏覽:309
雲主機源碼 發布:2024-09-29 03:18:28 瀏覽:664
cspython 發布:2024-09-29 02:58:07 瀏覽:738
下載加密日記軟體 發布:2024-09-29 02:58:07 瀏覽:800