hadoop220源碼
Ⅰ 如何使用Maven構建《hadoop權威指南3》隨書的源碼包
《hadoop:the definitive guide 3th》中的例子默認提供了一種編譯和構建jar包方法——maven,如果沒有maven你會發現編譯測試隨書的源碼會非常的麻煩(至少在命令行下),當然你也可以使用eclipse導入隨書的源碼再自己一個個的添加依賴性jar包(恐怕也不太容易)。不過還好有非常好的開源的軟體項目管理工具來幫助我們做這些無關於程序本身設計與架構的瑣碎的工作,那就是maven!
如果你對maven還不太了解,可以參看這里。
《hadoop:the definitive guide 3th》的源碼包可以從github中下載到,如下圖所示:
下面我們就可以切換到本書的源文件包的根目錄下使用maven來構建本書的jar包了:
% mvn package -DskipTests -Dhadoop.version=1.0.4
執行過這條命令後就是很長時間的等待,maven會到他的中央倉庫和apache的倉庫中下載所需要的jar包和pom.xml文件(這個過程可能要持續大約一個小時,要確保你的電腦已經連上網路,下載完成後在~/.m2/repository文件夾中——也即本地倉庫——可以看到已經下載下來的jar包和pom文件),然後再逐個構建根目錄下pom.xml中配置的moles,等所有的工作做完就可以看到已經打包的各個jar包,從而可以很方便的在命令行使用hadoop命令測試書中的代碼了。
Ⅱ 為什麼編譯 hadoop 源碼
編譯了hadoop,可以方便的查看某個函數的實現。如果不編譯就只是自己去翻源代碼了。更重要的是如果你編譯了hadoop,你可以根據自己的需要改動hadoop的某些實現機制。(hadoop開源的好處)
Ⅲ 從那裡可以找到並下載開源軟體的源代碼越詳細越好。謝謝了
從那裡可以找到並下載開源軟體的源代碼?越詳細越好。謝謝了
google code和soure fe是兩個最大的開源軟體平台,許多開源項目都架在上面。
我玩了一段時間的ubuntu,常常在上面下載軟體。有一些是跨平台的,有一些則只能在linux下編譯。
源碼包的文件擴展名一般為.tar.gz或者 .tar.bz2,linux下常用的兩個打包壓縮格式,winrar也可以解壓它。
請問哪裡可以下載到開源軟體源代碼?
那個啊`~~
你去下載linux裡面很多啊~
7z,fla不是開源軟體嗎?那麼,在哪裡可以找到 源代碼?
which 7z|xargs dpkg -S|cut -d ":" -f 1|xargs apt-get source
如果樓主使用的是ubuntu,debian等系統,可以試試上面的命令,已經在我的ubuntu10.10下測試通過
或者在soure fe下載
:sourcefe./projects/sevenzip/files/7-Zip/9.20/7z920.tar.bz2/download
許多的開源項目都架在sourge fe和google code上,源碼包一般擴展名tar.bz2 ,tar.gz ,tgz等都是linux下常見的打包壓縮格式,7z為跨平台軟體,在windows,linux下都可以編譯。
怎麼從開源中國下載某開源軟體的源代碼
打開開源中國網站;
注冊、登錄;
在網站內查找關鍵詞;
再所需要的網頁下載。
其實國外也有很多類似的網站,可以搜搜。
求開源軟體ImgBurn的源代碼
:code.google./p/opensofare/downloads/detail?name=imgburn.exe&can=2&q=
在右邊欄選擇Source
官方網址::imgburn.
網站上說此軟體為免費軟體不是開源軟體。
請問哪可以下到開源軟體 Sumatra PDF的源代碼?
sf.應該有吧
何為開源軟體 開源代碼
開源的源字就是只代碼的。
開源是為了軟體共享,讓更多的人參與軟體的完善中去。當然,具體的開源宗旨的話你可以看各個開源協議的目標和宗旨。
什麼是源代碼,開源軟體
源代碼就是作者書寫的程序代碼,通常是有意義的,人能看懂匯編及高級語言代碼。
這些源代碼經過編譯器編譯鏈接後會變成由計算機能夠看懂的二進制可執行代碼,這些代碼通常人是看不懂的,當然有些也可以通過反匯編等手段一定程度上「看懂」
所謂的開源軟體,就是作者將源代碼與編譯後的可執行代碼同時發布。
一般的軟體,作者只是發布編譯後的可執行代碼,而不發布源代碼。
開源軟體怎麼看源代碼
要看作者有沒有發布此程序的源碼出來.
如果確認是開源軟體, 去作者主頁下載即可.
hadoop 源代碼 從哪裡可以找到啊?怎麼下載,說詳細一點謝謝
你可以用SVN軟體在這里同步到最新的代碼:
:svn.apache./repos/asf/hadoop
其實你同步你研究領域的分支就可以了,全同步實在太大了。
SVN軟體可以用Tortoise SVN,使用方法一下就可以了。
當然也可以到cloudera或Yahoo!的hadoop官網的download鏈接去下載。
Ⅳ hadoop 源代碼 從哪裡可以找到啊怎麼下載,說詳細一點謝謝
你可以用SVN軟體在這里同步到最新的代碼:
http://svn.apache.org/repos/asf/hadoop
其實你同步你研究領域的分支就可以了,全同步實在太大了。
SVN軟體可以用Tortoise SVN,使用方法一下就可以了。
當然也可以到cloudera或Yahoo!的hadoop官網的download鏈接去下載。
Ⅳ 如何部署hadoop分布式文件系統
一、實戰環境
系統版本:CentOS 5.8x86_64
java版本:JDK-1.7.0_25
Hadoop版本:hadoop-2.2.0
192.168.149.128namenode (充當namenode、secondary namenode和ResourceManager角色)
192.168.149.129datanode1 (充當datanode、nodemanager角色)
192.168.149.130datanode2 (充當datanode、nodemanager角色)
二、系統准備
1、Hadoop可以從Apache官方網站直接下載最新版本Hadoop2.2。官方目前是提供了linux32位系統可執行文件,所以如果需要在64位系統上部署則需要單獨下載src 源碼自行編譯。(如果是真實線上環境,請下載64位hadoop版本,這樣可以避免很多問題,這里我實驗採用的是32位版本)
1234 Hadoop
Java
2、我們這里採用三台CnetOS伺服器來搭建Hadoop集群,分別的角色如上已經註明。
第一步:我們需要在三台伺服器的/etc/hosts裡面設置對應的主機名如下(真實環境可以使用內網DNS解析)
[root@node1 hadoop]# cat /etc/hosts
# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1localhost.localdomain localhost
192.168.149.128node1
192.168.149.129node2
192.168.149.130node3
(注* 我們需要在namenode、datanode三台伺服器上都配置hosts解析)
第二步:從namenode上無密碼登陸各台datanode伺服器,需要做如下配置:
在namenode 128上執行ssh-keygen,一路Enter回車即可。
然後把公鑰/root/.ssh/id_rsa.pub拷貝到datanode伺服器即可,拷貝方法如下:
ssh--id -i .ssh/id_rsa.pub [email protected]
ssh--id -i .ssh/id_rsa.pub [email protected]
三、Java安裝配置
tar -xvzf jdk-7u25-linux-x64.tar.gz &&mkdir -p /usr/java/ ; mv /jdk1.7.0_25 /usr/java/ 即可。
安裝完畢並配置java環境變數,在/etc/profile末尾添加如下代碼:
export JAVA_HOME=/usr/java/jdk1.7.0_25/
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=$JAVE_HOME/lib/dt.jar:$JAVE_HOME/lib/tools.jar:./
保存退出即可,然後執行source /etc/profile 生效。在命令行執行java -version 如下代表JAVA安裝成功。
[root@node1 ~]# java -version
java version "1.7.0_25"
Java(TM) SE Runtime Environment (build 1.7.0_25-b15)
Java HotSpot(TM) 64-Bit Server VM (build 23.25-b01, mixed mode)
(注* 我們需要在namenode、datanode三台伺服器上都安裝Java JDK版本)
四、Hadoop版本安裝
官方下載的hadoop2.2.0版本,不用編譯直接解壓安裝就可以使用了,如下:
第一步解壓:
tar -xzvf hadoop-2.2.0.tar.gz &&mv hadoop-2.2.0/data/hadoop/
(注* 先在namenode伺服器上都安裝hadoop版本即可,datanode先不用安裝,待會修改完配置後統一安裝datanode)
第二步配置變數:
在/etc/profile末尾繼續添加如下代碼,並執行source /etc/profile生效。
export HADOOP_HOME=/data/hadoop/
export PATH=$PATH:$HADOOP_HOME/bin/
export JAVA_LIBRARY_PATH=/data/hadoop/lib/native/
(注* 我們需要在namenode、datanode三台伺服器上都配置Hadoop相關變數)
五、配置Hadoop
在namenode上配置,我們需要修改如下幾個地方:
1、修改vi /data/hadoop/etc/hadoop/core-site.xml 內容為如下:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl"href=\'#\'" Put site-specific property overrides inthisfile. -->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.149.128:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/tmp/hadoop-${user.name}</value>
<description>A base forother temporary directories.</description>
</property>
</configuration>
2、修改vi /data/hadoop/etc/hadoop/mapred-site.xml內容為如下:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl"href=\'#\'" Put site-specific property overrides inthisfile. -->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>192.168.149.128:9001</value>
</property>
</configuration>
3、修改vi /data/hadoop/etc/hadoop/hdfs-site.xml內容為如下:
<?xml version="1.0"encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl"href=\'#\'" /name>
<value>/data/hadoop/data_name1,/data/hadoop/data_name2</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/data/hadoop/data_1,/data/hadoop/data_2</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
4、在/data/hadoop/etc/hadoop/hadoop-env.sh文件末尾追加JAV_HOME變數:
echo "export JAVA_HOME=/usr/java/jdk1.7.0_25/">> /data/hadoop/etc/hadoop/hadoop-env.sh
5、修改 vi /data/hadoop/etc/hadoop/masters文件內容為如下:
192.168.149.128
6、修改vi /data/hadoop/etc/hadoop/slaves文件內容為如下:
192.168.149.129
192.168.149.130
如上配置完畢,以上的配置具體含義在這里就不做過多的解釋了,搭建的時候不明白,可以查看一下相關的官方文檔。
如上namenode就基本搭建完畢,接下來我們需要部署datanode,部署datanode相對簡單,執行如下操作即可。
1 fori in`seq 129130` ; doscp -r /data/hadoop/ [email protected].$i:/data/ ; done
自此整個集群基本搭建完畢,接下來就是啟動hadoop集群了。