dnsmasq源碼
1. 如何基於Docker快速搭建多節點Hadoop集群
Docker最核心的特性之一，就是能夠將任何應用包括Hadoop打包到Docker鏡像中。這篇教程介紹了利用Docker在單機上快速搭建多
節點Hadoop集群的詳細步驟。作者在發現目前的Hadoopon
Docker項目所存在的問題之後，開發了接近最小化的Hadoop鏡像，並且支持快速搭建任意節點數的Hadoop集群。
一.項目簡介
GitHub:kiwanlau/hadoop-cluster-docker
直接用機器搭建Hadoop集群是一個相當痛苦的過程，尤其對初學者來說。他們還沒開始跑wordcount，可能就被這個問題折騰的體無完膚了。而且也不是每個人都有好幾台機器對吧。你可以嘗試用多個虛擬機搭建，前提是你有個性能杠杠的機器。
我的目標是將Hadoop集群運行在Docker容器中，使Hadoop開發者能夠快速便捷地在本機搭建多節點的Hadoop集群。其實這個想法已
經有了不少實現，但是都不是很理想，他們或者鏡像太大，或者使用太慢，或者使用了第三方工具使得使用起來過於復雜。下表為一些已知的Hadoopon
Docker項目以及其存在的問題。
我的項目參考了alvinhenrick/hadoop-mutinode項目，不過我做了大量的優化和重構。alvinhenrick/hadoop-mutinode項目的GitHub主頁以及作者所寫的博客地址如下：
GitHub：Hadoop(YARN)MultinodeClusterwithDocker
博客：Hadoop(YARN)MultinodeClusterwithDocker
下面兩個表是alvinhenrick/hadoop-mutinode項目與我的kiwenlau/hadoop-cluster-docker項目的參數對比：
可知，我主要優化了這樣幾點：
更小的鏡像大小
更快的構造時間
更少的鏡像層數
更快更方便地改變Hadoop集群節點數目
另外，alvinhenrick/hadoop-mutinode項目增加節點時需要手動修改Hadoop配置文件然後重新構建hadoop-
nn-dn
鏡像,然後修改容器啟動腳本，才能實現增加節點的功能。而我通過shell腳本實現自動話，不到1分鍾可以重新構建hadoop-master鏡像，然後
立即運行!本項目默認啟動3個節點的Hadoop集群，支持任意節點數的Hadoop集群。
另外，啟動Hadoop，運行wordcount以及重新構建鏡像都採用了shell腳本實現自動化。這樣使得整個項目的使用以及開發都變得非常方便快捷。
開發測試環境
操作系統：ubuntu14.04和ubuntu12.04
內核版本:3.13.0-32-generic
Docker版本：1.5.0和1.6.2
小夥伴們，硬碟不夠，內存不夠，尤其是內核版本過低會導致運行失敗。
二.鏡像簡介
本項目一共開發了4個鏡像：
serf-dnsmasq
hadoop-base
hadoop-master
hadoop-slave
serf-dnsmasq鏡像
基於ubuntu:15.04(選它是因為它最小，不是因為它最新)
安裝serf:serf是一個分布式的機器節點管理工具。它可以動態地發現所有Hadoop集群節點。
安裝dnsmasq:dnsmasq作為輕量級的DNS伺服器。它可以為Hadoop集群提供域名解析服務。
容器啟動時，master節點的IP會傳給所有slave節點。serf會在container啟動後立即啟動。slave節點上的serf
agent會馬上發現master節點(master
IP它們都知道嘛)，master節點就馬上發現了所有slave節點。然後它們之間通過互相交換信息，所有節點就能知道其他所有節點的存在了。
(Everyonewillknow
Everyone)。serf發現新的節點時，就會重新配置dnsmasq，然後重啟dnsmasq。所以dnsmasq就能夠解析集群的所有節點的域名
啦。這個過程隨著節點的增加會耗時更久，因此，若配置的Hadoop節點比較多，則在啟動容器後需要測試serf是否發現了所有節點，DNS是否能夠解析
所有節點域名。稍等片刻才能啟動Hadoop。這個解決方案是由SequenceIQ公司提出的，該公司專注於將Hadoop運行在Docker中。參考
這個演講稿。
hadoop-base鏡像
基於serf-dnsmasq鏡像
安裝JDK(OpenJDK)
安裝openssh-server，配置無密碼SSH
安裝vim：介樣就可以愉快地在容器中敲代碼了
安裝Hadoop2.3.0:安裝編譯過的Hadoop(2.5.2，2.6.0，2.7.0都比2.3.0大，所以我懶得升級了)
另外，編譯Hadoop的步驟請參考我的博客。
如果需要重新開發我的hadoop-base,需要下載編譯過的hadoop-2.3.0安裝包，放到hadoop-cluster-docker/hadoop-base/files目錄內。我編譯的64位hadoop-2.3.0下載地址：
另外，我還編譯了64位的Hadoop2.5.2、2.6.0,、2.7.0,其下載地址如下：
hadoop-2.3.0:
hadoop-2.5.2:
hadoop-2.6.0:
hadoop-2.7.0:
hadoop-master鏡像
基於hadoop-base鏡像
配置hadoop的master節點
格式化namenode
這一步需要配置slaves文件，而slaves文件需要列出所有節點的域名或者IP。因此，Hadoop節點數目不同時，slaves文件自然也
不一樣。因此，更改Hadoop集群節點數目時，需要修改slaves文件然後重新構建hadoop-master鏡像。我編寫了一個resize-
cluster.sh腳本自動化這一過程。僅需給定節點數目作為腳本參數就可以輕松實現Hadoop集群節點數目的更改。由於hadoop-master
鏡像僅僅做一些配置工作，也無需下載任何文件，整個過程非常快，1分鍾就足夠了。
hadoop-slave鏡像
基於hadoop-base鏡像
配置hadoop的slave節點
鏡像大小分析
下表為sudodockerimages的運行結果：
易知以下幾個結論：
serf-dnsmasq鏡像在ubuntu:15.04鏡像的基礎上增加了75.4MB
hadoop-base鏡像在serf-dnsmasq鏡像的基礎上增加了570.7MB
hadoop-master和hadoop-slave鏡像在hadoop-base鏡像的基礎上大小幾乎沒有增加
下表為sudodockerhistoryindex.alauda.cn/kiwenlau/hadoop-base:0.1.0的部分運行結果
可知：
基礎鏡像ubuntu:15.04為131.3MB
安裝OpenJDK需要324.6MB
安裝Hadoop需要158.5MB
Ubuntu、OpenJDK與Hadoop均為鏡像所必須，三者一共佔了614.4MB
因此，我所開發的hadoop鏡像以及接近最小，優化空間已經很小了。
三.3節點Hadoop集群搭建步驟
1.拉取鏡像
sudodockerpullindex.alauda.cn/kiwenlau/hadoop-master:0.1.0sudodockerpullindex.alauda.cn/kiwenlau/hadoop-slave:0.1.0sudodockerpullindex.alauda.cn/kiwenlau/hadoop-base:0.1.0sudodockerpullindex.alauda.cn/kiwenlau/serf-dnsmasq:0.1.0
3~5分鍾OK~也可以直接從我的DokcerHub倉庫中拉取鏡像，這樣就可以跳過第2步：
sudodockerpullkiwenlau/hadoop-master:0.1.0sudodockerpullkiwenlau/hadoop-slave:0.1.0sudodockerpullkiwenlau/hadoop-base:0.1.0sudodockerpullkiwenlau/serf-dnsmasq:0.1.0
查看下載的鏡像：
sudodockerimages
運行結果：
其中hadoop-base鏡像是基於serf-dnsmasq鏡像的，hadoop-slave鏡像和hadoop-master鏡像都是基於hadoop-base鏡像。所以其實4個鏡像一共也就777.4MB。
2.修改鏡像tag
/hadoop-slave:0.1./hadoop-master:0.1./hadoop-base:0.1./serf-dnsmasq:0.1.0
查看修改tag後鏡像：
sudodockerimages
運行結果：
之所以要修改鏡像，是因為我默認是將鏡像上傳到Dockerhub,
因此Dokerfile以及shell腳本中得鏡像名稱都是沒有alauada前綴的，sorryfor
this....不過改tag還是很快滴。若直接下載我在DockerHub中的鏡像，自然就不需要修改tag...不過Alauda鏡像下載速度很快的
哈~
3.下載源代碼
gitclonehttps://github.com/kiwenlau/hadoop-cluster-docker
為了防止GitHub被XX，我把代碼導入到了開源中國的Git倉庫：
gitclonehttp://git.oschina.net/kiwenlau/hadoop-cluster-docker
4.運行容器
cdhadoop-cluster-docker./start-container.sh
運行結果：
startmastercontainer...startslave1container...startslave2container...root@master:~#
一共開啟了3個容器，1個master,2個slave。開啟容器後就進入了master容器root用戶的根目錄(/root)。
查看master的root用戶家目錄的文件：
ls
運行結果：
hdfsrun-wordcount.shserf_logstart-hadoop.shstart-ssh-serf.sh
start-hadoop.sh是開啟hadoop的shell腳本，run-wordcount.sh是運行wordcount的shell腳本，可以測試鏡像是否正常工作。
5.測試容器是否正常啟動(此時已進入master容器)
查看hadoop集群成員：
serfmembers
運行結果：
master.kiwenlau.com172.17.0.65:7946aliveslave1.kiwenlau.com172.17.0.66:7946aliveslave2.kiwenlau.com172.17.0.67:7946alive
若結果缺少節點，可以稍等片刻，再執行「serfmembers」命令。因為serfagent需要時間發現所有節點。
測試ssh：
sshslave2.kiwenlau.com
運行結果：
Warning:Permanentlyadded'slave2.kiwenlau.com,172.17.0.67'(ECDSA)tothelistofknownhosts.WelcometoUbuntu15.04(GNU/linux3.13.0-53-genericx86_64)*Documentation:https://help.ubuntu.com/;n/usr/share/doc/*/right.,.root@slave2:~#
退出slave2：
exit
運行結果：
logoutConnectiontoslave2.kiwenlau.comclosed.
若ssh失敗，請稍等片刻再測試，因為dnsmasq的dns伺服器啟動需要時間。測試成功後，就可以開啟Hadoop集群了!其實你也可以不進行測試，開啟容器後耐心等待一分鍾即可!
6.開啟Hadoop
./start-hadoop.sh
上一步ssh到slave2之後，請記得回到master啊!運行結果太多，忽略，Hadoop的啟動速度取決於機器性能....
7.運行wordcount
./run-wordcount.sh
運行結果：
inputfile1.txt:HelloHadoopinputfile2.txt:HelloDockerwordcountoutput:Docker1Hadoop1Hello2
wordcount的執行速度取決於機器性能....
四.N節點Hadoop集群搭建步驟
1.准備工作
參考第二部分1~3：下載鏡像，修改tag，下載源代碼
注意，你可以不下載serf-dnsmasq，但是請最好下載hadoop-base，因為hadoop-master是基於hadoop-base構建的。
2.重新構建hadoop-master鏡像
./resize-cluster.sh5
不要擔心，1分鍾就能搞定
你可以為resize-cluster.sh腳本設不同的正整數作為參數數1,2,3,4,5,6...
3.啟動容器
./start-container.sh5
你可以為resize-cluster.sh腳本設不同的正整數作為參數數1,2,3,4,5,6...
這個參數呢，最好還是得和上一步的參數一致:)
這個參數如果比上一步的參數大，你多啟動的節點，Hadoop不認識它們..
這個參數如果比上一步的參數小，Hadoop覺得少啟動的節點掛掉了..
4.測試工作
參考第三部分5~7：測試容器，開啟Hadoop，運行wordcount
請注意，若節點增加，請務必先測試容器，然後再開啟Hadoop,因為serf可能還沒有發現所有節點，而dnsmasq的DNS伺服器表示還沒有配置好服務
2. 從零開始怎麼寫android native service
在Android裡面，init程序會解析 Init.rc文件，然後啟動很多Native Service。如何查看這些service的狀態呢，查看init的源代碼，發現所有的native service的信息都會保存到系統屬性裡面。這樣就可以用下面的命令查看各個Service的狀態。
# getprop |grep init.svc
getprop |grep init.svc
[init.svc.servicemanager]: [running]
[init.svc.vold]: [running]
[init.svc.netd]: [running]
[init.svc.debuggerd]: [running]
[init.svc.omsril-daemon]: [running]
[init.svc.sdm]: [running]
[init.svc.zygote]: [running]
[init.svc.media]: [running]
[init.svc.dbus]: [running]
[init.svc.installd]: [running]
[init.svc.keystore]: [running]
[init.svc.lapisrv]: [running]
[init.svc.console]: [running]
[init.svc.tcmd-autolaunch]: [stopped]
[init.svc.tel]: [stopped]
[init.svc.pxa920-setup]: [stopped]
[init.svc.logcat]: [running]
[init.svc.logcat-radio]: [running]
[init.svc.dnsmasq]: [running]
[init.svc.powerpolicy]: [stopped]
[init.svc.adbd]: [running]
[init.svc.telserver]: [stopped]
[init.svc.bootanim]: [stopped]
[init.svc.fmradiod]: [stopped]
[init.svc.wpa_supplicant]: [running]
[init.svc.dhcpcd]: [running]
3. 如何編譯 dnsmasq
一、將log記錄到syslog中
開啟之後，dnsmasq源代碼中自帶的調試信息會記錄到syslog中，此方式依賴於syslog功能，命令如下：
dnsmasq --addn-host=/var/dnsmasq.hosts --log-queries
二、將log記錄到文件中
開啟之後，dnsmasq源代碼中自帶的調試信息會記錄到指定的文件中，命令如下：
dnsmasq --addn-host=/var/dnsmasq.hosts --log-facility /tmp/dnsmasq.log --log-queries
三、增加自己的列印到串口中
如果源碼自帶的調試列印不能滿足需求，需要增加自己的列印，直接列印到串口，命令如下：
dnsmasq --addn-host=/var/dnsmasq.hosts --no-daemon
此命令指定前台運行，如果要後台，需要增加&
4. 如何基於Docker快速搭建多節點Hadoop集群
一.項目簡介
GitHub:kiwanlau/hadoop-cluster-docker
直接用機器搭建Hadoop集群是一個相當痛苦的過程，尤其對初學者來說。他們還沒開始跑wordcount，可能就被這個問題折騰的體無完膚了。而且也不是每個人都有好幾台機器對吧。你可以嘗試用多個虛擬機搭建，前提是你有個性能杠杠的機器。
我的目標是將Hadoop集群運行在Docker容器中，使Hadoop開發者能夠快速便捷地在本機搭建多節點的Hadoop集群。其實這個想法已
經有了不少實現，但是都不是很理想，他們或者鏡像太大，或者使用太慢，或者使用了第三方工具使得使用起來過於復雜。下表為一些已知的Hadoopon
Docker項目以及其存在的問題。
我的項目參考了alvinhenrick/hadoop-mutinode項目，不過我做了大量的優化和重構。alvinhenrick/hadoop-mutinode項目的GitHub主頁以及作者所寫的博客地址如下：
GitHub：Hadoop(YARN)MultinodeClusterwithDocker
博客：Hadoop(YARN)MultinodeClusterwithDocker
下面兩個表是alvinhenrick/hadoop-mutinode項目與我的kiwenlau/hadoop-cluster-docker項目的參數對比：
可知，我主要優化了這樣幾點：
更小的鏡像大小
更快的構造時間
更少的鏡像層數
更快更方便地改變Hadoop集群節點數目
另外，alvinhenrick/hadoop-mutinode項目增加節點時需要手動修改Hadoop配置文件然後重新構建hadoop-
nn-dn
鏡像,然後修改容器啟動腳本，才能實現增加節點的功能。而我通過shell腳本實現自動話，不到1分鍾可以重新構建hadoop-master鏡像，然後
立即運行!本項目默認啟動3個節點的Hadoop集群，支持任意節點數的Hadoop集群。
另外，啟動Hadoop，運行wordcount以及重新構建鏡像都採用了shell腳本實現自動化。這樣使得整個項目的使用以及開發都變得非常方便快捷。
開發測試環境
操作系統：ubuntu14.04和ubuntu12.04
內核版本:3.13.0-32-generic
Docker版本：1.5.0和1.6.2
小夥伴們，硬碟不夠，內存不夠，尤其是內核版本過低會導致運行失敗。
二.鏡像簡介
本項目一共開發了4個鏡像：
serf-dnsmasq
hadoop-base
hadoop-master
hadoop-slave
serf-dnsmasq鏡像
基於ubuntu:15.04(選它是因為它最小，不是因為它最新)
安裝serf:serf是一個分布式的機器節點管理工具。它可以動態地發現所有Hadoop集群節點。
安裝dnsmasq:dnsmasq作為輕量級的DNS伺服器。它可以為Hadoop集群提供域名解析服務。
容器啟動時，master節點的IP會傳給所有slave節點。serf會在container啟動後立即啟動。slave節點上的serf
agent會馬上發現master節點(master
IP它們都知道嘛)，master節點就馬上發現了所有slave節點。然後它們之間通過互相交換信息，所有節點就能知道其他所有節點的存在了。
(Everyonewillknow
Everyone)。serf發現新的節點時，就會重新配置dnsmasq，然後重啟dnsmasq。所以dnsmasq就能夠解析集群的所有節點的域名
啦。這個過程隨著節點的增加會耗時更久，因此，若配置的Hadoop節點比較多，則在啟動容器後需要測試serf是否發現了所有節點，DNS是否能夠解析
所有節點域名。稍等片刻才能啟動Hadoop。這個解決方案是由SequenceIQ公司提出的，該公司專注於將Hadoop運行在Docker中。參考
這個演講稿。
hadoop-base鏡像
基於serf-dnsmasq鏡像
安裝JDK(OpenJDK)
安裝openssh-server，配置無密碼SSH
安裝vim：介樣就可以愉快地在容器中敲代碼了
安裝Hadoop2.3.0:安裝編譯過的Hadoop(2.5.2，2.6.0，2.7.0都比2.3.0大，所以我懶得升級了)
另外，編譯Hadoop的步驟請參考我的博客。
如果需要重新開發我的hadoop-base,需要下載編譯過的hadoop-2.3.0安裝包，放到hadoop-cluster-docker/hadoop-base/files目錄內。我編譯的64位hadoop-2.3.0下載地址：
另外，我還編譯了64位的Hadoop2.5.2、2.6.0,、2.7.0,其下載地址如下：
hadoop-2.3.0:
hadoop-2.5.2:
hadoop-2.6.0:
hadoop-2.7.0:
hadoop-master鏡像
基於hadoop-base鏡像
配置hadoop的master節點
格式化namenode
這一步需要配置slaves文件，而slaves文件需要列出所有節點的域名或者IP。因此，Hadoop節點數目不同時，slaves文件自然也
不一樣。因此，更改Hadoop集群節點數目時，需要修改slaves文件然後重新構建hadoop-master鏡像。我編寫了一個resize-
cluster.sh腳本自動化這一過程。僅需給定節點數目作為腳本參數就可以輕松實現Hadoop集群節點數目的更改。由於hadoop-master
鏡像僅僅做一些配置工作，也無需下載任何文件，整個過程非常快，1分鍾就足夠了。
hadoop-slave鏡像
基於hadoop-base鏡像
配置hadoop的slave節點
鏡像大小分析
下表為sudodockerimages的運行結果：
易知以下幾個結論：
serf-dnsmasq鏡像在ubuntu:15.04鏡像的基礎上增加了75.4MB
hadoop-base鏡像在serf-dnsmasq鏡像的基礎上增加了570.7MB
hadoop-master和hadoop-slave鏡像在hadoop-base鏡像的基礎上大小幾乎沒有增加
下表為sudodockerhistoryindex.alauda.cn/kiwenlau/hadoop-base:0.1.0的部分運行結果
可知：
基礎鏡像ubuntu:15.04為131.3MB
安裝OpenJDK需要324.6MB
安裝Hadoop需要158.5MB
Ubuntu、OpenJDK與Hadoop均為鏡像所必須，三者一共佔了614.4MB
因此，我所開發的hadoop鏡像以及接近最小，優化空間已經很小了。
三.3節點Hadoop集群搭建步驟
1.拉取鏡像
sudodockerpullindex.alauda.cn/kiwenlau/hadoop-master:0.1.0sudodockerpullindex.alauda.cn/kiwenlau/hadoop-slave:0.1.0sudodockerpullindex.alauda.cn/kiwenlau/hadoop-base:0.1.0sudodockerpullindex.alauda.cn/kiwenlau/serf-dnsmasq:0.1.0
3~5分鍾OK~也可以直接從我的DokcerHub倉庫中拉取鏡像，這樣就可以跳過第2步：
sudodockerpullkiwenlau/hadoop-master:0.1.0sudodockerpullkiwenlau/hadoop-slave:0.1.0sudodockerpullkiwenlau/hadoop-base:0.1.0sudodockerpullkiwenlau/serf-dnsmasq:0.1.0
查看下載的鏡像：
sudodockerimages
運行結果：
其中hadoop-base鏡像是基於serf-dnsmasq鏡像的，hadoop-slave鏡像和hadoop-master鏡像都是基於hadoop-base鏡像。所以其實4個鏡像一共也就777.4MB。
2.修改鏡像tag
/hadoop-slave:0.1./hadoop-master:0.1./hadoop-base:0.1./serf-dnsmasq:0.1.0
查看修改tag後鏡像：
sudodockerimages
運行結果：
之所以要修改鏡像，是因為我默認是將鏡像上傳到Dockerhub,
因此Dokerfile以及shell腳本中得鏡像名稱都是沒有alauada前綴的，sorryfor
this....不過改tag還是很快滴。若直接下載我在DockerHub中的鏡像，自然就不需要修改tag...不過Alauda鏡像下載速度很快的
哈~
3.下載源代碼
gitclonehttps://github.com/kiwenlau/hadoop-cluster-docker
為了防止GitHub被XX，我把代碼導入到了開源中國的Git倉庫：
gitclonehttp://git.oschina.net/kiwenlau/hadoop-cluster-docker
4.運行容器
cdhadoop-cluster-docker./start-container.sh
運行結果：
startmastercontainer...startslave1container...startslave2container...root@master:~#
一共開啟了3個容器，1個master,2個slave。開啟容器後就進入了master容器root用戶的根目錄(/root)。
查看master的root用戶家目錄的文件：
ls
運行結果：
hdfsrun-wordcount.shserf_logstart-hadoop.shstart-ssh-serf.sh
start-hadoop.sh是開啟hadoop的shell腳本，run-wordcount.sh是運行wordcount的shell腳本，可以測試鏡像是否正常工作。
5.測試容器是否正常啟動(此時已進入master容器)
查看hadoop集群成員：
serfmembers
運行結果：
master.kiwenlau.com172.17.0.65:7946aliveslave1.kiwenlau.com172.17.0.66:7946aliveslave2.kiwenlau.com172.17.0.67:7946alive
若結果缺少節點，可以稍等片刻，再執行「serfmembers」命令。因為serfagent需要時間發現所有節點。
測試ssh：
sshslave2.kiwenlau.com
運行結果：
Warning:Permanentlyadded'slave2.kiwenlau.com,172.17.0.67'(ECDSA)tothelistofknownhosts.WelcometoUbuntu15.04(GNU/Linux3.13.0-53-genericx86_64)*Documentation:https://help.ubuntu.com/;n/usr/share/doc/*/right.,.root@slave2:~#
退出slave2：
exit
運行結果：
logoutConnectiontoslave2.kiwenlau.comclosed.
若ssh失敗，請稍等片刻再測試，因為dnsmasq的dns伺服器啟動需要時間。測試成功後，就可以開啟Hadoop集群了!其實你也可以不進行測試，開啟容器後耐心等待一分鍾即可!
6.開啟Hadoop
./start-hadoop.sh
上一步ssh到slave2之後，請記得回到master啊!運行結果太多，忽略，Hadoop的啟動速度取決於機器性能....
7.運行wordcount
./run-wordcount.sh
運行結果：
inputfile1.txt:HelloHadoopinputfile2.txt:HelloDockerwordcountoutput:Docker1Hadoop1Hello2
wordcount的執行速度取決於機器性能....
四.N節點Hadoop集群搭建步驟
1.准備工作
參考第二部分1~3：下載鏡像，修改tag，下載源代碼
注意，你可以不下載serf-dnsmasq，但是請最好下載hadoop-base，因為hadoop-master是基於hadoop-base構建的。
2.重新構建hadoop-master鏡像
./resize-cluster.sh5
不要擔心，1分鍾就能搞定
你可以為resize-cluster.sh腳本設不同的正整數作為參數數1,2,3,4,5,6...
3.啟動容器
./start-container.sh5
你可以為resize-cluster.sh腳本設不同的正整數作為參數數1,2,3,4,5,6...
這個參數呢，最好還是得和上一步的參數一致:)
這個參數如果比上一步的參數大，你多啟動的節點，Hadoop不認識它們..
這個參數如果比上一步的參數小，Hadoop覺得少啟動的節點掛掉了..
4.測試工作
參考第三部分5~7：測試容器，開啟Hadoop，運行wordcount
5. 如何將dockerhub與github關聯
一.項目簡介GitHub:kiwanlau/hadoop-cluster-docker直接用機器搭建Hadoop集群是一個相當痛苦的過程，尤其對初學者來說。他們還沒開始跑wordcount，可能就被這個問題折騰的體無完膚了。而且也不是每個人都有好幾台機器對吧。你可以嘗試用多個虛擬機搭建，前提是你有個性能杠杠的機器。我的目標是將Hadoop集群運行在Docker容器中，使Hadoop開發者能夠快速便捷地在本機搭建多節點的Hadoop集群。其實這個想法已經有了不少實現，但是都不是很理想，他們或者鏡像太大，或者使用太慢，或者使用了第三方工具使得使用起來過於復雜。下表為一些已知的HadooponDocker項目以及其存在的問題。我的項目參考了alvinhenrick/hadoop-mutinode項目，不過我做了大量的優化和重構。alvinhenrick/hadoop-mutinode項目的GitHub主頁以及作者所寫的博客地址如下：GitHub：Hadoop(YARN)MultinodeClusterwithDocker博客：Hadoop(YARN)MultinodeClusterwithDocker下面兩個表是alvinhenrick/hadoop-mutinode項目與我的kiwenlau/hadoop-cluster-docker項目的參數對比：可知，我主要優化了這樣幾點：更小的鏡像大小更快的構造時間更少的鏡像層數更快更方便地改變Hadoop集群節點數目另外，alvinhenrick/hadoop-mutinode項目增加節點時需要手動修改Hadoop配置文件然後重新構建hadoop-nn-dn鏡像,然後修改容器啟動腳本，才能實現增加節點的功能。而我通過shell腳本實現自動話，不到1分鍾可以重新構建hadoop-master鏡像，然後立即運行!本項目默認啟動3個節點的Hadoop集群，支持任意節點數的Hadoop集群。另外，啟動Hadoop，運行wordcount以及重新構建鏡像都採用了shell腳本實現自動化。這樣使得整個項目的使用以及開發都變得非常方便快捷。開發測試環境操作系統：ubuntu14.04和ubuntu12.04內核版本:3.13.0-32-genericDocker版本：1.5.0和1.6.2小夥伴們，硬碟不夠，內存不夠，尤其是內核版本過低會導致運行失敗。二.鏡像簡介本項目一共開發了4個鏡像：serf-dnsmasqhadoop-basehadoop-masterhadoop-slaveserf-dnsmasq鏡像基於ubuntu:15.04(選它是因為它最小，不是因為它最新)安裝serf:serf是一個分布式的機器節點管理工具。它可以動態地發現所有Hadoop集群節點。安裝dnsmasq:dnsmasq作為輕量級的DNS伺服器。它可以為Hadoop集群提供域名解析服務。容器啟動時，master節點的IP會傳給所有slave節點。serf會在container啟動後立即啟動。slave節點上的serfagent會馬上發現master節點(masterIP它們都知道嘛)，master節點就馬上發現了所有slave節點。然後它們之間通過互相交換信息，所有節點就能知道其他所有節點的存在了。(EveryonewillknowEveryone)。serf發現新的節點時，就會重新配置dnsmasq，然後重啟dnsmasq。所以dnsmasq就能夠解析集群的所有節點的域名啦。這個過程隨著節點的增加會耗時更久，因此，若配置的Hadoop節點比較多，則在啟動容器後需要測試serf是否發現了所有節點，DNS是否能夠解析所有節點域名。稍等片刻才能啟動Hadoop。這個解決方案是由SequenceIQ公司提出的，該公司專注於將Hadoop運行在Docker中。參考這個演講稿。hadoop-base鏡像基於serf-dnsmasq鏡像安裝JDK(OpenJDK)安裝openssh-server，配置無密碼SSH安裝vim：介樣就可以愉快地在容器中敲代碼了安裝Hadoop2.3.0:安裝編譯過的Hadoop(2.5.2，2.6.0，2.7.0都比2.3.0大，所以我懶得升級了)另外，編譯Hadoop的步驟請參考我的博客。如果需要重新開發我的hadoop-base,需要下載編譯過的hadoop-2.3.0安裝包，放到hadoop-cluster-docker/hadoop-base/files目錄內。我編譯的64位hadoop-2.3.0下載地址：closed.若ssh失敗，請稍等片刻再測試，因為dnsmasq的dns伺服器啟動需要時間。測試成功後，就可以開啟Hadoop集群了!其實你也可以不進行測試，開啟容器後耐心等待一分鍾即可!6.開啟Hadoop./start-hadoop.sh上一步ssh到slave2之後，請記得回到master啊!運行結果太多，忽略，Hadoop的啟動速度取決於機器性能.7.運行wordcount./run-wordcount.sh運行結果：inputfile1.txt:HelloHadoopinputfile2.txt:HelloDockerwordcountoutput:Docker1Hadoop1Hello2wordcount的執行速度取決於機器性能.四.N節點Hadoop集群搭建步驟1.准備工作參考第二部分1~3：下載鏡像，修改tag，下載源代碼注意，你可以不下載serf-dnsmasq，但是請最好下載hadoop-base，因為hadoop-master是基於hadoop-base構建的。2.重新構建hadoop-master鏡像./resize-cluster.sh5不要擔心，1分鍾就能搞定你可以為resize-cluster.sh腳本設不同的正整數作為參數數1,2,3,4,5,63.啟動容器./start-container.sh5你可以為resize-cluster.sh腳本設不同的正整數作為參數數1,2,3,4,5,6這個參數呢，最好還是得和上一步的參數一致:)這個參數如果比上一步的參數大，你多啟動的節點，Hadoop不認識它們..這個參數如果比上一步的參數小，Hadoop覺得少啟動的節點掛掉了..4.測試工作參考第三部分5~7：測試容器，開啟Hadoop，運行wordcount
6. android源碼編譯問題請幫幫忙，該怎麼解決
build/core/executable_internal.mk這個編譯文件的第69行報錯。你看下裡面的代碼是在幹嘛？實在看不出什麼問題的話，make clean再make
7. openwrt設置奈飛分流
OpenWRT科學上網自動分流主要是利用了如下幾個工具：iptables、ipset、dnsmasq、pdnsd。
OpenWrt項目由2004年1月開始,第一個版本是基於Linksys提供的GPL源碼及uclibc中的buildroot項目,這個版本稱為"stable"版,在網上至今仍有很多項目使用這個版本,較為有名Freifunk-Firmware和Sip@Home。
8. dnscrypt和opendns能一起用嗎
DNSCrypt剛問世的時候，官方公布它只是一款Mac才能用的工具，但根據最近一篇由OpenDNS發的文章表明，雖然還沒有用戶界面，但其實當Mac版DNSCrypt推出的時候源碼已經放到了Github上了， Linux的用戶也可以安裝以及使用哦！（LCTT譯註：目前已經有DNSCrypt WinClient、DNSCrypt Windows Service Manager、DNSCrypt OSXClient 和 DNSCrypt Tools for Linux 等第三方圖形界面客戶端出現。）
為神馬要使用 DNSCrypt?
DNSCrypt可以加密您電腦與OpenDNS伺服器的所有通信，加密可以防止中間人攻擊，信息窺覷，DNS劫持。更能防止網路供應商對某些網站的封鎖。
這是世界上第一款加密DNS通信的工具，雖然TOR可以加密DNS的請求，但畢竟它們只是在出口節點加密而已。
這款工具並不需要對域名或其工作方式做任何的改變，它只是提供了個該工具的用戶與機房裡的DNS伺服器之間的加密方式而已。
您可以在GitHub的OpenSND DNSCrypt頁面閱讀更多的相關信息。
如何在Linux使用DNSCrypt
首先下載安裝DNSCrypt (LCTT譯注，安裝過程不詳述，請參照官網描述)， 然後在Terminal里輸入這個命令:
sudo /usr/sbin/dnscrypt-proxy --daemonize
然後把您的DNS伺服器調成"127.0.0.1" - 在GNOME界面下的話，只要到Network Connections（網路連接）選項然後選擇"Edit"並在"DNS servers"輸入"127.0.0.1"就好了。如果您用的是DHCP的話，請選擇Automatic (DHCP) addresses only"， 這樣的話才能輸入DNS伺服器。然後只要重連網路便可。
您可以訪問這條鏈接來測試您連接到了OpenDNS了沒。
如果您想設置開機啟動DNSCrypt，可以自建一個init的腳本，如果您用的是Ubuntu，可以參考下面的。
Arch Linux的用戶可以通過AUR來安裝DNSCrypt-proxy （內含rc.d腳本）
Ubuntu下的DNSCrypt
如果您想在Ubuntu設置開機啟動，您可以使用這個Upstart腳本。
註： 在Ubuntu 12.04版在127.0.0.1有個本地的DNS cache 伺服器（dnsmasq）在跑，所以已經把改腳本改成讓DNSCrypt使用127.0.0.2了， 所以按照上面的教程，應該把127.0.0.1換成127.0.0.2了。
要安裝此腳本請使用以下的指令（要首先解壓下下來的壓縮文件）：
sudo cp dnscrypt.conf /etc/init/
sudo ln -s /lib/init/upstart-job /etc/init.d/dnscrypt
然後用這個指令來啟動:
sudo start dnscrypt
現在DNSCrypt就應該是開機自啟了，如果您想停止的話，可以使用：
sudo stop dnscrypt
9. linux virbr0是什麼
virbr0 是一種虛擬網路介面，這是由於安裝和啟用了 libvirt 服務後生成的，libvirt 在伺服器（host）上生成一個 virtual network switch (virbr0)，host 上所有的虛擬機（guests）通過這個 virbr0 連起來。默認情況下 virbr0 使用的是 NAT 模式（採用 IP Masquerade），所以這種情況下 guest 通過 host 才能訪問外部。
拓展資料：
Linux操作系統，是一種計算機操作系統，中文讀法大致一般為「哩內克斯」，但真正的讀法應為「哩納克斯」。Linux操作系統的內核的名字也是「Linux」。Linux操作系統也是自由軟體和開放源代碼發展中最著名的例子。
簡單地說，Linux是一套免費使用和自由傳播的類Unix操作系統，它主要用於基於Intelx86系列CPU的計算機上。這個系統是由世界各地的成千上萬的程序員設計和實現的。其目的是建立不受任何商品化軟體的版權制約的、全世界都能自由使用的 Unix兼容產品。
Linux的出現，最早開始於一位名叫Linus Torvalds的計算機業余愛好者，當時他是芬蘭赫爾辛基大學的學生。他的目的是想設計一個代替Minix（是由一位名叫Andrew Tannebaum的計算機教授編寫的一個操作系統示教程序）的操作系統，這個操作系統可用於386、486或奔騰處理器的個人計算機上，並且具有 Unix操作系統的全部功能，因而開始了Linux雛形的設計。
10. 同等硬體下，windows和linux哪個更快
一般情況下Linux更快一點，這個系統一般用於伺服器，就是因為他的速度快而且是免費的系統，開放源代碼，技術人員可以隨意在其基礎上編寫符合自己要求的系統