cdh資料庫

① 為什麼安裝cdh需要安裝mysql

你需要先使用mysql鏈接mysqld（第一步開啟的服務端），之後手動創建blog_db資料庫，rails是不會自動創建mysql的資料庫的（裡面的各個表你不需要創建，這是active_record的工作）。
看你error
log應該是mysqld沒運行！

② cdh集群角色如何合理分配

如無特殊情況（如指定資料庫安裝節點等），採用默認分配就可以了。CDH的默認分配會考慮到你集群的狀況的

③ cdh5 flume只是從kafka接收數據么

1，hadoop是大數據分析的完整生態系統，從數據採集，存儲，分析，轉運，再到頁面展示，構成了整個流程採集可以用flume，存儲用hbase，hdfs，mangodb就相當於hbase，分析用Maprece自己寫演算法，還有hive做數據倉庫，pig做數據流處理，轉儲方面有sqoop，可以將hdfs中的數據轉換存儲到mysql，oracle等傳統資料庫，這就構成了一整套大數據分析的整個流程2，mangodb只是充當存儲功能，是一款nosql資料庫，支持以json的格式存儲3，所以從功能上來講，hadoop和mangodb是不一樣的，hadoop中可以用mangodb替換hbase，但是mangodb不能替換hadoop，一個是完整的生態系統，一個是資料庫，兩個不一樣的概念4，至於選擇用mangodb還是hbase，各有優劣，不過使用較多的還是hbase，mangodb社區沒有hbase活躍，所以還是hbase吧

④ cdh 5.2怎麼修改hive元資料庫

修改 hive 的元資料庫需要修改 hive-site.xml配置文件，比如我們使用mysql資料庫修改其配置如下所示：
< property>
< name>javax.jdo.option.ConnectionDriverName< /name>
< value>com.mysql.jdbc.Driver< /value>
< description>Driver class name for a JDBC metastore< /description>
< /property>

< property>
< name>javax.jdo.option.ConnectionURL< /name>
< value>jdbc:mysql://dajiangtai.com:3306/hive?characterEncoding=UTF-8< /value>
< description>JDBC connect string for a JDBC metastore< /description>
< /property>

< property>
< name>javax.jdo.option.ConnectionUserName< /name>
< value>hive< /value>
< description>Username to use against metastore database< /description>
< /property>

< property>
< name>javax.jdo.option.ConnectionPassword< /name>
< value>hive< /value>
< description>password to use against metastore database< /description>
< /property>

⑤ 如何進入cloudera的scm資料庫

在採用Cloudera-Manager安裝cdh時，通常使用內嵌的PostgreSQL資料庫。
Cloudera-Manager除了保存CDH集群的配置元數據的scm資料庫外，還為Activity Monitor（活動監控）、Service Monitor（服務監控）、Report Manager（報告管理）、Host Monitor（主機監控）、Cloudera Navigator（Cloudera導航）等信息分別創建數據amon、smon、rmon、hmon、nav相應的數據。

⑥ 如何將在CDH清洗好的數據存入到資料庫里

1. 有個連接資料庫的jar包用來驅動

2. 2.連接資料庫，具體代碼網上有，主要就是設置資料庫類型，名字，用戶名，密碼之類的

3. 3.調用連接，寫入數據，

4. Connection con=new Connection();

5. String sql="insert into 表名 (列名1,列名2) values(值1,值2)";

6. PreparedStatement ps=con.getPerpareStatment();
   

⑦ CDH版的hadoop有沒有源碼提供

首先，不得不說，hadoop發展到現在這個階段，代碼已經變得非常龐大臃腫，如果你直接閱讀最新版本的源代碼，難度比較大，需要足夠的耐心和時間，所以，如果你覺得認真一次，認真閱讀一次hadoop源代碼，一定要有足夠的心理准備和時間預期。 其次，需要注意，閱讀Hadoop源代碼的效率，因人而異，如果你有足夠的分布式系統知識儲備，看過類似的系統，則能夠很快地讀它的源代碼進行通讀，並快速切入你最關注的局部細節，比如你之前看過某個分布式資料庫的源代碼，對分布式系統的網路通信模塊，調度模塊等有一定了解，這對閱讀hadoop源代碼有極大幫助；如果你是一個初學者，對hadoop一無所知，只了解一些java語法，那閱讀hadoop源代碼是極具挑戰的一件事情，尤其是從無到開始入門的過程，是極度煎熬和困惑的，這時候需要你在閱讀代碼過程中，不斷補充缺乏的相關知識（比如RPC，NIO，設計模式等），循序漸進，直到入門。 接下來進入主題，說一下閱讀源代碼的個人經驗。由於我也是從無到入門，再到修改源代碼，逐步過渡的，所以，對於很多人而言，具有借鑒意義。 ============ 第一個階段：學習hadoop基本使用和基本原理，從應用角度對hadoop進行了解和學習 這是第一個階段，你開始嘗試使用hadoop，從應用層面，對hadoop有一定了解，比如你可以使用hadoop shell對hdfs進行操作，使用hdfs API編寫一些程序上傳，下載文件；使用MapRece API編寫一個數據處理程序。一旦你對hadoop的基本使用方法比較熟悉了，接下來可以嘗試了解它的內部原理，注意，不需要通過閱讀源代碼了解內部原理，只需看一些博客，書籍，比如《Hadoop權威指南》，對於HDFS而言，你應該知道它的基本架構以及各個模塊的功能；對於MapRece而言，你應該知道其具體的工作流程，知道partition，shuffle，sort等工作原理，可以自己在紙上完整個畫完maprece的流程，越詳細越好。 在這個階段，建議你多看一些知名博客，多讀讀《hadoop權威指南》（可選擇性看相關的幾章）。如果你有實際項目驅動，那是再好不過了，理論聯系實際是最好的hadoop學習方法；如果你沒有項目驅動，那建議你不要自己一個人悶頭學，多跟別人交流，多主動給別人講講，最好的學習方式還是「講給別人聽」。 ============ 第二個階段：從無到入門，開始閱讀hadoop源代碼 這個階段是最困苦和漫長的，尤其對於那些沒有任何分布式經驗的人。 很多人這個階段沒有走完，就放棄了，最後停留在hadoop應用層面。 這個階段，第一件要做的事情是，選擇一個hadoop組件。如果你對分布式存儲感興趣，那麼你可以選擇HDFS，如果你讀分布式計算感興趣，你可以選擇MapRece，如果你對資源管理系統感興趣，你可以選擇YARN。 選擇好系統後，接下來的經歷是最困苦的。當你把hadoop源代碼導入eclipse或intellij idea，沏上一杯茶，開始准備優哉游哉地看hadoop源代碼時，你懵逼了：你展開那數不盡的package和class，覺得無從下手，好不容易找到了入口點，然後你屁顛屁顛地通過eclipse的查找引用功能，順著類的調用關系一層層找下去，最後迷失在了代碼的海洋中，如同你在不盡的壓棧，最後棧溢出了，你忘記在最初的位置。很多人經歷過上面的過程，最後沒有順利逃出來，而放棄。 如果你正在經歷這個過程，我的經驗如下：首先，你要摸清hadoop的代碼模塊，知道client，master，slave各自對應的模塊（hadoop中核心系統都是master/slave架構，非常類似），並在閱讀源代碼過程中，時刻謹記你當前閱讀的代碼屬於哪一個模塊，會在哪個組件中執行；之後你需要摸清各個組件的交互協議，也就是分布式中的RPC，這是hadoop自己實現的，你需要對hadoop RPC的使用方式有所了解，然後看各模塊間的RPC protocol，到此，你把握了系統的骨架，這是接下來閱讀源代碼的基礎；接著，你要選擇一個模塊開始閱讀，我一般會選擇Client，這個模塊相對簡單些，會給自己增加信心，為了在閱讀代碼過程中，不至於迷失自己，建議在紙上畫出類的調用關系，邊看邊畫，我記得我閱讀hadoop源代碼時，花了一疊紙。注意，看源代碼過程中，很容易煩躁不安，建議經常起來走走，不要把自己逼得太緊。 在這個階段，建議大家多看一些源代碼分析博客和書籍，比如《Hadoop技術內幕》系列叢書（軒相關網站：Hadoop技術內幕）就是最好的參考資料。藉助這些博客和書籍，你可以在前人的幫助下，更快地學習hadoop源代碼，節省大量時間，注意，目前博客和書籍很多，建議大家廣泛收集資料，找出最適合自己的參考資料。 這個階段最終達到的目的，是對hadoop源代碼整體架構和局部的很多細節，有了一定的了解。比如你知道MapRece Scheler是怎樣實現的，MapRece shuffle過程中，map端做了哪些事情，rece端做了哪些事情，是如何實現的，等等。這個階段完成後，當你遇到問題或者困惑點時，可以迅速地在Hadoop源代碼中定位相關的類和具體的函數，通過閱讀源代碼解決問題，這時候，hadoop源代碼變成了你解決問題的參考書

⑧ 如何設置外部資料庫作為cdh的資料庫

如何設置外部資料庫作為cdh的資料庫
: 把LM換成ip地址

⑨ 針對cdh的組件oozie適合apache版本的hadoop組件一起使用么

CDH5.3 Oozie服務搭建
編寫人：胡旻 版本：V_0.5 修改時間：20150215(Oozie版本CDH5.3組件V4.0.0)
版權所有轉載請註明
一.Oozie簡介
Oozie是一個管理Hdoop作業（job）的工作流程調度管理服務。
1. Oozie的工作流是一系列動作的直接周期圖(Directed Acyclical Graphs)。這些動作是典型的Hadoop任務(MapRece,Streaming, Pipes, Pig, Hive, Sqoop, etc)2. Oozie協調作業就是通過時間（頻率）和有效數據觸發當前的Oozie工作流程3. Oozie可以將一系列協調作業捆綁作為一個任務進行管理4. Oozie 是一個可擴展，數據感知的服務，允許你在Hadoop上使用運行一系列獨立的任務二．軟體包
Oozie採用伺服器客戶端模式，對於安裝Oozie有兩種包選擇，針對Oozie伺服器(oozie)和客戶端(oozie-client)的獨立的RPM包。
三．安裝需求
安裝Oozie伺服器需要滿足
1. 操作系統的支持(如：支持CDH5的操作系統)2. Oracle JDK的支持
3. 如果不想用自帶的derby還需要一個可以支持的資料庫安裝Oozie Client需要滿足
Oracle JDK的支持
四．安裝Oozie
Oozie包含兩個獨立包;一個是客戶端包(oozie-client)另一個是服務包(oozie)。選擇你需要的合適的包進行安裝。
使用yum方式安裝Oozie服務包
$ sudo yum install oozie
使用yum方式安裝Oozie客戶端包
$ sudo yum install oozie-client
五．配置Oozie
1.配置Hadoop任務的使用版本
Oozie客戶端不會和HadoopMapRece任務進行直接的交互，所以其不需要任何MapRece的設置Oozie服務能夠對接使用MRv1或YARN,但是不能同時使用。
文件類型
安裝路徑
二進制包
/usr/lib/oozie/
配置信息
/etc/oozie/conf/
文檔
/usr/share/doc/oozie-4.0.0+cdh5.3.0+334
例子
/usr/share/doc/oozie-4.0.0+cdh5.3.0+334
數據
/usr/share/doc/oozie-4.0.0+cdh5.3.0+334
日誌
/var/log/oozie
臨時文件
/var/tmp/oozie/
PID文件
/var/run/oozie/
2. 使用MySQL配置Oozie
安裝和啟動mysql，使用mysql命令台工具，創建Oozie資料庫和Oozie的mysql用戶$ mysql -u root -p
Enter password: ******
mysql> create database oozie;
Query OK, 1 row affected (0.03 sec)
mysql> grant all privileges on oozie.* to 'oozie'@'localhost' identified by 'oozie';Query OK, 0 rows affected (0.03 sec)
mysql> grant all privileges on oozie.* to 'oozie'@'%' identified by 'oozie';Query OK, 0 rows affected (0.03 sec)
mysql> exit
Bye
3.配置Oozie使用MySQL，編輯oozie-site.xml中屬性文件如下，配置oozie-site.xml$ sudo vim /etc/oozie/conf/oozie-site.xml...
<property>
<name>oozie.service.JPAService.jdbc.driver</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>oozie.service.JPAService.jdbc.url</name>
<value>jdbc:mysql://localhost:3306/oozie</value>
</property>
<property>
<name>oozie.service.JPAService.jdbc.username</name>
<value>oozie</value>
</property>
<property>
<name>oozie.service.JPAService.jdbc.password</name>
<value>oozie</value>
</property>
...
4. 添加MySQL JDBC 驅動包(JAR文件)給Oozie.
拷貝或軟連接mysql的JDBC驅動JAR文件到/var/lib/oozie/ 文件夾5. 建立Oozie資料庫模式
在設置完Oozie 資料庫信息和創建相應的資料庫，創建Oozie資料庫模式，Oozie為這個目的提供了一個資料庫工具運行Oozie資料庫工具
$ sudo -u oozie /usr/lib/oozie/bin/ooziedb.sh create -run你應該看到以下輸出
Validate DB Connection.
DONE
Check DB schema does not exist
DONE
Check OOZIE_SYS table does not exist
DONE
Create SQL schema
DONE
DONE
Create OOZIE_SYS table
DONE
Oozie DB has been created for Oozie version '4.0.0-cdh5.3.0'
The SQL commands have been written to: /tmp/ooziedb-5737263881793872034.sql6. 允許Oozie Web Console
為了允許Oozie webconsole, 下載添加ExtJS庫到 Oozie伺服器步驟1：下載庫
從http//archive.cloudera.com/gplextras/misc/ext-2.2.zip下載ExtJS版本2.2庫文件並將其放在合適的位置。
步驟2:安裝庫文件
提取文件ext-2.2.zip並將其放在/var/lib/oozie下. 並解壓說明：1.以前同事何敏在測試機上安裝oozie 時，將ext-2.2.zip直接放到該目錄下即可。但是現在clouderamanger 中不行2. 同事以前aparch 正式使用的ext-2.2.zip 在cloueramanger 下放到/var/lib/oozie下，解壓後也不能正常。後來網友世界提供的解壓後正常步驟3. 在Hadoop的HDFS上安裝Oozie Shared Libraryoozie安裝綁定了Oozie的分享庫，包含了所有允許工作流任務運行的動作(streaming, DistCp, Pig, Hive, Sqoop).
步驟4.oozie安裝綁定了兩個共享庫，一個是MRv1 另一個是 YARN。請確保你安裝了合適你使用的MapRece版本The shared library file for MRv1 isoozie-sharelib-mr1.tar.gz.
The shared library file for YARN isoozie-sharelib-yarn.tar.gz.
(我系統是運行在YARN上運行MapRece，所以注意)$ sudo -u hdfs hadoop fs -mkdir /user/oozie$ sudo -u hdfs hadoop fs -chown oozie:oozie /user/oozie$ sudo oozie-setup sharelib create -fs <FS_URI> -locallib /usr/lib/oozie/oozie-sharelib-yarn.tar.gz其中FS_URI是文件系統HDFS URI分享庫應該安裝的位置(例如 hdfs://<HOST>:<PORT>).
7. 設置支持Oozie的Uber JARs
為了使集群支持uber Jars我們設定oozie-site.xml以下屬性...
<property>
<name>oozie.action.maprece.uber.jar.enable</name>
<value>true</value>
...
六. 啟動、停止和訪問Oozie
1.啟動Oozie伺服器
$ sudo service oozie start
如果能看見消息Oozie系統ID[oozie-oozie] 開始在oozie.log日誌文件中，說明系統已經成功開始2.停止Oozie伺服器
$ sudo service oozie stop
3.通過Oozie客戶端訪問Oozie伺服器
Oozie客戶端是一個命令行單元可以通過Oozieweb-services API和Oozie 伺服器進行交互$ oozie admin -oozie http//localhost:11000/oozie -statusSystem mode: NORMAL
為了方便使用這個組件，設置環境變數OOZIE_URL指向Oozie伺服器的URL.後續你能跳過-oozie 選項$ export OOZIE_URL=http//localhost:11000/oozie$ oozie admin -version
Oozie server build version: 4.0.0-cdh5.3.04.通過Web瀏覽器訪問Oozie伺服器
如果你添加了ExtJS庫，允許了Oozie web控制台，你可以通過http//<OOZIE_HOSTNAME>:11000/oozie.
oozie is not allowed to impersonate oozie問題的解決在主控節點（NameNode和ResourceManage）中修改hdfs-site.xml文件添加如下屬性<!-- OOZIE -->
<property>
<name>hadoop.proxyuser.oozie.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.oozie.groups</name>
<value>*</value>
</property>
<!-- -->
然後更新
主控節點：NameNode
hdfs dfsadmin -fs hdfs://hcdream1:8020 - dfsadmin -fs hdfs://hcdream2:8020 –主控節點：ResourceManager
yarn rmadmin -

⑩ 不是cm安裝的cdh能用cm監控嗎

不能，CM有一個postGre資料庫存儲節點與每台節點的服務和性能監控信息