flume下沉到ftp
1. 數據倉庫數據建模的幾種思路
數據倉庫數據建模的幾種思路主要分為一下幾種
1. 星型模式
星形模式(Star Schema)是最常用的維度建模方式。星型模式是以事實表為中心，所有的維度表直接連接在事實表上，像星星一樣。星形模式的維度建模由一個事實表和一組維表成，且具有以下特點：a. 維表只和事實表關聯，維表之間沒有關聯；b. 每個維表主鍵為單列，且該主鍵放置在事實表中，作為兩邊連接的外鍵；c. 以事實表為核心，維表圍繞核心呈星形分布；
星座模型
2. 大數據需要學編程嗎
導讀：
第一章：初識Hadoop
第二章：更高效的WordCount
第三章：把別處的數據搞到Hadoop上
第四章：把Hadoop上的數據搞到別處去
第五章：快一點吧，我的sql
第六章：一夫多妻制
第七章：越來越多的分析任務
第八章：我的數據要實時
第九章：我的數據要對外
第十章：牛逼高大上的機器學習
數據量大，TB->PB
數據類型繁多，結構化、非結構化文本、日誌、視頻、圖片、地理位置等；
商業價值高，但是這種價值需要在海量數據之上，通過數據分析與機器學習更快速的挖掘出來；
處理時效性高，海量數據的處理需求不再局限在離線計算當中。
Hadoop 1.0、Hadoop 2.0
MapRece、HDFS
NameNode、DataNode
JobTracker、TaskTracker
Yarn、ResourceManager、NodeManager
0和Hadoop2.0的區別；
MapRece的原理（還是那個經典的題目，一個10G大小的文件，給定1G大小的內存，如何使用Java程序統計出現次數最多的10個單詞及次數）；
HDFS讀寫數據的流程；向HDFS中PUT數據；從HDFS中下載數據；
自己會寫簡單的MapRece程序，運行出現問題，知道在哪裡查看日誌；
會寫簡單的SELECT、WHERE、GROUP BY等SQL語句；
Hive SQL轉換成MapRece的大致流程；
Hive中常見的語句：創建表、刪除表、往表中載入數據、分區、將表中數據下載到本地；
為什麼Spark比MapRece快。
使用SparkSQL代替Hive，更快的運行SQL。
使用Kafka完成數據的一次收集，多次消費架構。
自己可以寫程序完成Kafka的生產者和消費者。
經常有初學者在博客和QQ問我，自己想往大數據方向發展，該學哪些技術，學習路線是什麼樣的，覺得大數據很火，就業很好，薪資很高。如果自己很迷茫，為了這些原因想往大數據方向發展，也可以，那麼我就想問一下，你的專業是什麼，對於計算機/軟體，你的興趣是什麼？是計算機專業，對操作系統、硬體、網路、伺服器感興趣？是軟體專業，對軟體開發、編程、寫代碼感興趣？還是數學、統計學專業，對數據和數字特別感興趣。。
其實這就是想告訴你的大數據的三個發展方向，平台搭建/優化/運維/監控、大數據開發/設計/架構、數據分析/挖掘。請不要問我哪個容易，哪個前景好，哪個錢多。
先扯一下大數據的4V特徵：
現如今，正式為了應對大數據的這幾個特點，開源的大數據框架越來越多，越來越強，先列舉一些常見的：
文件存儲：Hadoop HDFS、Tachyon、KFS
離線計算：Hadoop MapRece、Spark
流式、實時計算：Storm、Spark Streaming、S4、Heron
K-V、NOSQL資料庫：HBase、Redis、MongoDB
資源管理：YARN、Mesos
日誌收集：Flume、Scribe、Logstash、Kibana
消息系統：Kafka、StormMQ、ZeroMQ、RabbitMQ
查詢分析：Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid
分布式協調服務：Zookeeper
集群管理與監控：Ambari、Ganglia、Nagios、Cloudera Manager
數據挖掘、機器學習：Mahout、Spark MLLib
數據同步：Sqoop
任務調度：Oozie
……
眼花了吧，上面的有30多種吧，別說精通了，全部都會使用的，估計也沒幾個。
就我個人而言，主要經驗是在第二個方向（開發/設計/架構），且聽聽我的建議吧。
第一章：初識Hadoop
1.1 學會網路與Google
不論遇到什麼問題，先試試搜索並自己解決。
Google首選，翻不過去的，就用網路吧。
1.2 參考資料首選官方文檔
特別是對於入門來說，官方文檔永遠是首選文檔。
相信搞這塊的大多是文化人，英文湊合就行，實在看不下去的，請參考第一步。
1.3 先讓Hadoop跑起來
Hadoop可以算是大數據存儲和計算的開山鼻祖，現在大多開源的大數據框架都依賴Hadoop或者與它能很好的兼容。
關於Hadoop,你至少需要搞清楚以下是什麼：
自己搭建Hadoop，請使用第一步和第二步，能讓它跑起來就行。
建議先使用安裝包命令行安裝，不要使用管理工具安裝。
另外：Hadoop1.0知道它就行了，現在都用Hadoop 2.0.
1.4 試試使用Hadoop
HDFS目錄操作命令；
上傳、下載文件命令；
提交運行MapRece示常式序；
打開Hadoop WEB界面，查看Job運行狀態，查看Job運行日誌。
知道Hadoop的系統日誌在哪裡。
1.5 你該了解它們的原理了
MapRece：如何分而治之；
HDFS：數據到底在哪裡，什麼是副本；
Yarn到底是什麼，它能幹什麼；
NameNode到底在幹些什麼；
ResourceManager到底在幹些什麼；
1.6 自己寫一個MapRece程序
請仿照WordCount例子，自己寫一個（照抄也行）WordCount程序，
打包並提交到Hadoop運行。
你不會java？Shell、python都可以，有個東西叫Hadoop Streaming。
如果你認真完成了以上幾步，恭喜你，你的一隻腳已經進來了。
第二章：更高效的WordCount
2.1 學點SQL吧
你知道資料庫嗎？你會寫SQL嗎？
如果不會，請學點SQL吧。
2.2 SQL版WordCount
在1.6中，你寫（或者抄）的WordCount一共有幾行代碼？
給你看看我的:
SELECT word,COUNT(1) FROM wordcount GROUP BY word;
這便是SQL的魅力，編程需要幾十行，甚至上百行代碼，我這一句就搞定；使用SQL處理分析Hadoop上的數據，方便、高效、易上手、更是趨勢。不論是離線計算還是實時計算，越來越多的大數據處理框架都在積極提供SQL介面。
2.3 SQL On Hadoop之Hive
什麼是Hive？官方給的解釋是：
The Apache Hive data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage and queried using SQL syntax.
為什麼說Hive是數據倉庫工具，而不是資料庫工具呢？有的朋友可能不知道數據倉庫，數據倉庫是邏輯上的概念，底層使用的是資料庫，數據倉庫中的數據有這兩個特點：最全的歷史數據（海量）、相對穩定的；所謂相對穩定，指的是數據倉庫不同於業務系統資料庫，數據經常會被更新，數據一旦進入數據倉庫，很少會被更新和刪除，只會被大量查詢。而Hive，也是具備這兩個特點，因此，Hive適合做海量數據的數據倉庫工具，而不是資料庫工具。
2.4 安裝配置Hive
請參考1.1 和 1.2 完成Hive的安裝配置。可以正常進入Hive命令行。
2.5 試試使用Hive
請參考1.1 和 1.2 ，在Hive中創建wordcount表，並運行2.2中的SQL語句。
在Hadoop WEB界面中找到剛才運行的SQL任務。
看SQL查詢結果是否和1.4中MapRece中的結果一致。
2.6 Hive是怎麼工作的
明明寫的是SQL，為什麼Hadoop WEB界面中看到的是MapRece任務？
2.7 學會Hive的基本命令
創建、刪除表；
載入數據到表；
下載Hive表的數據；
請參考1.2，學習更多關於Hive的語法和命令。
如果你已經按照《寫給大數據開發初學者的話》中第一章和第二章的流程認真完整的走了一遍，那麼你應該已經具備以下技能和知識點：
從上面的學習，你已經了解到，HDFS是Hadoop提供的分布式存儲框架，它可以用來存儲海量數據，MapRece是Hadoop提供的分布式計算框架，它可以用來統計和分析HDFS上的海量數據，而Hive則是SQL On Hadoop，Hive提供了SQL介面，開發人員只需要編寫簡單易上手的SQL語句，Hive負責把SQL翻譯成MapRece，提交運行。
此時，你的」大數據平台」是這樣的：
那麼問題來了，海量數據如何到HDFS上呢？
第三章：把別處的數據搞到Hadoop上
此處也可以叫做數據採集，把各個數據源的數據採集到Hadoop上。
3.1 HDFS PUT命令
這個在前面你應該已經使用過了。
put命令在實際環境中也比較常用，通常配合shell、python等腳本語言來使用。
建議熟練掌握。
3.2 HDFS API
HDFS提供了寫數據的API，自己用編程語言將數據寫入HDFS，put命令本身也是使用API。
實際環境中一般自己較少編寫程序使用API來寫數據到HDFS，通常都是使用其他框架封裝好的方法。比如：Hive中的INSERT語句，Spark中的saveAsTextfile等。
建議了解原理，會寫Demo。
3.3 Sqoop
Sqoop是一個主要用於Hadoop/Hive與傳統關系型資料庫Oracle/MySQL/SQLServer等之間進行數據交換的開源框架。
就像Hive把SQL翻譯成MapRece一樣，Sqoop把你指定的參數翻譯成MapRece，提交到Hadoop運行，完成Hadoop與其他資料庫之間的數據交換。
自己下載和配置Sqoop（建議先使用Sqoop1，Sqoop2比較復雜）。
了解Sqoop常用的配置參數和方法。
使用Sqoop完成從MySQL同步數據到HDFS；
使用Sqoop完成從MySQL同步數據到Hive表；
PS：如果後續選型確定使用Sqoop作為數據交換工具，那麼建議熟練掌握，否則，了解和會用Demo即可。
3.4 Flume
Flume是一個分布式的海量日誌採集和傳輸框架，因為「採集和傳輸框架」，所以它並不適合關系型資料庫的數據採集和傳輸。
Flume可以實時的從網路協議、消息系統、文件系統採集日誌，並傳輸到HDFS上。
因此，如果你的業務有這些數據源的數據，並且需要實時的採集，那麼就應該考慮使用Flume。
下載和配置Flume。
使用Flume監控一個不斷追加數據的文件，並將數據傳輸到HDFS；
PS：Flume的配置和使用較為復雜，如果你沒有足夠的興趣和耐心，可以先跳過Flume。
3.5 阿里開源的DataX
之所以介紹這個，是因為我們公司目前使用的Hadoop與關系型資料庫數據交換的工具，就是之前基於DataX開發的，非常好用。
可以參考我的博文《異構數據源海量數據交換工具-Taobao DataX 下載和使用》。
現在DataX已經是3.0版本，支持很多數據源。
你也可以在其之上做二次開發。
PS：有興趣的可以研究和使用一下，對比一下它與Sqoop。
如果你認真完成了上面的學習和實踐，此時，你的」大數據平台」應該是這樣的：
第四章：把Hadoop上的數據搞到別處去
前面介紹了如何把數據源的數據採集到Hadoop上，數據到Hadoop上之後，便可以使用Hive和MapRece進行分析了。那麼接下來的問題是，分析完的結果如何從Hadoop上同步到其他系統和應用中去呢？
其實，此處的方法和第三章基本一致的。
4.1 HDFS GET命令
把HDFS上的文件GET到本地。需要熟練掌握。
4.2 HDFS API
同3.2.
4.3 Sqoop
同3.3.
使用Sqoop完成將HDFS上的文件同步到MySQL；
使用Sqoop完成將Hive表中的數據同步到MySQL；
4.4 DataX
同3.5.
如果你認真完成了上面的學習和實踐，此時，你的」大數據平台」應該是這樣的：
如果你已經按照《寫給大數據開發初學者的話2》中第三章和第四章的流程認真完整的走了一遍，那麼你應該已經具備以下技能和知識點：
知道如何把已有的數據採集到HDFS上，包括離線採集和實時採集；
你已經知道sqoop（或者還有DataX）是HDFS和其他數據源之間的數據交換工具；
你已經知道flume可以用作實時的日誌採集。
從前面的學習，對於大數據平台，你已經掌握的不少的知識和技能，搭建Hadoop集群，把數據採集到Hadoop上，使用Hive和MapRece來分析數據，把分析結果同步到其他數據源。
接下來的問題來了，Hive使用的越來越多，你會發現很多不爽的地方，特別是速度慢，大多情況下，明明我的數據量很小，它都要申請資源，啟動MapRece來執行。
第五章：快一點吧，我的SQL
其實大家都已經發現Hive後台使用MapRece作為執行引擎，實在是有點慢。
因此SQL On Hadoop的框架越來越多，按我的了解，最常用的按照流行度依次為SparkSQL、Impala和Presto.
這三種框架基於半內存或者全內存，提供了SQL介面來快速查詢分析Hadoop上的數據。關於三者的比較，請參考1.1.
我們目前使用的是SparkSQL，至於為什麼用SparkSQL，原因大概有以下吧：
使用Spark還做了其他事情，不想引入過多的框架；
Impala對內存的需求太大，沒有過多資源部署；
5.1 關於Spark和SparkSQL
什麼是Spark，什麼是SparkSQL。
Spark有的核心概念及名詞解釋。
SparkSQL和Spark是什麼關系，SparkSQL和Hive是什麼關系。
SparkSQL為什麼比Hive跑的快。
5.2 如何部署和運行SparkSQL
Spark有哪些部署模式？
如何在Yarn上運行SparkSQL？
使用SparkSQL查詢Hive中的表。
PS: Spark不是一門短時間內就能掌握的技術，因此建議在了解了Spark之後，可以先從SparkSQL入手，循序漸進。
關於Spark和SparkSQL，可參考http://lxw1234.com/archives/category/spark
如果你認真完成了上面的學習和實踐，此時，你的」大數據平台」應該是這樣的：
第六章：一夫多妻制
請不要被這個名字所誘惑。其實我想說的是數據的一次採集、多次消費。
在實際業務場景下，特別是對於一些監控日誌，想即時的從日誌中了解一些指標（關於實時計算，後面章節會有介紹），這時候，從HDFS上分析就太慢了，盡管是通過Flume採集的，但Flume也不能間隔很短就往HDFS上滾動文件，這樣會導致小文件特別多。
為了滿足數據的一次採集、多次消費的需求，這里要說的便是Kafka。
6.1 關於Kafka
什麼是Kafka？
Kafka的核心概念及名詞解釋。
6.2 如何部署和使用Kafka
使用單機部署Kafka，並成功運行自帶的生產者和消費者例子。
使用Java程序自己編寫並運行生產者和消費者程序。
Flume和Kafka的集成，使用Flume監控日誌，並將日誌數據實時發送至Kafka。
如果你認真完成了上面的學習和實踐，此時，你的」大數據平台」應該是這樣的：
這時，使用Flume採集的數據，不是直接到HDFS上，而是先到Kafka，Kafka中的數據可以由多個消費者同時消費，其中一個消費者，就是將數據同步到HDFS。
如果你已經按照《寫給大數據開發初學者的話3》中第五章和第六章的流程認真完整的走了一遍，那麼你應該已經具備以下技能和知識點：
從前面的學習，你已經掌握了大數據平台中的數據採集、數據存儲和計算、數據交換等大部分技能，而這其中的每一步，都需要一個任務（程序）來完成，各個任務之間又存在一定的依賴性，比如，必須等數據採集任務成功完成後，數據計算任務才能開始運行。如果一個任務執行失敗，需要給開發運維人員發送告警，同時需要提供完整的日誌來方便查錯。
第七章：越來越多的分析任務
不僅僅是分析任務，數據採集、數據交換同樣是一個個的任務。這些任務中，有的是定時觸發，有點則需要依賴其他任務來觸發。當平台中有幾百上千個任務需要維護和運行時候，僅僅靠crontab遠遠不夠了，這時便需要一個調度監控系統來完成這件事。調度監控系統是整個數據平台的中樞系統，類似於AppMaster，負責分配和監控任務。
7.1 Apache Oozie
1. Oozie是什麼？有哪些功能？
2. Oozie可以調度哪些類型的任務（程序）？
3. Oozie可以支持哪些任務觸發方式？
4. 安裝配置Oozie。
第八章：我的數據要實時
在第六章介紹Kafka的時候提到了一些需要實時指標的業務場景，實時基本可以分為絕對實時和准實時，絕對實時的延遲要求一般在毫秒級，准實時的延遲要求一般在秒、分鍾級。對於需要絕對實時的業務場景，用的比較多的是Storm，對於其他准實時的業務場景，可以是Storm，也可以是Spark Streaming。當然，如果可以的話，也可以自己寫程序來做。
8.1 Storm
1. 什麼是Storm？有哪些可能的應用場景？
2. Storm由哪些核心組件構成，各自擔任什麼角色？
3. Storm的簡單安裝和部署。
4. 自己編寫Demo程序，使用Storm完成實時數據流計算。
8.2 Spark Streaming
1. 什麼是Spark Streaming，它和Spark是什麼關系？
2. Spark Streaming和Storm比較，各有什麼優缺點？
3. 使用Kafka + Spark Streaming，完成實時計算的Demo程序。
如果你認真完成了上面的學習和實踐，此時，你的」大數據平台」應該是這樣的：
至此，你的大數據平台底層架構已經成型了，其中包括了數據採集、數據存儲與計算（離線和實時）、數據同步、任務調度與監控這幾大模塊。接下來是時候考慮如何更好的對外提供數據了。
第九章：我的數據要對外
通常對外（業務）提供數據訪問，大體上包含以下方面：
離線：比如，每天將前一天的數據提供到指定的數據源（DB、FILE、FTP）等；離線數據的提供可以採用Sqoop、DataX等離線數據交換工具。
實時：比如，在線網站的推薦系統，需要實時從數據平台中獲取給用戶的推薦數據，這種要求延時非常低（50毫秒以內）。
根據延時要求和實時數據的查詢需要，可能的方案有：HBase、Redis、MongoDB、ElasticSearch等。
OLAP分析：OLAP除了要求底層的數據模型比較規范，另外，對查詢的響應速度要求也越來越高，可能的方案有：Impala、Presto、SparkSQL、Kylin。如果你的數據模型比較規模，那麼Kylin是最好的選擇。
即席查詢：即席查詢的數據比較隨意，一般很難建立通用的數據模型，因此可能的方案有：Impala、Presto、SparkSQL。
這么多比較成熟的框架和方案，需要結合自己的業務需求及數據平台技術架構，選擇合適的。原則只有一個：越簡單越穩定的，就是最好的。
如果你已經掌握了如何很好的對外（業務）提供數據，那麼你的「大數據平台」應該是這樣的：
第十章：牛逼高大上的機器學習
關於這塊，我這個門外漢也只能是簡單介紹一下了。數學專業畢業的我非常慚愧，很後悔當時沒有好好學數學。
在我們的業務中，遇到的能用機器學習解決的問題大概這么三類：
分類問題：包括二分類和多分類，二分類就是解決了預測的問題，就像預測一封郵件是否垃圾郵件；多分類解決的是文本的分類；
聚類問題：從用戶搜索過的關鍵詞，對用戶進行大概的歸類。
推薦問題：根據用戶的歷史瀏覽和點擊行為進行相關推薦。
大多數行業，使用機器學習解決的，也就是這幾類問題
3. flume如何監聽日誌數
1.採集日誌文件時一個很常見的現象
採集需求：比如業務系統使用log4j生成日誌，日誌內容不斷增加，需要把追加到日誌文件中的數據實時採集到hdfs中。12
1.1.根據需求，首先定義一下3大要素：
採集源，即source—監控日誌文件內容更新：exec 『tail -F file』
下沉目標，即sink—HDFS文件系統：hdfs sink
Source和sink之間的傳遞通道—-channel,可用file channel也可以用 內存channel。
1.2.進入/home/tuzq/software/apache-flume-1.6.0-bin/agentconf，編寫配置文件tail-hdfs.conf，文件內容如下：
# Name the components on this agenta1.sources = r1a1.sinks = k1
a1.channels = c1# Describe/configure the source## exec表示flume回去調用給的命令，然後從給的命令的結果中去拿數據a1.sources.r1.type = exec## 使用tail這個命令來讀數據a1.sources.r1.command = tail -F /home/tuzq/software/flumedata/test.loga1.sources.r1.channels = c1# Describe the sink## 表示下沉到hdfs，類型決定了下面的參數a1.sinks.k1.type = hdfs## sinks.k1隻能連接一個channel，source可以配置多個a1.sinks.k1.channel = c1## 下面的配置告訴用hdfs去寫文件的時候寫到什麼位置，下面的表示不是寫死的，而是可以動態的變化的。表示輸出的目錄名稱是可變的a1.sinks.k1.hdfs.path = /flume/tailout/%y-%m-%d/%H%M/##表示最後的文件的前綴a1.sinks.k1.hdfs.filePrefix = events-## 表示到了需要觸發的時間時，是否要更新文件夾，true:表示要a1.sinks.k1.hdfs.round = true## 表示每隔1分鍾改變一次a1.sinks.k1.hdfs.roundValue = 1## 切換文件的時候的時間單位是分鍾a1.sinks.k1.hdfs.roundUnit = minute## 表示只要過了3秒鍾，就切換生成一個新的文件a1.sinks.k1.hdfs.rollInterval = 3## 如果記錄的文件大於20位元組時切換一次a1.sinks.k1.hdfs.rollSize = 20## 當寫了5個事件時觸發a1.sinks.k1.hdfs.rollCount = 5## 收到了多少條消息往dfs中追加內容a1.sinks.k1.hdfs.batchSize = 10## 使用本地時間戳a1.sinks.k1.hdfs.useLocalTimeStamp = true#生成的文件類型，默認是Sequencefile，可用DataStream：為普通文本a1.sinks.k1.hdfs.fileType = DataStream# Use a channel which buffers events in memory##使用內存的方式a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000a1.channels.c1.transactionCapacity = 100# Bind the source and sink to the channela1.sources.r1.channels = c1
a1.sinks.k1.channel = 940414243444546474849
1.3.編寫完成之後，啟動flume,執行的命令是：
[root@hadoop1 flumedata]#cd /home/tuzq/software/apache-flume-1.6.0-bin/agentconf[root@hadoop1 flumedata]#bin/flume-ng agent -c conf -f agentconf/tail-hdfs.conf -n a112
1.4.通過寫一個死循環往test.log中寫數據的方式模式日誌文件增長
編寫shell腳本，模擬日誌增長變化。
[root@hadoop1 flumedata]# cd /home/tuzq/software/flumedata[root@hadoop1 flumedata]# while true>do> date >> test.log> sleep 2> done123456
查看日誌變化
[root@hadoop1 ~]# cd /home/tuzq/software/flumedata/[root@hadoop1 flumedata]# lsaccess.log error.log test.log[root@hadoop1 flumedata]# tail -f test.log 2017年 06月 13日 星期二 22:02:22 CST2017年 06月 13日 星期二 22:02:24 CST2017年 06月 13日 星期二 22:02:26 CST2017年 06月 13日 星期二 22:02:28 CST2017年 06月 13日 星期二 22:02:30 CST2017年 06月 13日 星期二 22:02:32 CST12345678910
通過上面的文件，可以看到test.log在不停的追加數據。
到hdfs中進行查看，效果如下：
[root@hadoop1 ~]# hdfs dfs -ls /Found 5 items
drwxr-xr-x - root supergroup 0 2017-06-13 12:01 /40000drwxr-xr-x - root supergroup 0 2017-06-13 22:01 /flume
-rw-r--r-- 3 root supergroup 3719 2017-06-10 12:11 /kms.sh
drwxrwxrwx - root supergroup 0 2017-06-10 22:06 /tmp
drwxr-xr-x - root supergroup 0 2017-06-10 22:27 /user
[root@hadoop1 ~]# hdfs dfs -ls /flumeFound 1 items
drwxr-xr-x - root supergroup 0 2017-06-13 22:01 /flume/tailout
[root@hadoop1 ~]# hdfs dfs -ls /flume/tailoutFound 1 items
drwxr-xr-x - root supergroup 0 2017-06-13 22:03 /flume/tailout/17-06-13[root@hadoop1 ~]# hdfs dfs -ls /flume/tailout/17-06-13Found 4 items
drwxr-xr-x - root supergroup 0 2017-06-13 22:01 /flume/tailout/17-06-13/2201drwxr-xr-x - root supergroup 0 2017-06-13 22:03 /flume/tailout/17-06-13/2202drwxr-xr-x - root supergroup 0 2017-06-13 22:04 /flume/tailout/17-06-13/2203drwxr-xr-x - root supergroup 0 2017-06-13 22:04 /flume/tailout/17-06-13/2204[root@hadoop1 ~]# hdfs dfs -ls /flume/tailout/17-06-13Found 5 items
drwxr-xr-x - root supergroup 0 2017-06-13 22:01 /flume/tailout/17-06-13/2201drwxr-xr-x - root supergroup 0 2017-06-13 22:03 /flume/tailout/17-06-13/2202drwxr-xr-x - root supergroup 0 2017-06-13 22:04 /flume/tailout/17-06-13/2203drwxr-xr-x - root supergroup 0 2017-06-13 22:05 /flume/tailout/17-06-13/2204drwxr-xr-x - root supergroup 0 2017-06-13 22:05 /flume/tailout/17-06-13/2205[root@hadoop1 /]# hdfs dfs -ls /flume/tailout/17-06-13Found 6 items
drwxr-xr-x - root supergroup 0 2017-06-13 22:01 /flume/tailout/17-06-13/2201drwxr-xr-x - root supergroup 0 2017-06-13 22:03 /flume/tailout/17-06-13/2202drwxr-xr-x - root supergroup 0 2017-06-13 22:04 /flume/tailout/17-06-13/2203drwxr-xr-x - root supergroup 0 2017-06-13 22:05 /flume/tailout/17-06-13/2204drwxr-xr-x - root supergroup 0 2017-06-13 22:06 /flume/tailout/17-06-13/2205drwxr-xr-x - root supergroup 0 2017-06-13 22:06 /flume/tailout/17-06-13/2206[root@hadoop1 /]
通過上面的案例可以知道，增加的日誌文件已經被寫入到HDFS中。
4. 如何使用Spooling Directory Source
最近在弄一個信令數據匯聚的事情，主要目的是把FTP上的信令數據匯聚到HDFS上去存儲。 邏輯是這樣的：把FTP伺服器上的文件下載到一台主機上，然後SCP到另外一台主機上的Spooling Directory Source所監控的目錄下面去，sink是hdfs（這里解釋一下，由於網路環境的因素，另一台不能訪問到內網的FTP伺服器，所以只能這樣中轉一下）。 嗯，想法不錯，邏輯上看上去也應該沒啥問題，於是就開始吭哧吭哧寫腳本了。FTP上每個信令數據的每個文件的大小差不多都有300M左右。SCP到遠端伺服器也沒出現問題，可就是agent老是會掛掉，報這個異常： 2014-11-26 12:30:16,942 ERROR org.apache.flume.source.SpoolDirectorySource: FATAL: Spool Directory source source1: { spoolDir: /var/log/apache/flumeSpool }: Uncaught exception in SpoolDirectorySource thread. Restart or reconfigure Flume to continue processing. java.nio.charset.MalformedInputException: Input length = 1 at java.nio.charset.CoderResult.throwException(CoderResult.java:277) at org.apache.flume.serialization.ResettableFileInputStream.readChar(ResettableFileInputStream.java:195) at org.apache.flume.serialization.LineDeserializer.readLine(LineDeserializer.java:134) at org.apache.flume.serialization.LineDeserializer.readEvent(LineDeserializer.java:72) at org.apache.flume.serialization.LineDeserializer.readEvents(LineDeserializer.java:91) at org.apache.flume.client.avro..readEvents(.java:241) at org.apache.flume.source.SpoolDirectorySource$SpoolDirectoryRunnable.run(SpoolDirectorySource.java:224) at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471) at java.util.concurrent.FutureTask.runAndReset(FutureTask.java:304) at java.util.concurrent.ScheledThreadPoolExecutor$ScheledFutureTask.access$301(ScheledThreadPoolExecutor.java:178) at java.util.concurrent.ScheledThreadPoolExecutor$ScheledFutureTask.run(ScheledThreadPoolExecutor.java:293) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) at java.lang.Thread.run(Thread.java:745) 然後讓我重啟agent才會把Spooling Directory Source所監控的目錄下面的文件抽取到HDFS上去，感覺很莫名，網上搜索了一下這個錯誤的原因，很多都是說可能傳輸的文件字元集的原因，不以為然，因為我反復測試了一下，如果是字元集的原因，那麼為什麼我重啟一下agent又可以成功的抽取數據了。 於是我想了想是不是由於同時讀寫導致的問題，因為我SCP文件過去，文件較大，需要一定的時間，而flume監測到有文件馬上就開始逐行讀取文件轉化成EVENT發送到HDFS上去，這中間肯定存在同時讀寫一個文件了，然後就產生的這個異常問題？ 目前僅僅是猜測，於是我修改了Spooling Directory Source的配置，加了這么一個配置： tier1.sources.source1.ignorePattern = ^(.)*\\.tmp$ 就是忽略監控目錄下面的.tmp文件。然後我修改了scp的邏輯，拷貝到另一台主機上時，先命名為:原文件名.tmp（由於是.tmp文件，agent不會採集此類文件）,等SCP執行成功之後，在mv這個.tmp文件，去掉.tmp後綴，這樣agent又會抽取這個文件的數據了，通過這么一處理，就巧妙的避免了同時讀寫一個文件的問題。 腳本調整好之後，重新運行腳本，驚喜的發現成功了，這次agent沒有掛掉，大功告成了。 總結：使用Spooling Directory Source的時候，一定要避免同時讀寫一個文件的情況。採用上面提到的方法就可以巧妙的避開這個問題。
5. 數據倉庫和資料庫有什麼區別和聯系
簡而言之，資料庫是面向事務的設計，數據倉庫是面向主題設計的。
資料庫一般存儲在線交易數據，數據倉庫存儲的一般是歷史數據。
資料庫設計是盡量避免冗餘，一般採用符合範式的規則來設計，數據倉庫在設計是有意引入冗餘，採用反範式的方式來設計。
資料庫是為捕獲數據而設計，數據倉庫是為分析數據而設計，它的兩個基本的元素是維表和事實表。維是看問題的角度，比如時間，部門，維表放的就是這些東西的定義，事實表裡放著要查詢的數據，同時有維的ID。
單從概念上講，有些晦澀。任何技術都是為應用服務的，結合應用可以很容易地理解。以銀行業務為例。資料庫是事務系統的數據平台，客戶在銀行做的每筆交易都會寫入資料庫，被記錄下來，這里，可以簡單地理解為用資料庫記帳。數據倉庫是分析系統的數據平台，它從事務系統獲取數據，並做匯總、加工，為決策者提供決策的依據。比如，某銀行某分行一個月發生多少交易，該分行當前存款余額是多少。如果存款又多，消費交易又多，那麼該地區就有必要設立ATM了。
顯然，銀行的交易量是巨大的，通常以百萬甚至千萬次來計算。事務系統是實時的，這就要求時效性，客戶存一筆錢需要幾十秒是無法忍受的，這就要求資料庫只能存儲很短一段時間的數據。而分析系統是事後的，它要提供關注時間段內所有的有效數據。這些數據是海量的，匯總計算起來也要慢一些，但是，只要能夠提供有效的分析數據就達到目的了。
數據倉庫，是在資料庫已經大量存在的情況下，為了進一步挖掘數據資源、為了決策需要而產生的，它決不是所謂的「大型資料庫」。那麼，數據倉庫與傳統資料庫比較，有哪些不同呢?讓我們先看看W.H.Inmon關於數據倉庫的定義:面向主題的、集成的、與時間相關且不可修改的數據集合。
「面向主題的」:傳統資料庫主要是為應用程序進行數據處理，未必按照同一主題存儲數據;數據倉庫側重於數據分析工作，是按照主題存儲的。這一點，類似於傳統農貿市場與超市的區別—市場裡面，白菜、蘿卜、香菜會在一個攤位上，如果它們是一個小販賣的;而超市裡，白菜、蘿卜、香菜則各自一塊。也就是說，市場里的菜(數據)是按照小販(應用程序)歸堆(存儲)的，超市裡面則是按照菜的類型(同主題)歸堆的。
「與時間相關」:資料庫保存信息的時候，並不強調一定有時間信息。數據倉庫則不同，出於決策的需要，數據倉庫中的數據都要標明時間屬性。決策中，時間屬性很重要。同樣都是累計購買過九車產品的顧客，一位是最近三個月購買九車，一位是最近一年從未買過，這對於決策者意義是不同的。
「不可修改」:數據倉庫中的數據並不是最新的，而是來源於其它數據源。數據倉庫反映的是歷史信息，並不是很多資料庫處理的那種日常事務數據(有的資料庫例如電信計費資料庫甚至處理實時信息)。因此，數據倉庫中的數據是極少或根本不修改的;當然，向數據倉庫添加數據是允許的。
數據倉庫的出現，並不是要取代資料庫。目前，大部分數據倉庫還是用關系資料庫管理系統來管理的。可以說，資料庫、數據倉庫相輔相成、各有千秋。
補充一下，數據倉庫的方案建設的目的，是為前端查詢和分析作為基礎，由於有較大的冗餘，所以需要的存儲也較大。為了更好地為前端應用服務，數據倉庫必須有如下幾點優點，否則是失敗的數據倉庫方案。
1.效率足夠高。客戶要求的分析數據一般分為日、周、月、季、年等，可以看出，日為周期的數據要求的效率最高，要求24小時甚至12小時內，客戶能看到昨天的數據分析。由於有的企業每日的數據量很大，設計不好的數據倉庫經常會出問題，延遲1-3日才能給出數據，顯然不行的。
2.數據質量。客戶要看各種信息，肯定要准確的數據，但由於數據倉庫流程至少分為3步，2次ETL，復雜的架構會更多層次，那麼由於數據源有臟數據或者代碼不嚴謹，都可以導致數據失真，客戶看到錯誤的信息就可能導致分析出錯誤的決策，造成損失，而不是效益。
3.擴展性。之所以有的大型數據倉庫系統架構設計復雜，是因為考慮到了未來3-5年的擴展性，這樣的話，客戶不用太快花錢去重建數據倉庫系統，就能很穩定運行。主要體現在數據建模的合理性，數據倉庫方案中多出一些中間層，使海量數據流有足夠的緩沖，不至於數據量大很多，就運行不起來了。
6. flume 下沉到hdfs的配置文件中round如何理解
返回某個數字按指定位數取整後的數字。 語法 ROUND(number,num_digits) Number 需要進行四捨五入的數字。 Num_digits 指定的位數，按此位數進行四捨五入。 如公式：=ROUND(5.555,2)將數值5.555保留兩位小數，返回值是5.56 如公式：=ROUND(5.554,2)將數值5.554保留兩位小數，返回值是5.55
7. flume 抽取的數據怎麼格式化
最近在弄一個信令數據匯聚的事情，主要目的是把FTP上的信令數據匯聚到HDFS上去存儲。 邏輯是這樣的：把FTP伺服器上的文件下載到一台主機上，然後SCP到另外一台主機上的Spooling Directory Source所監控的目錄下面去，sink是hdfs（這里解釋一下，...
8. 大數據如何入門
首先我們要了解Java語言和Linux操作系統，這兩個是學習大數據的基礎，學習的順序不分前後。
大數據
Java ：只要了解一些基礎即可，做大數據不需要很深的Java 技術，學java SE 就相當於有學習大數據基礎。
Linux：因為大數據相關軟體都是在Linux上運行的，所以Linux要學習的扎實一些，學好Linux對你快速掌握大數據相關技術會有很大的幫助，能讓你更好的理解hadoop、hive、hbase、spark等大數據軟體的運行環境和網路環境配置，能少踩很多坑，學會shell就能看懂腳本這樣能更容易理解和配置大數據集群。還能讓你對以後新出的大數據技術學習起來更快。
Hadoop：這是現在流行的大數據處理平台幾乎已經成為大數據的代名詞，所以這個是必學的。Hadoop裡麵包括幾個組件HDFS、MapRece和YARN，HDFS是存儲數據的地方就像我們電腦的硬碟一樣文件都存儲在這個上面，MapRece是對數據進行處理計算的，它有個特點就是不管多大的數據只要給它時間它就能把數據跑完，但是時間可能不是很快所以它叫數據的批處理。
Zookeeper：這是個萬金油，安裝Hadoop的HA的時候就會用到它，以後的Hbase也會用到它。它一般用來存放一些相互協作的信息，這些信息比較小一般不會超過1M，都是使用它的軟體對它有依賴，對於我們個人來講只需要把它安裝正確，讓它正常的run起來就可以了。
Mysql：我們學習完大數據的處理了，接下來學習學習小數據的處理工具mysql資料庫，因為一會裝hive的時候要用到，mysql需要掌握到什麼層度那?你能在Linux上把它安裝好，運行起來，會配置簡單的許可權，修改root的密碼，創建資料庫。這里主要的是學習SQL的語法，因為hive的語法和這個非常相似。
Sqoop：這個是用於把Mysql里的數據導入到Hadoop里的。當然你也可以不用這個，直接把Mysql數據表導出成文件再放到HDFS上也是一樣的，當然生產環境中使用要注意Mysql的壓力。
Hive：這個東西對於會SQL語法的來說就是神器，它能讓你處理大數據變的很簡單，不會再費勁的編寫MapRece程序。有的人說Pig那?它和Pig差不多掌握一個就可以了。
Oozie：既然學會Hive了，我相信你一定需要這個東西，它可以幫你管理你的Hive或者MapRece、Spark腳本，還能檢查你的程序是否執行正確，出錯了給你發報警並能幫你重試程序，最重要的是還能幫你配置任務的依賴關系。我相信你一定會喜歡上它的，不然你看著那一大堆腳本，和密密麻麻的crond是不是有種想屎的感覺。
Hbase：這是Hadoop生態體系中的NOSQL資料庫，他的數據是按照key和value的形式存儲的並且key是唯一的，所以它能用來做數據的排重，它與MYSQL相比能存儲的數據量大很多。所以他常被用於大數據處理完成之後的存儲目的地。
Kafka：這是個比較好用的隊列工具，隊列是干嗎的?排隊買票你知道不?數據多了同樣也需要排隊處理，這樣與你協作的其它同學不會叫起來，你干嗎給我這么多的數據(比如好幾百G的文件)我怎麼處理得過來，你別怪他因為他不是搞大數據的，你可以跟他講我把數據放在隊列里你使用的時候一個個拿，這樣他就不在抱怨了馬上灰流流的去優化他的程序去了，因為處理不過來就是他的事情。而不是你給的問題。當然我們也可以利用這個工具來做線上實時數據的入庫或入HDFS，這時你可以與一個叫Flume的工具配合使用，它是專門用來提供對數據進行簡單處理，並寫到各種數據接受方(比如Kafka)的。
Spark：它是用來彌補基於MapRece處理數據速度上的缺點，它的特點是把數據裝載到內存中計算而不是去讀慢的要死進化還特別慢的硬碟。特別適合做迭代運算，所以演算法流們特別稀飯它。它是用scala編寫的。Java語言或者Scala都可以操作它，因為它們都是用JVM的。
9. 如何使用Spooling Directory Source
最近在弄一個信令數據匯聚的事情，主要目的是把FTP上的信令數據匯聚到HDFS上去存儲。 邏輯是這樣的：把FTP伺服器上的文件下載到一台主機上，然後SCP到另外一台主機上的Spooling Directory Source所監控的目錄下面去，sink是hdfs（這里解釋一下，由於網路環境的因素，另一台不能訪問到內網的FTP伺服器，所以只能這樣中轉一下）。
嗯，想法不錯，邏輯上看上去也應該沒啥問題，於是就開始吭哧吭哧寫腳本了。FTP上每個信令數據的每個文件的大小差不多都有300M左右。SCP到遠端伺服器也沒出現問題，可就是agent老是會掛掉，報這個異常：
2014-11-26 12:30:16,942 ERROR org.apache.flume.source.SpoolDirectorySource: FATAL: Spool Directory source source1: { spoolDir: /var/log/apache/flumeSpool }: Uncaught exception in SpoolDirectorySource thread. Restart or reconfigure Flume to continue processing.
java.nio.charset.MalformedInputException: Input length = 1
at java.nio.charset.CoderResult.throwException(CoderResult.java:277)
at org.apache.flume.serialization.ResettableFileInputStream.readChar(ResettableFileInputStream.java:195)
at org.apache.flume.serialization.LineDeserializer.readLine(LineDeserializer.java:134)
at org.apache.flume.serialization.LineDeserializer.readEvent(LineDeserializer.java:72)
at org.apache.flume.serialization.LineDeserializer.readEvents(LineDeserializer.java:91)
at org.apache.flume.client.avro..readEvents(.java:241)
at org.apache.flume.source.SpoolDirectorySource$SpoolDirectoryRunnable.run(SpoolDirectorySource.java:224)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471)
at java.util.concurrent.FutureTask.runAndReset(FutureTask.java:304)
at java.util.concurrent.ScheledThreadPoolExecutor$ScheledFutureTask.access$301(ScheledThreadPoolExecutor.java:178)
at java.util.concurrent.ScheledThreadPoolExecutor$ScheledFutureTask.run(ScheledThreadPoolExecutor.java:293)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
at java.lang.Thread.run(Thread.java:745)
然後讓我重啟agent才會把Spooling Directory Source所監控的目錄下面的文件抽取到HDFS上去，感覺很莫名，網上搜索了一下這個錯誤的原因，很多都是說可能傳輸的文件字元集的原因，不以為然，因為我反復測試了一下，如果是字元集的原因，那麼為什麼我重啟一下agent又可以成功的抽取數據了。
於是我想了想是不是由於同時讀寫導致的問題，因為我SCP文件過去，文件較大，需要一定的時間，而flume監測到有文件馬上就開始逐行讀取文件轉化成EVENT發送到HDFS上去，這中間肯定存在同時讀寫一個文件了，然後就產生的這個異常問題？
目前僅僅是猜測，於是我修改了Spooling Directory Source的配置，加了這么一個配置：
tier1.sources.source1.ignorePattern = ^(.)*\\.tmp$
就是忽略監控目錄下面的.tmp文件。然後我修改了scp的邏輯，拷貝到另一台主機上時，先命名為:原文件名.tmp（由於是.tmp文件，agent不會採集此類文件）,等SCP執行成功之後，在mv這個.tmp文件，去掉.tmp後綴，這樣agent又會抽取這個文件的數據了，通過這么一處理，就巧妙的避免了同時讀寫一個文件的問題。
腳本調整好之後，重新運行腳本，驚喜的發現成功了，這次agent沒有掛掉，大功告成了。
總結：使用Spooling Directory Source的時候，一定要避免同時讀寫一個文件的情況。採用上面提到的方法就可以巧妙的避開這個問題。