列式存儲資料庫優勢

1. hdfs 列式存儲和行式存儲的區別

列式資料庫是將同一個數據列的各個值存放在一起。插入某個數據行時，該行的各個數據列的值也會存放到不同的地方。

列式存儲： 每一列單獨存放，數據即是索引。

只訪問涉及得列，如果我們想訪問單獨一列（比如NAME）會相當迅捷。

一行數據包含一個列或者多個列，每個列一單獨一個cell來存儲數據。而行式存儲，則是把一行數據作為一個整體來存儲。

在HANA的世界中，並不是只存在列式存儲，行式存儲也是存在的。

各自的優缺點：

2. 資料庫的類型都有哪些

資料庫有兩種類型，分別是關系型資料庫與非關系型資料庫。

資料庫，簡而言之可視為電子化的文件櫃——存儲電子文件的處所，用戶可以對文件中的數據進行新增、截取、更新、刪除等操作。

關系型資料庫主要有：

Oracle、DB2、Microsoft sql Server、Microsoft Access、MySQL等等。

非關系型資料庫主要有：

NoSql、Cloudant、MongoDb、redis、HBase等等。

(2)列式存儲資料庫優勢擴展閱讀：

非關系型資料庫的優勢：

1、性能高：NOSQL是基於鍵值對的，可以想像成表中的主鍵和值的對應關系，而且不需要經過SQL層的解析，所以性能非常高。

2、可擴展性好：同樣也是因為基於鍵值對，數據之間沒有耦合性，所以非常容易水平擴展。

關系型資料庫的優勢：

1、可以復雜查詢：可以用SQL語句方便的在一個表以及多個表之間做非常復雜的數據查詢。

2、事務支持良好：使得對於安全性能很高的數據訪問要求得以實現。

3. 當前主流的資料庫系統通常採用哪幾種模型

目前最主流的sql server、oracle、mysql、db2都是關系型資料庫。隨著社交網站、視頻網站等互聯網新業務模式的興起，各種非關系資料庫模型也在不斷涌現。

以下是的：
數據模型概述

1.關系模型

關系模型使用記錄（由元組組成）進行存儲，記錄存儲在表中，表由架構界定。表中的每個列都有名稱和類型，表中的所有記錄都要符合表的定義。SQL是專門的查詢語言，提供相應的語法查找符合條件的記錄，如表聯接（Join）。表聯接可以基於表之間的關系在多表之間查詢記錄。

表中的記錄可以被創建和刪除，記錄中的欄位也可以單獨更新。

關系模型資料庫通常提供事務處理機制，這為涉及多條記錄的自動化處理提供了解決方案。

對不同的編程語言而言，表可以被看成數組、記錄列表或者結構。表可以使用B樹和哈希表進行索引，以應對高性能訪問。

2.鍵值存儲

鍵值存儲提供了基於鍵對值的訪問方式。

鍵值對可以被創建或刪除，與鍵相關聯的值可以被更新。

鍵值存儲一般不提供事務處理機制。

對不同的編程語言而言，鍵值存儲類似於哈希表。對此，不同的編程語言有不同的名字（如，Java稱之為「HashMap」，Perl稱之為「hash」，Python稱之為「dict」，PHP稱之為「associative array」），C++則稱之為「boost::unordered_map<...>」。

鍵值存儲支持鍵上自有的隱式索引。

鍵值存儲看起來好像不太有用，但卻可以在「值」上存儲大量信息。「值」可以是一個XML文檔，一個JSON對象，或者其它任何序列化形式。

重要的是，鍵值存儲引擎並不在意「值」的內部結構，它依賴客戶端對「值」進行解釋和管理。

3.文檔存儲

文檔存儲支持對結構化數據的訪問，不同於關系模型的是，文檔存儲沒有強制的架構。

事實上，文檔存儲以封包鍵值對的方式進行存儲。在這種情況下，應用對要檢索的封包採取一些約定，或者利用存儲引擎的能力將不同的文檔劃分成不同的集合，以管理數據。

與關系模型不同的是，文檔存儲模型支持嵌套結構。例如，文檔存儲模型支持XML和JSON文檔，欄位的「值」又可以嵌套存儲其它文檔。文檔存儲模型也支持數組和列值鍵。

與鍵值存儲不同的是，文檔存儲關心文檔的內部結構。這使得存儲引擎可以直接支持二級索引，從而允許對任意欄位進行高效查詢。支持文檔嵌套存儲的能力，使得查詢語言具有搜索嵌套對象的能力，XQuery就是一個例子。MongoDB通過支持在查詢中指定JSON欄位路徑實現類似的功能。

4.列式存儲

如果翻轉數據，列式存儲與關系存儲將會非常相似。與關系模型存儲記錄不同，列式存儲以流的方式在列中存儲所有的數據。對於任何記錄，索引都可以快速地獲取列上的數據。

Map-rece的實現Hadoop的流數據處理效率非常高，列式存儲的優點體現的淋漓極致。因此，HBase和Hypertable通常作為非關系型數據倉庫，為Map-rece進行數據分析提供支持。

關系類型的列標對數據分析效果不好，因此，用戶經常將更復雜的數據存儲在列式資料庫中。這直接體現在Cassandra中，它引入的「column family」可以被認為是一個「super-column」。

列式存儲支持行檢索，但這需要從每個列獲取匹配的列值，並重新組成行。

5.圖形資料庫

圖形資料庫存儲頂點和邊的信息，有的支持添加註釋。

圖形資料庫可用於對事物建模，如社交圖譜、真實世界的各種對象。IMDB（Internet Movie Database）站點的內容就組成了一幅復雜的圖像，演員與電影彼此交織在一起。

圖形資料庫的查詢語言一般用於查找圖形中斷點的路徑，或端點之間路徑的屬性。Neo4j是一個典型的圖形資料庫。

選擇哪一種數據模型？

數據模型有著各自的優缺點，它們適用於不同的領域。不管是選擇關系模型，還是非關系模型，都要根據實際應用的場景做出選擇。也許你會發現單一的數據模型不能滿足你的解決方案，許多大型應用可能需要集成多種數據模型。

4. 行式資料庫和列式資料庫的優缺點是什麼，行式資料庫和列式資料庫的執行效率比較一下

傳統的行式資料庫，是按照行存儲的，維護大量的索引和物化視圖無論是在時間(處理)還是空間(存儲)方面成本都很高。而列式資料庫恰恰相反，列式資料庫的數據是按照列存儲，每一列單獨存放，數據即是索引。只訪問查詢涉及的列，大大降低了系統I/O，每一列由一個線來處理，而且由於數據類型一致，數據特徵相似，極大方便壓縮。行式資料庫擅長隨機讀操作，列式資料庫則更擅長大批量數據量查詢

5. 什麼是列式存儲資料庫

列式資料庫是以列相關存儲架構進行數據存儲的資料庫，主要適合與批量數據處理和即席查詢。
GBase 8a 分析型資料庫的獨特列存儲格式，對每列數據再細分為「數據包」。這樣可以達到很高的可擴展性：無論一個表有多大，資料庫只操作相關的數據包，性能不會隨著數據量的增加而下降。通過以數據包為單位進行 I/O 操作提升數據吞吐量，從而進一步提高I/O效率。

由於採用列存儲技術，還可以實現高效的透明壓縮。

6. 什麼是資料庫列存儲，原理是怎樣的

資料庫列存儲不同於傳統的關系型資料庫，其數據在表中是按行存儲的，列方式所帶來的重要好處之一就是，由於查詢中的選擇規則是通過列來定義的，因 此整個資料庫是自動索引化的。

按列存儲每個欄位的數據聚集存儲，在查詢只需要少數幾個欄位的時候，能大大減少讀取的數據量，一個欄位的數據聚集存儲，那就 更容易為這種聚集存儲設計更好的壓縮/解壓演算法。這張圖講述了傳統的行存儲和列存儲的區別：

7. 列式資料庫的優缺點

優點：
極高的裝載速度
（最高可以等於所有硬碟IO
的總和，基本是極限了）
適合大量的數據而不是小數據
實時載入數據僅限於增加（刪除和更新需要解壓縮Block
然後計算然後重新壓縮儲存）
高效的壓縮率，不僅節省儲存空間也節省計算內存和CPU。
非常適合做聚合操作。
缺點：
不適合掃描小量數據
不適合隨機的更新
批量更新情況各異，有的優化的比較好的列式資料庫（比如Vertica）表現比較好，有些沒有針對更新的資料庫表現比較差。
不適合做含有刪除和更新的實時操作。

8. 列式資料庫有哪些

列式資料庫是以列相關存儲架構進行數據存儲的資料庫，主要適合與批量數據處理和即席查詢。相對應的是行式資料庫，數據以行相關的存儲體系架構進行空間分配，主要適合與小批量的數據處理，常用於聯機事務型數據處理。

不讀取無效數據：降低 I/O 開銷，同時提高每次 I/O 的效率，從而大大提高查詢性能。查詢語句只從磁碟上讀取所需要的列，其他列的數據是不需要讀取的。例如，有兩張表，每張表100GB 且有100 列，大多數查詢只關注幾個列，採用列存儲，不需要像行存資料庫一樣，將整行數據取出，只取出需要的列。磁碟 I/0 是行存儲的 1/10或更少，查詢響應時間提高 10 倍以上。

高壓縮比：壓縮比可以達到 5 ~ 20 倍以上，數據佔有空間降低到傳統資料庫的1/10 ，節省了存儲設備的開銷。

當資料庫的大小與資料庫伺服器內存大小之比達到或超過 2:1 （典型的大型系統配置值）時，列存的 I/O 優勢就顯得更加明顯；

GBase 8a 分析型資料庫的獨特列存儲格式，對每列數據再細分為「數據包」。這樣可以達到很高的可擴展性：無論一個表有多大，資料庫只操作相關的數據包，性能不會隨著數據量的增加而下降。通過以數據包為單位進行 I/O 操作提升數據吞吐量，從而進一步提高I/O效率。

由於採用列存儲技術，還可以實現高效的透明壓縮。

由於數據按列包存儲，每個數據包內都是同構數據，內容相關性很高，這使得GBase 8a 更易於實現壓縮，壓縮比通常能夠達到 1:10 甚至更優。這使得能夠同時在磁碟 I/O 和 Cache I/O 上都提升資料庫的性能，使 GBase 8a 在某些場景下的運算性能比傳統資料庫快 100 倍以上。

GBase 8a 允許用戶根據需要設置配置文件，選擇是否進行壓縮。在啟用壓縮的情況下GBase 8a 根據數據的不同特性以及不同的分布狀況，自動採用相應的壓縮演算法，如：

行程編碼（適用於大量連續重復的數據，特別是排序數據）；

基於數據的差值編碼（適用於重復率低，但彼此差值較小的數據列）；

基於位置的差值編碼（適用於重復率高，但分布比較隨機的數據列）。

9. 如何看待yandex開源clickhouse這個列式文檔資料庫

Yandex在2016年6月15日開源了一個數據分析的資料庫，名字叫做ClickHouse，這對保守俄羅斯人來說是個特大事。更讓人驚訝的是，這個列式存儲資料庫的跑分要超過很多流行的商業MPP資料庫軟體，例如Vertica。如果你沒有聽過Vertica，那你一定聽過 Michael Stonebraker，2014年圖靈獎的獲得者，PostgreSQL和Ingres發明者（Sybase和SQL Server都是繼承 Ingres而來的）, Paradigm4和SciDB的創辦者。Michael Stonebraker於2005年創辦Vertica公司，後來該公司被HP收購，HP Vertica成為MPP列式存儲商業資料庫的高性能代表，Facebook就購買了Vertica數據用於用戶行為分析。
簡單的說，ClickHouse作為分析型資料庫，有三大特點：一是跑分快， 二是功能多 ，三是文藝范
1. 跑分快： ClickHouse跑分是Vertica的5倍快：
ClickHouse性能超過了市面上大部分的列式存儲資料庫，相比傳統的數據ClickHouse要快100-1000X，ClickHouse還是有非常大的優勢：
100Million 數據集:
ClickHouse比Vertica約快5倍，比Hive快279倍，比My SQL快801倍
1Billion 數據集:
ClickHouse比Vertica約快5倍，MySQL和Hive已經無法完成任務了

2. 功能多：ClickHouse支持數據統計分析各種場景
- 支持類SQL查詢，
- 支持繁多庫函數（例如IP轉化，URL分析等，預估計算/HyperLoglog等）
- 支持數組(Array)和嵌套數據結構(Nested Data Structure)
- 支持資料庫異地復制部署

3.文藝范：目前ClickHouse的限制很多，生來就是為小資服務的
- 目前只支持Ubuntu系統
- 不提供設計和架構文檔，設計很神秘的樣子，只有開源的C++源碼
- 不理睬Hadoop生態，走自己的路

10. 常用的資料庫有哪幾種試著闡述每種資料庫的特點和使用范圍

關系資料庫、非關系型資料庫。
1、關系資料庫
特點：數據集中控制；減少數據冗餘等。
適用范圍：對於結構化數據的處理更合適，如學生成績、地址等，這樣的數據一般情況下需要使用結構化的查詢。
2、非關系資料庫
特點：易擴展；大數據量，高性能；靈活的數據模型等。
使用范圍：據模型比較簡單；需要靈活性更強的IT系統；對資料庫性能要求較高。

(10)列式存儲資料庫優勢擴展閱讀：
非關系資料庫的分類：
1、列存儲資料庫
這部分資料庫通常是用來應對分布式存儲的海量數據。鍵仍然存在，但是它們的特點是指向了多個列。這些列是由列家族來安排的。如：Cassandra，
HBase，
Riak。
2、文檔型資料庫
文檔型資料庫的靈感是來自於Lotus
Notes辦公軟體的，而且它同第一種鍵值存儲相類似。該類型的數據模型是版本化的文檔，半結構化的文檔以特定的格式存儲，比如JSON。文檔型資料庫可
以看作是鍵值資料庫的升級版，允許之間嵌套鍵值。而且文檔型資料庫比鍵值資料庫的查詢效率更高。如：CouchDB，
MongoDb.
國內也有文檔型資料庫SequoiaDB，已經開源。
參考資料來源：網路-資料庫
參考資料來源：網路-NoSQL