分析型資料庫
1. 數據分析用什麼資料庫
數據分析用Access資料庫、MYsql資料庫、SQLServer資料庫和Oracle資料庫;這些是資料庫是一個關系型資料庫管理系統,支持多種操作系統,具有安裝簡單、使用管理都非常簡單,而且也非常容易上手。
2. 大數據從百萬級別數據的分析角度,資料庫如何選擇哪位大大告訴yunmar下,謝謝!!
百萬級的數據,無論側重OLTP還是OLAP,當然就是MySql了。
過億級的數據,側重OLTP可以繼續Mysql,側重OLAP,就要分場景考慮了。
實時計算場景:強調實時性,常用於實時性要求較高的地方,可以選擇Storm;
批處理計算場景:強調批處理,常用於數據挖掘、分析,可以選擇Hadoop;
實時查詢場景:強調查詢實時響應,常用於把DB里的數據轉化索引文件,通過搜索引擎來查詢,可以選擇solr/elasticsearch;
企業級ODS/EDW/數據集市場景:強調基於關系性資料庫的大數據實時分析,常用於業務數據集成,可以選擇Greenplum;
資料庫系統一般分為兩種類型:
一種是面向前台應用的,應用比較簡單,但是重吞吐和高並發的OLTP類型;
一種是重計算的,對大數據集進行統計分析的OLAP類型。
傳統資料庫側重交易處理,即OLTP,關注的是多用戶的同時的雙向操作,在保障即時性的要求下,系統通過內存來處理數據的分配、讀寫等操作,存在IO瓶頸。
OLTP(On-Line Transaction Processing,聯機事務處理)系統也稱為生產系統,它是事件驅動的、面向應用的,比如電子商務網站的交易系統就是一個典型的OLTP系統。
OLTP的基本特點是:
數據在系統中產生;
基於交易的處理系統(Transaction-Based);
每次交易牽涉的數據量很小;
對響應時間要求非常高;
用戶數量非常龐大,主要是操作人員;
資料庫的各種操作主要基於索引進行。
分析型資料庫是以實時多維分析技術作為基礎,即側重OLAP,對數據進行多角度的模擬和歸納,從而得出數據中所包含的信息和知識。
OLAP(On-Line Analytical Processing,聯機分析處理)是基於數據倉庫的信息分析處理過程,是數據倉庫的用戶介面部分。OLAP系統是跨部門的、面向主題的,其基本特點是:
本身不產生數據,其基礎數據來源於生產系統中的操作數據(OperationalData);
基於查詢的分析系統;
復雜查詢經常使用多表聯結、全表掃描等,牽涉的數據量往往十分龐大;
響應時間與具體查詢有很大關系;
用戶數量相對較小,其用戶主要是業務人員與管理人員;
3. 傳統資料庫與新型資料庫的優缺點
一:傳統資料庫
(1)傳統索引不適於海量數據
傳統行存資料庫索引需要手工設定,對應用不完全透明,隨場景和需求的變化需要不斷調整,人工維護成本很高。並且傳統索引佔用存儲空間很大,甚至高於數據本身,造成查詢效率的下降。
(2)數據裝載速度慢
因為索引需要重新創建,載入性能會變的很糟糕。分析型架構系統要解決這些個問題,必須最大限度地減少磁碟 I/O ,提升查詢效率,減小人工維護成本。南大通用分析型資料庫GBase8a (以下簡稱GBase 8a)通過列存儲模式、數據壓縮、智能化的索引、並行處理、並發控制、高效的查詢優化器等技術,使得上述問題得到有效解決。以下各節將描述 GBase 8a 的創新架構如何實現這些目標。
二:新型資料庫
新型資料庫採用分布式並行計算架構,部署於X86通用伺服器,滿足大數據實時交易需求,成本低、擴展性高,突破了傳統資料庫性能瓶頸。
分布式非關系型資料庫技術創新
非關系型資料庫即NoSQL,拋棄了關系資料庫復雜的關系操作、事務處理等功能,僅提供簡單的鍵值對(Key, Value)數據的存儲與查詢,換取高擴展性和高性能,滿足論壇、博客、SNS、微博等互聯網類應用場景下針對海量數據的簡單操作需求。主要技術創新為:
(1) 簡單的數據操作換取高效響應。NoSQL僅支持按照Key(關鍵字)來存儲和查詢Value(數據),不支持對非關鍵字數據列的高效查詢;因數據操作簡單、數據間一般不需要關聯操作,故系統可支持高並發和較快的響應速度。
(2) 多種一致性策略滿足業務需求。不同於傳統關系型資料庫僅支持強一致性策略,NoSQL還支持弱一致性和最終一致性等多種策略,可根據應用場景進行對應配置。例如,對寫入操作頻繁,但數據讀取最新版本要求並不嚴格的應用,如互聯網網頁數據的存儲和分析應用,可以採用最終一致性策略;而對訂購關系存儲的應用,則必須用強一致性策略,保證總是讀取最新版本數據
4. odps 和 分析性資料庫的區別
1,oracle支持多種操作系統,sql server只支持windows。
2,oracle給dba更多的靈活性,可以根據實際情況調整參數,使你的應用的性能最佳,因而帶來一個缺點是很難上手;sql server則相反,當然很容易上手。 體系結構 oracle的文件體系結構為: 數
5. GBase 8t資料庫提供支持的應用類型有哪些
GBase 是南大通用數據技術有限公司推出的自主品牌的資料庫產品,目前在國內資料庫市場具有較高的品牌知名度。GBase系列產品包括:新型分析型資料庫GBase 8a、分布式並行資料庫集群GBase 8a Cluster、高端事務型資料庫GBase 8t、高速內存資料庫GBase 8m/AltiBase、可視化商業智能GBaseBI、大型目錄服務體系GBase 8d、硬加密安全資料庫GBase 8。
6. 現在國產資料庫有哪些品牌
據我網上找的資料,目前國產資料庫主要有3個1、南京大學通用newsql資料庫——gbase2、達夢新1代雲資料庫——dm73、人大金倉分析型資料庫kingbasees但個人觀點,在國外多個知名商業化資料庫oracle,sqlserver,db2等和開源的資料庫如mysql,postgresql等眼前,這些基本沒有甚麼市場
7. 分析資料庫系統的主要類型和代表產品
分析資料庫系統的主要類型為參考資料庫、源資料庫及混合型資料庫,代表產品分別為SCI、中國生物醫學文獻資料庫、IBM的DB29。
上述分類採用國際通用的分類方法,即分為參考資料庫、源資料庫及混合型資料庫。
參考資料庫指包含各種信息、數據或知識原始來源和屬性的資料庫。資料庫中的記錄是通過對信息、數據或知識的再加工和過濾(如編目、索引、要、分類等)所形成的二次文獻。參考資料庫主要包括書目資料庫、文摘資料庫、索引資料庫。
8. 對於維度建模的理解
維度模型是數據倉庫領域大師Ralph Kimball 所倡導,以分析決策的需求出發構建模型,構建的數據模型為分析需求服務,因此它重點解決用戶如何更快速完成分析需求,同時還有較好的大規模復雜查詢的響應性能。
維度建模是 數據倉庫/商業智能 項目成功的關鍵,為什麼這么說,因為不管我們的數據量從GB到TG還是到PB,雖然數據量越來越大,但是數據展現要獲得成功,就必須建立在簡單性的基礎之上,而維度建模就是時刻考慮如何能夠提供簡單性,以業務為驅動,以用戶理解性和查詢性能為目標。
維度建模:維度建模是專門應用於分析型資料庫、數據倉庫、數據市集建模的方法。數據市集可以理解為一種「小型的數據倉庫」 維度建模指導我們在數據倉庫中如何建表
維度建模分為兩種表:事實表和維度表
事實表:必然存在的一些數據,像採集的日誌文件,訂單表,都可以作為事實表
特徵:是一堆主鍵的集合,每個主鍵對應維度表中的一條記錄,客觀存在的,根據主題確定出需要使用的數據維度表:維度就是所分析的數據的一個量,維度表就是以合適的角度來創建的表,分析問題的一個角度:時間、地域、終端、用戶等角度
星形模式:以事實表為中心,所有的維度表直接連在事實表上,最簡單最常用的一種
星座模型:基於多張事實表,而且共享維度信息,即事實表之間可以共享某些維度表
維度建模的三種模式
9. 事務型資料庫與分析型資料庫的特徵及二者區別
事務型資料庫主要是實時的,面向應用的資料庫,響應及時性要求很高,只關注最近一段時間的數據。就是平時搭建的服務都叫事務型資料庫。
分析型資料庫主要是用於在大量數據中分析規律的,一般存儲的數據時間跨度長,數據量大,對實時性要求不高,通過查詢分析規律趨勢,用於產品決策等。
兩者所面向的目標不一樣。
10. 資料庫未來的發展前景怎麼樣
在信息化時代,資料庫成為企業經營管理必不可少的工具。經過了一個世紀的發展,目前資料庫行業已經進入到快速發展階段,非關系型的資料庫盛行,「數據上雲」新模式誕生,市場規模達到665億美元。未來,隨著海量數據的爆發,全球資料庫行業市場規模有望突破2000億美元。
資料庫成為企業經營管理必不可少的工具
在全球信息化的時代,資料庫已經逐漸成為了眾多企業經營管理必不可少的工具。資料庫指的是一種用於存儲和管理擁有固定格式和結構數據的倉庫型數據管理系統。
資料庫這一行業技術發源並興起於美國,如今已經廣泛應用於全世界各企業之中。資料庫一般可分為關系型資料庫和非關系型資料庫。
關系型資料庫的基層單位是由二維的行列分部組成的表格,一個關系型資料庫往往可以涵蓋多個行列分部表格。表格中每一行分布代表了一條獨特的數據記錄,而各列則代表了同一數據記錄的不同特性。通過多種來源獲取的數據最後會通過抽取、轉化、載入後整合進一個數據倉庫之中。關系型資料庫根據其數據處理技術的不同又可以分為聯機事務型資料庫與聯機分析型資料庫。
非關系型資料庫是一個用於概括一切可供替代傳統關系型資料庫的開放式術語。非關系型資料庫同樣也可以通過嵌套類的方式將互有關系的數據存儲在同一結構當中。非關系型資料庫採用了更為靈活的數據結構,並且可以橫向到達多個處理器。以功能劃分,非關系型資料庫可以分為文檔型資料庫、鍵值型資料庫、列存儲資料庫、圖形資料庫四種。
—— 更多數據及分析請參考前瞻產業研究院《中國大數據產業發展前景與投資戰略規劃分析報告》。