大資料庫系統
1. Oracle大型資料庫系統的前言
風,緊,
夜,深沉,
劍,已出鞘,
影,飄然前行!
本書的立意和內容
在伺服器領域,IBM p系列伺服器與AIX操作系統毫無疑問是UNIX伺服器領域中的佼佼者,它代表著UNIX深刻的技術內涵和廣泛的用戶基礎。同樣地,Oracle是資料庫領域事實上的市場領導者,眾多IT應用系統採用了Oracle構架,運行Oracle資料庫作為其數據支撐節點。目前Oracle用戶已經可以升級其資料庫到Oracle Database 11g Release 2版本。
實踐上,運行在AIX上的Oracle資料庫系統是諸多大中型系統的典型配置方式——用戶得益於IBM AIX的堅固支撐,受惠於Oracle的可用性保證!
但凡事都有兩面性,AIX是一套復雜的UNIX系統,Oracle則是一種「最難」的資料庫。對於任何用戶而言,了解、熟悉、運用、掌握兩者的平台特徵和工程技術手段,需要進行大量的學習、培訓、實踐以及長時間的磨練!廣大資料庫用戶需要一種快捷的學習路徑以及可參考資料來幫助他們構建、運行、維護乃至優化自己的系統!
本書的立意即在於此!本書以AIX UNIX平台為主線,以其他UNIX系統為參照,描述了資料庫系統Oracle 10g、Oracle 11g的構架方法,說明了該資料庫在AIX平台常用的諸多管理方面,提供了在AIX上實施Oracle集群的環境要素說明和實施方法,分析了伺服器綜合容災的工程手段和技術方法,綜合了在AIX系統上優化Oracle運行環境的諸多做法和要點。最後,本書還以AIX上Sybase ASE資料庫系統為對比,論述了Oracle在AIX上的獨到特徵。
基於上述出發點,本書力爭面向工程實踐,並面向用戶的實際需求展開論述。因此,本書並未刻意在學術上進行高、精、尖的探索,而是力爭將復雜的事情簡單化,把各技術要點以最簡單的形式和大家能了解的方法擺在用戶面前!
本書的讀者群體
本書的目標讀者是那些在UNIX上進行資料庫開發、維護、管理、優化任務和高可用設置的工程技術人員,以及從事於這個尖端行業的人群。
從技術角度看,本書所涉及的內容全部是生產實踐中必要的過程和階段。因此,本書並沒有試圖去描繪一些新鮮熱辣的炒作概念或遙不可及的無用內容,而是作為一種可以放在手邊的技術專著面向大眾,服務於系統用戶95%的日常工作需求。正因如此,本書注重細節描述和過程說明,讀者無須擁有非常深厚的專業技術基礎。
當然,學習的熱情和探索的精神是必不可少的!
本書的內容安排
本書共分為五篇,按照資料庫項目實施中工作內容的不同方向進行了分組,各篇的內容分述如下。
第一篇 構架篇
本篇側重在於系統的構架,以及構架中的相關要素和重點。 第1章 了解伺服器運行環境
本章力圖使讀者站到一個足夠高的層次和高度來看待伺服器技術框架。站得高,則看得必遠!
第2章 管理和維護伺服器設備和服務
Oracle運行在AIX上,Oracle將使用AIX資源、調用AIX服務,受AIX的運行狀態影響。
第3章 管理伺服器存儲
資料庫伺服器的一個典型特徵就是大量使用磁碟空間來存儲資料庫數據。Oracle需要AIX提供的存儲介質來存儲數據。
第4章 構建Oracle環境
Oracle的環境構架相對復雜。用戶需要掌握Oracle系統構架的具體工程細節,並獲得動手能力。
第二篇 管理篇
本篇結合了AIX系統的諸多特點,綜合論述了Oracle在AIX上管理的具體方法和實踐行為規范。 第5章 在AIX中Oracle資料庫管理
日常管理是一個管理員工作的大部分內容。本章描述了常用的管理內容和做法。
第6章 使用ASM跳過AIX卷空間管理
ASM是Oracle提出的存儲管理最新的實施方法。Oracle推薦使用ASM來進行磁碟空間的管理。
第7章 管理AIX下Oracle的空間使用
空間管理是系統管理的重點。Oracle需要各種不同的空間要素,需要管理和維護。
第三篇 災備篇
本篇站在伺服器的層面,綜合講述了在AIX運行Oracle系統所需進行的備份管理工作,以及災難恢復實施方法。 第8章 設計和實施AIX系統備份
伺服器系統的備份工作必須能夠兼顧操作系統、應用系統、資料庫數據備份的各方面。AIX是備份中重要的一環。
第9章 設計Oracle系統備份
Oracle作為資料庫系統,其備份方法和恢復手段與操作系統備份截然不同。按照規范的方法進行備份對恢復有著不言而喻的意義。
續表
第三篇 災備篇
本篇站在伺服器的層面,綜合講述了在AIX運行Oracle系統所需進行的備份管理工作,以及災難恢復實施方法。 第10章 實施Oracle系統備份
工程上實施資料庫備份的方法是百花齊放的。這里討論了若干種具體實施方法和手段。
第11章 恢復崩潰的系統
防患於未然!好的備份系統是經過恢復測試的系統。讓我們看看如何用備份進行系統恢復的!
第四篇 集群篇
在AIX平台上RAC集群是一種廣泛使用的結構。本篇即針對集群展開討論。 第12章 構建AIX下的Oracle集群環境
集群是實現Oracle系統網格與高可用的主要技術手段,尤其在AIX承擔的關鍵業務系統中。
第13章 在AIX中管理Oracle集群環境
集群的管理有其自身特色,包括集群件管理、集群服務的管理。
第五篇 優化篇
好的系統需要進行預先的優化結構設計,並在系統運行中進行漸近的再優化。本篇以項目周期為階段,描述了系統優化的各個過程和方面。 第14章 在AIX上綜合設置Oracle環境
系統在構建時,要綜合考慮可用性和性能之間的關系,並設置和優化系統。
第15章 AIX上Oracle系統的運行優化
在系統運行過程中,應用性能會隨時變化,性能的檢查和優化也需隨時進行。動態地、漸進式地分析與調整也就十分必要。
第六篇 擴展篇
通過與Sybase ASE的對比來了解什麼是Oracle。 第16章 AIX上Oracle與Sybase的比較
Sybase ASE與Oracle同為可在AIX上運行的資料庫系統。兩種產品中各有特點、各有優勢、同樣優秀。
本書從構思到最終完成,歷時兩年時間,其間更改數十稿。單獨講述UNIX不難,單獨講述Oracle不難,但把二者結合起來,站在整個系統的高度來說明問題,卻讓本書作者難以著手——千頭萬緒,該寫的內容太多!
致謝
本書內容來源於實踐,用戶即是最佳的實踐來源。感謝山東海化集團王鳳鳴先生、中國電信青海公司陳宇峰先生、福建公司陳亮先生等人的鼎力支持。本書中若干技術觀點和實踐總結來源於作者為該單位提供資料庫顧問服務的工作現場。感謝他們和作者在工作與技術領域上的不斷探討,這促進了本書內容的不斷完善!
在本書編寫過程中,很多復雜的、結構性的實驗在北京時代朝陽資料庫技術中心Trail實驗室完成。北京時代朝陽資料庫技術中心是一家有著17年企業歷史的資料庫專業技術機構,精於資料庫產品與服務。這里有多樣化的UNIX平台、各種集群構架、不同容災環境等,這為本書所涉及的各項結構性實踐提供了可能。感謝Trail實驗室各位同事的配合。另外,考慮到本書在部分章節上存在一定難度,為保證本書的可讀性,作者也請Trail實驗室中參加Oracle職業/就業課程的若干學員試讀了本書,感謝他們提出的諸多意見!
感謝本書策劃編輯胡辛征先生的熱心鼓勵和積極推動,感謝文字編輯江立女士的細心編審和中肯點評。沒有他們的細致工作和鼓勵,本書不能順利出版。
最後,感謝博文視點以知識傳播的方式對中國IT產業的支持——以其廣博文字選題,以其超然視點出版!
祝博文視點從成功走向輝煌!
本書作者:文平
2009-09-20於北京
目錄第一篇構架篇
第1章了解伺服器運行環境
1.1 AIX:一種成熟的UNIX
1.1.1 AIX系統構成要素
1.1.2登錄AIX系統
1.1.3 RS6000伺服器結構
1.1.4 AIx系統管理界面
1.1.5 AIX中使用的Shell
1.1.6 AJx存儲組織結構
1.1.7 AJx換頁空間(交換區)
1.1.8 AIX文件系統結構
1.1.9 AJx對象數據管理
1.1.10 AIX當前進程運行
1.1.11 AIX用戶訪問過程
1.1.12 AIX各種服務提供
1.1.13 AIX網路通信設置
1.1.14 AIX中的常用操作
1.2 Oracle與AIx系統
1.2.1 Oracle與AIX的角色
1.2.2 Oracle系統典型特徵
1.2.3系統全局區SGA
1.2.4程序全局區PGA
1.2.5 Oracle後台進程
1.2.6 Oracle資料庫物理結構
1.2.7資料庫數據存放
1.2.8資料庫的用戶訪問
第2章管理和維護伺服器設備和服務
2.1管理AIX中的設備
2.1.1 AIX使用設備類型
2.1.2 AIX的設備分層管理
2.1.3 ODM對象資料庫
2.1.4設備的狀態特徵查看
2.1.5設備的配置和檢測
2.1.6設備屬性信息查看
2.1.7創建主機硬體配置檔案
2.2管理AIX中的服務
2.2.1系統資源控制器的啟動
2.2.2系統資源的啟動和關閉
2.2.3系統資源的刷新
2.2.4通常啟動的資源
2.3 AIX系統錯誤處理
2.4 AIX系統硬體診斷
2.5 AIX系統日誌查看
第3章管理伺服器存儲
3.1 AIX存儲基本框架
3.2 AIX的存儲概念要素
3.2.1物理卷和卷組
3.2.2邏輯卷和邏輯分區
3.2.3AIX日誌文件系統
3.2.4文件系統掛載和目錄樹
3.3系統存儲結構的管理
3.3.1系統中的卷組定義信息
3.3.2增加、刪除和設置卷組
3.3.3卷組中物理磁碟的改變
3.3.4卷組重組提高磁碟性能
3.3.5卷組的活動狀態管理
3.3.6卷組的導入導出管理
3.3.7邏輯卷的創建和維護
3.3.8通過鏡像保護邏輯卷
3.3.9通過條帶優化邏輯卷
3.3.10物理卷的設置和管理
第4章構建Oracle環境
第二篇管理篇
第5章在AIX中Oracle資料庫管理
第6章使用ASM跳過AIX卷空間管理
第7章管理AIX下Oracle的空間使用
第三篇災備篇
第8章設計和實施AIX系統備份
第9章設計Oracle系統備份
第10章實施Oracle系統備份
第11章恢復崩潰的系統
第四篇集群篇
第12章構建AIX下的Oracle集群環境
第13章在AIX中管理Oracle集群環境
第五篇優化篇
第14章在AIX上綜合設置Oracle環境
第15章AIX上Oracle系統的運行優化
第六篇擴展篇
第16章AIX上Oracle與Sybase的比較
2. 大數據資料庫有哪些
問題一:大數據技術有哪些 非常多的,問答不能發link,不然我給你link了。有譬如Hadoop等開源大數據項目的,編程語言的,以下就大數據底層技術說下。
簡單以永洪科技的技術說下,有四方面,其實也代表了部分通用大數據底層技術:
Z-Suite具有高性能的大數據分析能力,她完全摒棄了向上升級(Scale-Up),全面支持橫向擴展(Scale-Out)。Z-Suite主要通過以下核心技術來支撐PB級的大數據:
跨粒度計算(In-Databaseputing)
Z-Suite支持各種常見的匯總,還支持幾乎全部的專業統計函數。得益於跨粒度計算技術,Z-Suite數據分析引擎將找尋出最優化的計算方案,繼而把所有開銷較大的、昂貴的計算都移動到數據存儲的地方直接計算,我們稱之為庫內計算(In-Database)。這一技術大大減少了數據移動,降低了通訊負擔,保證了高性能數據分析。
並行計算(MPP puting)
Z-Suite是基於MPP架構的商業智能平台,她能夠把計算分布到多個計算節點,再在指定節點將計算結果匯總輸出。Z-Suite能夠充分利用各種計算和存儲資源,不管是伺服器還是普通的PC,她對網路條件也沒有嚴苛的要求。作為橫向擴展的大數據平台,Z-Suite能夠充分發揮各個節點的計算能力,輕松實現針對TB/PB級數據分析的秒級響應。
列存儲 (Column-Based)
Z-Suite是列存儲的。基於列存儲的數據集市,不讀取無關數據,能降低讀寫開銷,同時提高I/O 的效率,從而大大提高查詢性能。另外,列存儲能夠更好地壓縮數據,一般壓縮比在5 -10倍之間,這樣一來,數據佔有空間降低到傳統存儲的1/5到1/10 。良好的數據壓縮技術,節省了存儲設備和內存的開銷,卻大大了提升計算性能。
內存計算
得益於列存儲技術和並行計算技術,Z-Suite能夠大大壓縮數據,並同時利用多個節點的計算能力和內存容量。一般地,內存訪問速度比磁碟訪問速度要快幾百倍甚至上千倍。通過內存計算,CPU直接從內存而非磁碟上讀取數據並對數據進行計算。內存計算是對傳統數據處理方式的一種加速,是實現大數據分析的關鍵應用技術。
問題二:大數據使用的資料庫是什麼資料庫 ORACLE、DB2、sql SERVER都可以,關鍵不是選什麼資料庫,而是資料庫如何優化! 需要看你日常如何操作,以查詢為主或是以存儲為主或2者,還要看你的數據結構,都要因地制宜的去優化!所以不是一句話說的清的!
問題三:什麼是大數據和大數據平台 大數據技術是指從各種各樣類型的數據中,快速獲得有價值信息的能力。適用於大數據的技術,包括大規模並行處理(MPP)資料庫,數據挖掘電網,分布式文件系統,分布式資料庫,雲計算平台,互聯網,和可擴展的存儲系統。
大數據平台是為了計算,現今社會所產生的越來越大的數據量。以存儲、運算、展現作為目的的平台。
問題四:常用大型資料庫有哪些 FOXBASE
MYSQL
這倆可算不上大型資料庫管理系統
PB 是資料庫應用程序開發用的ide,根本就不是資料庫管理系統
Foxbase是dos時代的產品了,進入windows時代改叫foxpro,屬於桌面單機級別的小型資料庫系統,mysql是個中輕量級的,但是開源,大量使用於小型網站,真正重量級的是Oracle和DB2,銀行之類的關鍵行業用的多是這兩個,微軟的MS SQLServer相對DB2和Oracle規模小一些,多見於中小型企業單位使用,Sybase可以說是日薄西山,不行了
問題五:幾大資料庫的區別 最商業的是ORACLE,做的最專業,然後是微軟的SQL server,做的也很好,當然還有DB2等做得也不錯,這些都是大型的資料庫,,,如果掌握的全面的話,可以保證數據的安全. 然後就是些小的資料庫access,mysql等,適合於中小企業的資料庫100萬數據一下的數據.如有幫助請採納,謝!
問題六:全球最大的資料庫是什麼 應該是Oracle,第一,Oracle為商業界所廣泛採用。因為它規范、嚴謹而且服務到位,且安全性非常高。第二,如果你學習使用Oracle不是商用,也可以免費使用。這就為它的廣泛傳播奠定了在技術人員中的基礎。第三,Linux/Unix系統常常作為伺服器,伺服器對Oracle的使用簡直可以說極其多啊。建議樓梗多學習下這個強大的資料庫
問題七:什麼是大數據? 大數據(big data),或稱巨量資料,指的是所涉及的資料量規模巨大到無法通過目前主流軟體工具,在合理時間內達到擷取、管理、處理、並整理成為幫助企業經營決策更積極目的的資訊。(在維克托・邁爾-舍恩伯格及肯尼斯・庫克耶編寫的《大數據時代》中大數據指不用隨機分析法(抽樣調查)這樣的捷徑,而採用所有數據的方法[2])大數據的4V特點:Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價值)。
說起大數據,就要說到商業智能:
商業智能(Business Intelligence,簡稱:BI),又稱商業智慧或商務智能,指用現代數據倉庫技術、線上分析處理技術、數據挖掘和數據展現技術進行數據分析以實現商業價值。
商業智能作為一個工具,是用來處理企業中現有數據,並將其轉換成知識、分析和結論,輔助業務或者決策者做出正確且明智的決定。是幫助企業更好地利用數據提高決策質量的技術,包含了從數據倉庫到分析型系統等。
商務智能的產生發展
商業智能的概念經由Howard Dresner(1989年)的通俗化而被人們廣泛了解。當時將商業智能定義為一類由數據倉庫(或數據集市)、查詢報表、數據分析、數據挖掘、數據備份和恢復等部分組成的、以幫助企業決策為目的技術及其應用。
商務智能是20世紀90年代末首先在國外企業界出現的一個術語,其代表為提高企業運營性能而採用的一系列方法、技術和軟體。它把先進的信息技術應用到整個企業,不僅為企業提供信息獲取能力,而且通過對信息的開發,將其轉變為企業的競爭優勢,也有人稱之為混沌世界中的智能。因此,越來越多的企業提出他們對BI的需求,把BI作為一種幫助企業達到經營目標的一種有效手段。
目前,商業智能通常被理解為將企業中現有的數據轉化為知識,幫助企業做出明智的業務經營決策的工具。這里所談的數據包括來自企業業務系統的訂單、庫存、交易賬目、客戶和供應商資料及來自企業所處行業和競爭對手的數據,以及來自企業所處的其他外部環境中的各種數據。而商業智能能夠輔助的業務經營決策既可以是作業層的,也可以是管理層和策略層的決策。
為了將數據轉化為知識,需要利用數據倉庫、線上分析處理(OLAP)工具和數據挖掘等技術。因此,從技術層面上講,商業智能不是什麼新技術,它只是ETL、數據倉庫、OLAP、數據挖掘、數據展現等技術的綜合運用。
把商業智能看成是一種解決方案應該比較恰當。商業智能的關鍵是從許多來自不同的企業運作系統的數據中提取出有用的數據並進行清理,以保證數據的正確性,然後經過抽取(Extraction)、轉換(Transformation)和裝載(Load),即ETL過程,合並到一個企業級的數據倉庫里,從而得到企業數據的一個全局視圖,在此基礎上利用合適的查詢和分析工具、數據挖掘工具、OLAP工具等對其進行分析和處理(這時信息變為輔助決策的知識),最後將知識呈現給管理者,為管理者的決策過程提供支持。
企業導入BI的優點
1.隨機查詢動態報表
2.掌握指標管理
3.隨時線上分析處理
4.視覺化之企業儀表版
5.協助預測規劃
導入BI的目的
1.促進企業決策流程(Facilitate the Business Decision-Making Process):BIS增進企業的資訊整合與資訊分析的能力,匯總公司內、外部的資料,整合成有效的決策資訊,讓企業經理人大幅增進決策效率與改善決策品質。
......>>
問題八:資料庫有哪幾種? 常用的資料庫:oracle、sqlserver、mysql、access、sybase 2、特點。 -oracle: 1.資料庫安全性很高,很適合做大型資料庫。支持多種系統平台(HPUX、SUNOS、OSF/1、VMS、 WINDOWS、WINDOWS/NT、OS/2)。 2.支持客戶機/伺服器體系結構及混合的體系結構(集中式、分布式、 客戶機/伺服器)。 -sqlserver: 1.真正的客戶機/伺服器體系結構。 2.圖形化用戶界面,使系統管理和資料庫管理更加直觀、簡單。 3.具有很好的伸縮性,可跨越從運行Windows 95/98的膝上型電腦到運行Windows 2000的大型多處理器等多種平台使用。 -mysql: MySQL是一個開放源碼的小型關系型資料庫管理系統,開發者為瑞典MySQL AB公司,92HeZu網免費贈送MySQL。目前MySQL被廣泛地應用在Internet上的中小型網站中。提供由於其體積小、速度快、總體擁有成本低,尤其是開放源碼這一特點,許多中小型網站為了降低網站總體擁有成本而選擇了MySQL作為網站資料庫。 -access Access是一種桌面資料庫,只適合數據量少的應用,在處理少量數據和單機訪問的資料庫時是很好的,效率也很高。 但是它的同時訪問客戶端不能多於4個。 -
問題九:什麼是大數據 大數據是一個體量特別大,數據類別特別大的數據集,並且這樣的數據集無法用傳統資料庫工具對其內容進行抓取、管理和處理。 大數據首先是指數據體量(volumes)?大,指代大型數據集,一般在10TB?規模左右,但在實際應用中,很多企業用戶把多個數據集放在一起,已經形成了PB級的數據量;其次是指數據類別(variety)大,數據來自多種數據源,數據種類和格式日漸豐富,已沖破了以前所限定的結構化數據范疇,囊括了半結構化和非結構化數據。接著是數據處理速度(Velocity)快,在數據量非常龐大的情況下,也能夠做到數據的實時處理。最後一個特點是指數據真實性(Veracity)高,隨著社交數據、企業內容、交易與應用數據等新數據源的興趣,傳統數據源的局限被打破,企業愈發需要有效的信息之力以確保其真實性及安全性。
數據採集:ETL工具負責將分布的、異構數據源中的數據如關系數據、平面數據文件等抽取到臨時中間層後進行清洗、轉換、集成,最後載入到數據倉庫或數據集市中,成為聯機分析處理、數據挖掘的基礎。
數據存取:關系資料庫、NOSQL、SQL等。
基礎架構:雲存儲、分布式文件存儲等。
數據處理:自然語言處理(NLP,NaturalLanguageProcessing)是研究人與計算機交互的語言問題的一門學科。處理自然語言的關鍵是要讓計算機理解自然語言,所以自然語言處理又叫做自然語言理解(NLU,NaturalLanguage Understanding),也稱為計算語言學(putational Linguistics。一方面它是語言信息處理的一個分支,另一方面它是人工智慧(AI, Artificial Intelligence)的核心課題之一。
統計分析:假設檢驗、顯著性檢驗、差異分析、相關分析、T檢驗、方差分析、卡方分析、偏相關分析、距離分析、回歸分析、簡單回歸分析、多元回歸分析、逐步回歸、回歸預測與殘差分析、嶺回歸、logistic回歸分析、曲線估計、因子分析、聚類分析、主成分分析、因子分析、快速聚類法與聚類法、判別分析、對應分析、多元對應分析(最優尺度分析)、bootstrap技術等等。
數據挖掘:分類 (Classification)、估計(Estimation)、預測(Prediction)、相關性分組或關聯規則(Affinity grouping or association rules)、聚類(Clustering)、描述和可視化、Description and Visualization)、復雜數據類型挖掘(Text, Web ,圖形圖像,視頻,音頻等)
模型預測:預測模型、機器學習、建模模擬。
結果呈現:雲計算、標簽雲、關系圖等。
要理解大數據這一概念,首先要從大入手,大是指數據規模,大數據一般指在10TB(1TB=1024GB)規模以上的數據量。大數據同過去的海量數據有所區別,其基本特徵可以用4個V來總結(Vol-ume、Variety、Value和Veloc-ity),即體量大、多樣性、價值密度低、速度快。
第一,數據體量巨大。從TB級別,躍升到PB級別。
第二,數據類型繁多,如前文提到的網路日誌、視頻、圖片、地理位置信息,等等。
第三,價值密度低。以視頻為例,連續不間斷監控過程中,可能有用的數據僅僅有一兩秒。
第四,處理速度快。1秒定律。最後這一點也是和傳統的......>>
問題十:國內真正的大數據分析產品有哪些 國內的大數據公司還是做前端可視化展現的偏多,BAT算是真正做了大數據的,行業有硬性需求,別的行業跟不上也沒辦法,需求決定市場。
說說更通用的數據分析吧。
大數據分析也屬於數據分析的一塊,在實際應用中可以把數據分析工具分成兩個維度:
第一維度:數據存儲層――數據報表層――數據分析層――數據展現層
第二維度:用戶級――部門級――企業級――BI級
1、數據存儲層
數據存儲設計到資料庫的概念和資料庫語言,這方面不一定要深鑽研,但至少要理解數據的存儲方式,數據的基本結構和數據類型。SQL查詢語言必不可少,精通最好。可從常用的selece查詢,update修改,delete刪除,insert插入的基本結構和讀取入手。
Access2003、Access07等,這是最基本的個人資料庫,經常用於個人或部分基本的數據存儲;MySQL資料庫,這個對於部門級或者互聯網的資料庫應用是必要的,這個時候關鍵掌握資料庫的庫結構和SQL語言的數據查詢能力。
SQL Server2005或更高版本,對中小企業,一些大型企業也可以採用SQL Server資料庫,其實這個時候本身除了數據存儲,也包括了數據報表和數據分析了,甚至數據挖掘工具都在其中了。
DB2,Oracle資料庫都是大型資料庫了,主要是企業級,特別是大型企業或者對數據海量存儲需求的就是必須的了,一般大型資料庫公司都提供非常好的數據整合應用平台。
BI級別,實際上這個不是資料庫,而是建立在前面資料庫基礎上的,企業級應用的數據倉庫。Data Warehouse,建立在DW機上的數據存儲基本上都是商業智能平台,整合了各種數據分析,報表、分析和展現!BI級別的數據倉庫結合BI產品也是近幾年的大趨勢。
2、報表層
企業存儲了數據需要讀取,需要展現,報表工具是最普遍應用的工具,尤其是在國內。傳統報表解決的是展現問題,目前國內的帆軟報表FineReport已經算在業內做到頂尖,是帶著數據分析思想的報表,因其優異的介面開放功能、填報、表單功能,能夠做到打通數據的進出,涵蓋了早期商業智能的功能。
Tableau、FineBI之類,可分在報表層也可分為數據展現層。FineBI和Tableau同屬於近年來非常棒的軟體,可作為可視化數據分析軟體,我常用FineBI從資料庫中取數進行報表和可視化分析。相對而言,可視化Tableau更優,但FineBI又有另一種身份――商業智能,所以在大數據處理方面的能力更勝一籌。
3、數據分析層
這個層其實有很多分析工具,當然我們最常用的就是Excel,我經常用的就是統計分析和數據挖掘工具;
Excel軟體,首先版本越高越好用這是肯定的;當然對excel來講很多人只是掌握了5%Excel功能,Excel功能非常強大,甚至可以完成所有的統計分析工作!但是我也常說,有能力把Excel玩成統計工具不如專門學會統計軟體;
SPSS軟體:當前版本是18,名字也改成了PASW Statistics;我從3.0開始Dos環境下編程分析,到現在版本的變遷也可以看出SPSS社會科學統計軟體包的變化,從重視醫學、化學等開始越來越重視商業分析,現在已經成為了預測分析軟體;
SAS軟體:SAS相對SPSS其實功能更強大,SAS是平台化的,EM挖掘模塊平台整合,相對來講,SAS比較難學些,但如果掌握了SAS會更有價值,比如離散選擇模型,抽樣問題,正交實驗設計等還是SAS比較好用,另外,SAS的學習材料比較多,也公開,會有收獲的!
JMP分析:SAS的一個分析分支
XLstat:Excel的插件,可以完......>>