關於大資料庫
① 有哪些類型大資料庫
資料庫劃分
小型資料庫:access,foxbase
中型資料庫:mysql,sql server,Informix
大型資料庫:sysbase,oracle,db2
如何考慮用什麼類型的資料庫(小型資料庫)
1. 項目的規模
a. 負載量多大,用戶多大
b. 成本
c. 安全性
負載量小 100人內
比如留言板,信息系統 選用小型資料庫
成本在千元以內,對安全性要求不高。
中型資料庫
比如在負載,日訪問量 5000—15000
成本在萬元內
比如 電子商務網站
大型資料庫
負載可以處理 少量資料庫
Sybase < Oracle < db2
安全性能高,價格昂貴
② 大資料庫,小資料庫有什麼區別
當然可能。小資料庫是所開聯賽的所有球員,和這個國家的所有知名球員,還有世界知名球員。比如我開中超一個聯賽(這樣比較好理解),就有中超球員和絕大部分中甲球員,還有中國的海外球員,包括一些在新加坡等較低級別聯賽效力的球員。然後就只能開出世界級的,例如梅西、C羅等人,還有高潛小孩,比如奧塔門第。像越瓦諾維奇這樣的球員也許就開不出來。甚至像詹姆斯或者哈特這種國家隊替補都有可能開不出來。
而大資料庫則包含大多數知名球員,基本你能想出來的球員,他都會有,弱點的國家,也會有很多知名的球星,也許鄭大志都能開出來。
如果你小資料庫開中超,大資料庫開英超,英超就看不見中超大部分球員。同等條件下,不會出現大資料庫的球員小資料庫沒有的情況,隨機球員當然例外。
③ 支持大型資料庫的伺服器需要什麼配置
選擇資料庫伺服器的原則:
1、高性能原則:保證所選購的伺服器,不僅能夠滿足運營系統的運行和業務處理的需要,而且能夠滿足一定時期業務量的增長。一般可以根據經驗公式計算出所需的伺服器TpmC值(Tpmc是衡量計算機系統的事務處理能力的程序)。
後比較各伺服器廠商和TPC組織公布的TpmC值,選擇相應的機型。同時,用伺服器的市場價/報價除去計算出來的TpmC值得出單位TpmC值的價格,進而選擇高性能價格比的伺服器。
2、可靠性原則:可靠性原則是所有選擇設備和系統中首要考慮的,尤其是在大型的、有大量處理要求的、需要長期運行的系統上。考慮伺服器系統的可靠性,不僅要考慮伺服器單個節點的可靠性或穩定性,而且要考慮伺服器與相關輔助系統之間連接的整體可靠性。
(3)關於大資料庫擴展閱讀:
優點:
1、編程量減少
資料庫伺服器提供了用於數據操縱的標准介面API(Application Programming Interface,應用程序編程接 口)。
2、資料庫安全高
資料庫伺服器提供監控性能、並發控制等工具。由DBA(Database Administrator,資料庫管理員)統一負 責授權訪問資料庫及網路管理。
3、數據可靠性管理
資料庫伺服器提供統一的資料庫備份/恢復、啟動/停止資料庫的管理工具。
4、計算機資源利用充分
資料庫伺服器把數據管理及處理工作從客戶機上分離出來,使網路中各計算機資源能靈活分配、各盡其用。
④ 國家大資料庫在哪裡
中國數據中心位於貴州貴安新區的大資料庫災備中心機房內,有著一根特殊的網路虛擬專線,這條專線跨越了北京與貴州之間2200多公里的距離,實現了國家與貴州災備中心數據的同步傳輸和異地備份。
⑤ SQLSERVER大資料庫解決方案
在微軟的大數據解決方案中,數據管理是最底層和最基礎的一環。
靈活的數據管理層,可以支持所有數據類型,包括結構化、半結構化和非結構化的靜態或動態數據。
在數據管理層中主要包括三款產品:SQLServer、SQLServer並行數據倉庫和
Hadoop on Windows。
針對不同的數據類型,微軟提供了不同的解決方案。
具體來說,針對結構化數據可以使用SQLServer和SQLServer並行數據倉庫處理。
非結構化數據可以使用Windows Azure和WindowsServer上基於Hadoop的發行版本處理;而流數據可以使用SQLServerStreamInsight管理,並提供接近實時的分析。
1、SQLServer。去年發布的SQLServer2012針對大數據做了很多改進,其中最重要的就是全面支持Hadoop,這也是SQLServer2012與SQLServer2008最重要的區別之一。今年年底即將正式發布的SQLServer2014中,SQLServer進一步針對大數據加入內存資料庫功能,從硬體角度加速數據的處理,也被看為是針對大數據的改進。
2、SQLServer並行數據倉庫。並行數據倉庫(Parallel Data Warehouse Appliance,簡稱PDW)是在SQLServer2008 R2中推出的新產品,目前已經成為微軟主要的數據倉庫產品,並將於今年發布基於SQLServer2012的新款並行數據倉庫一體機。SQLServer並行數據倉庫採取的是大規模並行處理(MPP)架構,與傳統的單機版SQLServer存在著根本上的不同,它將多種先進的數據存儲與處理技術結合為一體,是微軟大數據戰略的重要組成部分。
3、Hadoop on Windows。微軟同時在Windows Azure平台和WindowsServer上提供Hadoop,把Hadoop的高性能、高可擴展與微軟產品易用、易部署的傳統優勢融合到一起,形成完整的大數據解決方案。微軟大數據解決方案還通過簡單的部署以及與Active Directory和System Center等組件的集成,為Hadoop提供了Windows的易用性和可管理性。憑借Windows Azure上基於Hadoop的服務,微軟為其大數據解決方案在雲端提供了靈活性。
⑥ 教你設計大型Oracle資料庫
本文教你如何設計大型Oracle資料庫 希望對大家有所幫助
一 概論
超大型系統的特點為
處理的用戶數一般都超過百萬 有的還超過千萬 資料庫的數據量一般超過 TB;
系統必須提供實時響應功能 系統需不停機運行 要求系統有很高的可用性及可擴展性
為了能達到以上要求 除了需要性能優越的計算機和海量存儲設備外 還需要先進的資料庫結構設計和優化的應用系統
一般的超大型系統採用雙機或多機集群系統 下面以資料庫採用Oracle 並行伺服器為例來談談超大型資料庫設計方法
確定系統的ORACLE並行伺服器應用劃分策略迅盯
資料庫物理結構的設計
系統硬碟的劃分及分配
備份及恢復策略的考慮
二 Oracle並行伺服器應用劃分策略
Oracle並行伺服器允許不同節點上的多個INSTANCE實例同時訪問一個資料庫 以提高系統的可用性 可擴展性及性能 Oracle並行伺服器中的每個INSTANCE實例都可將共享資料庫中的表或索引的數據塊讀入本地的緩沖區中 這就意味著一個數據塊可存在於多個INSTANCE實例的SGA區中 那麼保持這些緩沖區的數據的一致性就很嘩亮重要 Oracle使用 PCM( Parallel Cache Management)鎖維護緩沖區的一致性 Oracle同時通過I DLM(集成的分布式鎖管理器)實現PCM 鎖 並通過專門的LCK進程實現INSTANCE實例間的數據一致
考慮這種情況 INSTANCE 對BLOCK X塊修改 這時INSTANCE 對BLOCK X塊也需要修改 Oracle並行伺服器利用PCM鎖機制 使BLOCK X從INSTANCE 的SGA區寫入資料庫數據文件中 又從數據文件中把BLOCK X塊讀入INSTANCE 的SGA區中 發生這種情況即為一個PING PING使原來 個MEMORY IO可以完成的工作變成 個DISK IO和 個 MEMORY IO才能夠完成 如果系統中有過多的PING 將大大降低系統的性能
Oracle並行伺服器中的每個PCM鎖可管理多個數據塊 PCM鎖管理的數據塊的個數與分配給一個數據文件的PCM鎖的個數及該數據文件的大小有關 當INSTANCE 和INSTANCE 要操作不同的BLOCK 如果這些BLOCK 是由同一個PCM鎖管理的 仍然會發生PING 這些PING稱為FALSE PING 當多個INSTANCE訪問相同的BLOCK而產生的PING是TRUE PING
合理的應用劃分使不同的應用訪問不同的數據 可避免或減少TRUE PING;通過給FALSE PING較多的數據文件分配更多的PCM鎖可減少 FALSE PING的次數 增加PCM鎖不能減少TRUE PING
所以 Oracle並行伺服器設計的目的是使系統交易處理合理的分布在INSTANCE實例間 以最小化PING 同時合理的分配PCM鎖 減少FALSE PING 設計的關鍵是找出可能產生的沖突 從而決定應用劃分的策略 應用劃分有如下四種方法
根據功能模塊劃分 不同的節點運行不同的應用
根據用戶劃分 不同類型的用戶運行在不同的節點上
根據數據劃分 不同的節點訪問不同的數據或索引
根據時間劃分 不同的應用在不同的時間段運行
應用劃分的兩個重要原則是使PING最小化及使各節點的負載大致均衡
三 資料庫物理結構的設計
資料庫物理結構設計包括確定表及索引的物理存儲參數 確定及分配數據畝蘆和庫表空間 確定初始的回滾段 臨時表空間 redo log files等 並確定主要的初始化參數 物理設計的目的是提高系統的性能 整個物理設計的參數可以根據實際運行情況作調整
表及索引數據量估算及物理存儲參數的設置
lishixin/Article/program/Oracle/201311/18944