數據存儲服務設計
A. 雲計算環境中的數據挖掘存儲管理設計
雲計算環境中的數據挖掘存儲管理設計
1.引言
Hadoop提供了一個基於HDFs的簡單資料庫HBase，它的設計思想和數據模型都與Google開發的模型簡化的大規模分布式資料庫BigTabIe極為相似。HBase不支持完全的關系數據模型，只為用戶提供了簡單的數據模型，讓客戶來動態控制數據的分布和格式。從數據模型角度看，HBase是一個稀疏的、長期存儲的（存在硬碟上）、多維度的、排序的映射表。這張表的索引是行關鍵字、列關鍵字和時間戳。每個值是一個不解釋的字元數組，用戶需要自己解釋存儲的字串的類型和含義。這種模型具有很大的靈活性，通過仔細選擇數據表示，用戶可以控制數據的局部化。但是這種靈活性的代價就是不支持完全的關系數據模型，這導致傳統的數據存儲格式無法應用於HBase。Google自身的GFS是為網頁搜索功能量身定做的，採用BigTable的簡單數據模型可以以字元串形式靈活存儲網頁的URL、時間戳等信息。HDFS的設計完全借鑒了GFS的思想，因此從目前的版本來看，HDFS對網頁搜索具有較好的支持，但是對於使用傳統的關系數據模型的產品來說，HDFS並不是一個很好的選擇，因為它不能提供傳統的關系資料庫的相關功能。如上所述，以Hadoop為例，目前的開源解決方案並不完全適用於某公司的新產品需求，因此我們需要參照現有解決方案，設計符合自身需要的新方案。
2.DDF的數據劃分策略
面對大量的異構的用戶數據，我們有必要對數據進行劃分，以期得到更好的查詢性能。
數據劃分策略可分為垂直數據劃分（Horizontal panition）和水平數據劃分（VerticaI partition），在DDF中同時採用了這兩種劃分策略。垂直數據劃分是按照功能劃分：
（1）首先把對象數據、查詢數據和其他數據劃分到不同的數據表中（資料庫的表）。
（2）對於對象數據，由於是按對象類型（Object type）訪問的，那麼我們可以進一步按照對象類型進行垂直劃分，把不同類型的對象數據劃分到相應的數據表中。
（3）對於查詢數據，在目前的研究階段，也將其按照對象類型進行垂直劃分，存儲到相應的數據表中。
另外，採用對象的全局標識（UID）的哈希值（Hash）進行水平劃分，從而將對象數據劃分到不同的數據節點（Datanode）的策略，需要面對數據遷移的問題，即當增加新的數據節點時，如何確保原有數據節點上的數據不進行或者盡量少進行遷移。
3.DDF的數據存儲策略
DDF借鑒了HDFS的設計思想，在架構中引入了數據節點的概念，整個數據存儲策略的設計理念如下。
（1）每個數據劃分只可能存放在同一個資料庫中，不允許一個數據劃分分裂存放在多個資料庫的情況出現。但是，具有相同數據對象類型的不同劃分可以存放在不同的資料庫中。
（2）允許不同類型的數據（如對象數據和查詢數據）採用不同的劃分策略。
（3）概念層次上的劃分和存儲層次上的資料庫是一個多對多的關系，也就是說，我們甚至可以將所有的劃分存放在同一個資料庫內。這種極端情況同樣是被允許的。
（4）當我們將一個劃分指定給一個資料庫時，它們的對應關系應被記錄，這樣在查詢數據時可以定位到正確的資料庫。
4.DDF的節點劃分策略
DDF的節點劃分策略是建立在數據劃分和數據存儲策略的基礎之上的，節點劃分策略從應用層面上描述了DDF各節點的功能。
對於收到的遠程更新和查詢操作的請求，調度節點必須進行分析，以判斷這些操作的作用域。如果操作與當前位置的數據無關，那麼這些更新和查詢操作會被拒絕。數據節點則應具有以下功能：
（1）存儲數據。
（2）處理索引相關的請求。
（3）處理查詢請求。
（4）負責部分對查詢結果進行分頁的功能。
（5）創建並管理集合對象（對緩存的查詢）。
（6）負責對過期數據進行處理，這包括刪除與過期數據相關的對象和索引。
數據節點本身並不關心數據的位置問題，調度節點應該關心數據所處的位置。數據對象的全局標識符決定了它應該位於哪個位置。
B. 怎樣的架構設計才是真正的數據倉庫架構
一直想整理一下這塊內容，既然是漫談，就想起什麼說什麼吧。我一直是在互聯網行業，就以互聯網行業來說。
先大概列一下互聯網行業數據倉庫、數據平台的用途：
整合公司所有業務數據，建立統一的數據中心；
提供各種報表，有給高層的，有給各個業務的；
為網站運營提供運營上的數據支持，就是通過數據，讓運營及時了解網站和產品的運營效果；
為各個業務提供線上或線下的數據支持，成為公司統一的數據交換與提供平台；
分析用戶行為數據，通過數據挖掘來降低投入成本，提高投入效果；比如廣告定向精準投放、用戶個性化推薦等；
開發數據產品，直接或間接為公司盈利；
建設開放數據平台，開放公司數據；
。。。。。。
- 上面列出的內容看上去和傳統行業數據倉庫用途差不多，並且都要求數據倉庫/數據平台有很好的穩定性、可靠性；但在互聯網行業，除了數據量大之外，越來越多的業務要求時效性，甚至很多是要求實時的 ，另外，互聯網行業的業務變化非常快，不可能像傳統行業一樣，可以使用自頂向下的方法建立數據倉庫，一勞永逸，它要求新的業務很快能融入數據倉庫中來，老的下線的業務，能很方便的從現有的數據倉庫中下線；
- 其實，互聯網行業的數據倉庫就是所謂的敏捷數據倉庫，不但要求能快速的響應數據，也要求能快速的響應業務；
- 建設敏捷數據倉庫，除了對架構技術上的要求之外，還有一個很重要的方面，就是數據建模，如果一上來就想著建立一套能兼容所有數據和業務的數據模型，那就又回到傳統數據倉庫的建設上了，很難滿足對業務變化的快速響應。應對這種情況，一般是先將核心的持久化的業務進行深度建模（比如：基於網站日誌建立的網站統計分析模型和用戶瀏覽軌跡模型；基於公司核心用戶數據建立的用戶模型），其它的業務一般都採用維度+寬表的方式來建立數據模型。這塊是後話。
- 整體架構下面的圖是我們目前使用的數據平台架構圖，其實大多公司應該都差不多：
- 邏輯上，一般都有數據採集層、數據存儲與分析層、數據共享層、數據應用層。可能叫法有所不同，本質上的角色都大同小異。
- 我們從下往上看：
- 數據採集數據採集層的任務就是把數據從各種數據源中採集和存儲到數據存儲上，期間有可能會做一些簡單的清洗。
- 數據源的種類比較多：
網站日誌：
- 作為互聯網行業，網站日誌占的份額最大，網站日誌存儲在多台網站日誌伺服器上，
- 一般是在每台網站日誌伺服器上部署flume agent，實時的收集網站日誌並存儲到HDFS上；
業務資料庫：
- 業務資料庫的種類也是多種多樣，有Mysql、Oracle、SqlServer等，這時候，我們迫切的需要一種能從各種資料庫中將數據同步到HDFS上的工具，Sqoop是一種，但是Sqoop太過繁重，而且不管數據量大小，都需要啟動MapRece來執行，而且需要Hadoop集群的每台機器都能訪問業務資料庫；應對此場景，淘寶開源的DataX，是一個很好的解決方案（可參考文章 《異構數據源海量數據交換工具-Taobao DataX 下載和使用》），有資源的話，可以基於DataX之上做二次開發，就能非常好的解決，我們目前使用的DataHub也是。
- 當然，Flume通過配置與開發，也可以實時的從資料庫中同步數據到HDFS。
來自於Ftp/Http的數據源：
- 有可能一些合作夥伴提供的數據，需要通過Ftp/Http等定時獲取，DataX也可以滿足該需求；
其他數據源：
- 比如一些手工錄入的數據，只需要提供一個介面或小程序，即可完成；
- 數據存儲與分析毋庸置疑，HDFS是大數據環境下數據倉庫/數據平台最完美的數據存儲解決方案。
- 離線數據分析與計算，也就是對實時性要求不高的部分，在我看來，Hive還是首當其沖的選擇，豐富的數據類型、內置函數；壓縮比非常高的ORC文件存儲格式；非常方便的SQL支持，使得Hive在基於結構化數據上的統計分析遠遠比MapRece要高效的多，一句SQL可以完成的需求，開發MR可能需要上百行代碼；
- 當然，使用Hadoop框架自然而然也提供了MapRece介面，如果真的很樂意開發Java，或者對SQL不熟，那麼也可以使用MapRece來做分析與計算；Spark是這兩年非常火的，經過實踐，它的性能的確比MapRece要好很多，而且和Hive、Yarn結合的越來越好，因此，必須支持使用Spark和SparkSQL來做分析和計算。因為已經有Hadoop Yarn，使用Spark其實是非常容易的，不用單獨部署Spark集群，關於Spark On Yarn的相關文章，可參考：《Spark On Yarn系列文章》
- 實時計算部分，後面單獨說。
- 數據共享這里的數據共享，其實指的是前面數據分析與計算後的結果存放的地方，其實就是關系型資料庫和NOSQL資料庫；
- 前面使用Hive、MR、Spark、SparkSQL分析和計算的結果，還是在HDFS上，但大多業務和應用不可能直接從HDFS上獲取數據，那麼就需要一個數據共享的地方，使得各業務和產品能方便的獲取數據；和數據採集層到HDFS剛好相反，這里需要一個從HDFS將數據同步至其他目標數據源的工具，同樣，DataX也可以滿足。
- 另外，一些實時計算的結果數據可能由實時計算模塊直接寫入數據共享。
- 數據應用
業務產品
- 業務產品所使用的數據，已經存在於數據共享層，他們直接從數據共享層訪問即可；
報表
- 同業務產品，報表所使用的數據，一般也是已經統計匯總好的，存放於數據共享層；
即席查詢
- 即席查詢的用戶有很多，有可能是數據開發人員、網站和產品運營人員、數據分析人員、甚至是部門老大，他們都有即席查詢數據的需求；
- 這種即席查詢通常是現有的報表和數據共享層的數據並不能滿足他們的需求，需要從數據存儲層直接查詢。
- 即席查詢一般是通過SQL完成，最大的難度在於響應速度上，使用Hive有點慢，目前我的解決方案是SparkSQL，它的響應速度較Hive快很多，而且能很好的與Hive兼容。
- 當然，你也可以使用Impala，如果不在乎平台中再多一個框架的話。
OLAP
- 目前，很多的OLAP工具不能很好的支持從HDFS上直接獲取數據，都是通過將需要的數據同步到關系型資料庫中做OLAP，但如果數據量巨大的話，關系型資料庫顯然不行；
- 這時候，需要做相應的開發，從HDFS或者HBase中獲取數據，完成OLAP的功能；
- 比如：根據用戶在界面上選擇的不定的維度和指標，通過開發介面，從HBase中獲取數據來展示。
其它數據介面
- 這種介面有通用的，有定製的。比如：一個從Redis中獲取用戶屬性的介面是通用的，所有的業務都可以調用這個介面來獲取用戶屬性。
- 實時計算現在業務對數據倉庫實時性的需求越來越多，比如：實時的了解網站的整體流量；實時的獲取一個廣告的曝光和點擊；在海量數據下，依靠傳統資料庫和傳統實現方法基本完成不了，需要的是一種分布式的、高吞吐量的、延時低的、高可靠的實時計算框架；Storm在這塊是比較成熟了，但我選擇Spark Streaming，原因很簡單，不想多引入一個框架到平台中，另外，Spark Streaming比Storm延時性高那麼一點點，那對於我們的需要可以忽略。
- 我們目前使用Spark Streaming實現了實時的網站流量統計、實時的廣告效果統計兩塊功能。
- 做法也很簡單，由Flume在前端日誌伺服器上收集網站日誌和廣告日誌，實時的發送給Spark Streaming，由Spark Streaming完成統計，將數據存儲至Redis，業務通過訪問Redis實時獲取。
- 任務調度與監控在數據倉庫/數據平台中，有各種各樣非常多的程序和任務，比如：數據採集任務、數據同步任務、數據分析任務等；
- 這些任務除了定時調度，還存在非常復雜的任務依賴關系，比如：數據分析任務必須等相應的數據採集任務完成後才能開始；數據同步任務需要等數據分析任務完成後才能開始；這就需要一個非常完善的任務調度與監控系統，它作為數據倉庫/數據平台的中樞，負責調度和監控所有任務的分配與運行。
- 前面有寫過文章，《大數據平台中的任務調度與監控》,這里不再累贅。
- 總結在我看來架構並不是技術越多越新越好，而是在可以滿足需求的情況下，越簡單越穩定越好。目前在我們的數據平台中，開發更多的是關注業務，而不是技術，他們把業務和需求搞清楚了，基本上只需要做簡單的SQL開發，然後配置到調度系統就可以了，如果任務異常，會收到告警。這樣，可以使更多的資源專注於業務之上。
C. 怎樣設計醫院數據存儲備份方案
醫院數據存儲備份建議都採用提供NAS功能的存儲設備，因為醫院的數據大量需要被多個系統共享的，而且醫院基本一個業務系統一台伺服器，不可能多台伺服器同時掛載一個存儲空間，因此用NAS是最好的方式，資料庫之類以用光纜直連就行了，預算充足的話可以ORACLE RAC做個負載和容災。建議存儲空間盡量滿足3年需求，且存儲能掛接其他不同品牌存儲的磁碟空間（一般高端存儲才有這功能，IBM的v7000的話性能不是很好用在醫院這個讀寫頻繁的地方恐怕會性能瓶頸）
存儲最好帶數據自動分層和歸檔功能，當然這個是增值附加功能，不是必須的
備份的話建議用另一台存儲直接進行數據復制，同步非同步都行，同一個機房的話就同步吧，其他可以考慮虛擬帶庫，離線帶庫之類的配合備份軟體進行數據備份
D. 數據存儲設計 數據訪問設計怎麼寫
這個主要要著重寫幾個方面，你一定要多寫，寫的詳細一點。 1，管理系統的資料庫需求【這個算是概況】 2，資料庫對象模型設計 【設計核心部分】 3，資料庫的創建以及表間關系，存儲過程，視圖，觸發器的設計和定義。【標準定義部分】 4，資料庫的...
E. 簡述資料庫應用系統的設計步驟
資料庫設計的基本步驟：
1、系統需求分析與設計。
2、概念結構分析與設計。
3、邏輯結構分析與設計。
4、物理結構分析與設計。
5、系統實施。
6、系統維護。
(5)數據存儲服務設計擴展閱讀：
資料庫設計技巧：
1、原始文件與實體的關系
它可以是一對一，一對多，多對多的關系。一般來說，它們是一對一的關系：一個原始文檔只對應於一個實體。在特殊情況下，它們可以是一對多或多對一關系，即一個原始文檔對應於多個實體，或者多個原始文檔對應於一個實體。
這里的實體可以理解為基本表。在對應關系明確後，對輸入介面的設計非常有利。
2、主鍵和外鍵
一般來說，實體不能既沒有主鍵也沒有外鍵。在E－R圖中，葉中的實體可以定義主鍵或不定義主鍵（因為它沒有子代），但它必須有外鍵（因為它有父項）。
主鍵和外鍵的設計在全局資料庫的設計中起著重要的作用。當全球資料庫的設計完成後，一位美國資料庫設計專家說：「鑰匙無處不在，只有鑰匙。」。這是他資料庫設計的經驗，也體現了他對信息系統核心（數據模型）高度抽象的理念。
因為：主鍵是一個高度抽象的實體。主鍵和外鍵的配對表示實體之間的連接。
3、基本表的屬性
基本表不同於中間表和臨時表，因為它具有以下四個特點：
原子性。基本表中的欄位不可分解。
原始主義。基本表中的記錄是原始數據（基本數據）的記錄。
演繹的。所有輸出數據都可以從基本表和代碼表中的數據導出。
穩定。基本表的結構比較穩定，表中的記錄要長期保存。
在了解基本表的性質之後，在設計資料庫時，可以將基本表與中間表和臨時表區分開來。
F. 資料庫伺服器怎麼設計
我理解你問的是硬體，一般思路： 1.選平台：windows，linux還是unix 2.挑主機：哪個廠商，什麼樣的性能要求（TPCC,TPCH），什麼樣的RAS要求，什麼特殊要求如分區、虛擬化等 3.搭架構：這個和你自身的應用以及選的資料庫有關，比如oracle資料庫，是單機單實例還是RAC或者其他方式 4.配存儲：I/.O常常是資料庫的瓶頸，要配合適的存儲才能發揮伺服器性能 當然理論設計還要看實際預算，暫時想到的，供你參考 藍屏
G. 大數據下的地質資料信息存儲架構設計
頡貴琴 胡曉琴
(甘肅省國土資源信息中心)
摘要 為推進我國地質資料信息服務集群化產業化工作，更大更好地發揮地質資料信息的價值，本文針對我國現有的地質資料信息集群化共享服務平台存在的缺陷和問題，基於現有系統的存儲架構，設計了一種大數據下的地質資料信息存儲架構，以便於我國地質資料信息服務集群化產業化工作能夠適應大數據時代的數據存儲。
關鍵詞 大數據 地質資料 存儲 NoSQL 雙資料庫
0 引言
新中國成立60多年來，我國形成了海量的地質資料信息，為國民經濟和社會發展提供了重要支撐。但在地質資料管理方面長期存在資料信息分散、綜合研究不夠、數字化信息化程度不高、服務渠道不暢、服務能力不強等問題，使地質資料信息的巨大潛在價值未能得到充分發揮。為進一步提高地質工作服務國民經濟和社會發展的能力，充分發揮地質資料信息的服務功能，擴大服務領域，國土資源部根據國內外地質工作的先進經驗，做出了全面推進地質資料信息服務集群化產業化工作的部署。
目前，全國各省地質資料館都在有條不紊地對本省成果、原始和實物地質資料進行清理，並對其中重要地質資料進行數字化和存儲工作。然而，由於我國地質資源豐富，經過幾十年的積累，已經形成了海量的地質資料，數據量早已經超過了幾百太位元組(TB)。在進行地質資料信息服務集群化工作中，隨著共享數據量的不斷增大，傳統的數據存儲方式和管理系統必然會展現出存儲和檢索方面的不足以及系統管理方面的缺陷。為了解決該問題，需要設計更加先進的數據存儲架構來實現海量地質資料的存儲。
而大數據(Big Data)作為近年來在雲計算領域中出現的一種新型數據，科技工作者在不斷的研究中，設計了適合大數據存儲管理的非關系型資料庫NoSQL進行大數據的存儲和管理。本文將針對我國現有的地質資料信息集群化共享服務平台存在的缺陷和問題，利用大數據存儲管理模式的思想，提出一種海量地質資料存儲架構，改進現有系統存儲架構，以便於我國全面推進地質資料信息服務集群化產業化工作。
1 工作現狀
1.1 國內外地質資料信息的存儲現狀
在美國，主要有兩大地質資料公共服務平台，分別是地球科學信息中心(ESIC)、地球資源觀測和科學中心(EROS)，其目的是通過為社會和政府提供更加便利、快速的地質信息服務。20世紀90年代初，澳大利亞出台了國家地球科學填圖協議，採用先進的科學方法和技術進行數據存儲，從而形成了第二代澳大利亞陸地地質圖。
目前，我國地質資料信息服務集群化產業化工作剛剛起步，雖然國土資源部信息中心已經開發了地質資料信息集群化共享服務平台，並倡導各地方用戶使用該系統。但由於各個地方早期的工作背景不一致，因此各地方所使用的存儲系統也不盡相同，主要有Access、SQL Server、Oracle、MySQL等系統。本文以國土資源部信息中心開發的地質資料信息集群化共享服務平台的存儲系統MySQL為例說明。該系統是基於關系資料庫管理系統MySQL的一套分布式存儲檢索系統。該系統的部署使得我國地質資料信息服務集群化產業化工作取得了重大進展，同時也為我國建立標准統一的地質資料信息共享服務平台和互聯互通的網路服務體系奠定了堅實的基礎。然而，該系統的研發並沒有考慮到地質資料信息進一步集群化以及在未來地質資料信息進入大數據時代的信息共享和存儲管理問題，也沒有給出明確的解決方案。
1.2 大數據的存儲架構介紹
大數據是近年在雲計算領域中出現的一種新型數據，具有數據量大、數據結構不固定、類型多樣、查詢分析復雜等特點。傳統關系型資料庫管理系統在數據存儲規模、檢索效率等方面已不再適合大數據存儲。NoSQL(Not Only SQL)是與關系資料庫相對的一類資料庫的總稱。這些資料庫放棄了對關系資料庫的支持，轉而採用靈活的、分布式的數據存儲方式管理數據，從而可以滿足大數據存儲和處理的需求。NoSQL基於非關系型數據存儲的設計理念，以鍵值對進行存儲，採用的數據字的結構不固定，每一個元組可以有不一樣的欄位，且每個元組可以根據自己的需要增加一些自己的鍵值對，可以減少一些檢索時間和存儲空間。目前，應用廣泛的 NoSQL 資料庫有 Google BigTable、HBase、MongoDB、Neo4 j、Infinite Graph等。
2 大數據下的地質資料信息存儲架構設計
根據國土資源部做出的全面推進地質資料信息服務集群化產業化工作的部署，國土資源部倡導全國地質資料館使用國土資源部信息中心開發的地質資料信息集群化共享服務平台，實現地質資料信息的存儲和共享。該系統採用了資料庫管理系統MySQL作為數據存儲系統。
為了與現有系統和現有的工作進行對接，並為將來地質資料進入大數據時代後的存儲工作做准備，本文設計了一種能用於海量地質資料信息存儲並且兼容MySQL的分布式的數據存儲架構(圖1)。
整個系統可以根據不同的用戶等級分為不同的用戶管理層，由於圖幅限制，在圖1 中僅僅展示了3級：國家級管理層(即共享服務平台用戶層)、省級管理層以及市級管理層(可根據實際需要延伸至縣級)。
每級管理層的每個用戶可以單獨管理一個伺服器。如國土資源部信息中心可以單獨管理一個伺服器；甘肅省國土資源信息中心可以單獨管理一個伺服器，陝西省國土資源信息中心可以單獨管理一個伺服器；甘肅的若干個市級國土資源局可以根據需要分別管理各自的伺服器。
在伺服器上分別安裝兩套資料庫管理系統，一套是原有的MySQL資料庫管理系統，另一套是為大數據存儲而配備的NoSQL型資料庫管理系統。在伺服器上還專門開發一個資料庫管理器中間件，用於進行用戶層和資料庫的通信以及兩套資料庫之間的通信。
由於各個管理層都各自維護自己的資料庫和數據。當用戶需要進行數據存儲時，他所影響的資料庫僅僅是本地資料庫，存儲效率較高；當用戶需要從多個資料庫讀取數據時，頂層的共享服務平台會根據用戶需求進行任務分解，將任務分發給下層的管理層進行資料庫讀取，由於各個資料庫並行讀取，從而提高了資料庫讀取效率。
圖1 大數據下的地質資料信息存儲架構框圖
2.1 用戶管理層
用戶管理層根據許可權范圍，分為多層(本文以3層為例)。
位於頂層的國家級管理層(共享服務平台用戶層)負責用戶訪問許可權的分配、與其直接關聯的資料庫的訪問、下級管理層任務的分配等工作。
用戶訪問許可權的分配是指為訪問本共享服務平台的個人用戶和單位用戶分配數據的使用許可權、安全性的設計等。
與其直接關聯的資料庫訪問是指直接存儲在其本地資料庫上的數據的訪問。在該資料庫中不僅要存儲所需要的地質資料，還要存儲注冊用戶信息等數據。
下級管理層任務分配是指如果用戶需要訪問多個下層資料庫，用戶只需要輸入查詢這幾個下層資料庫的命令，而如何查找下層資料庫則由該功能來完成。例如某用戶要查找甘肅、陝西、上海、北京的鐵礦分布圖，則用戶只需要輸入這幾個地方及鐵礦等查詢條件，系統將自動把各個省的資料庫查詢任務分派到下級管理層。
同理，位於下層的省級管理層和市級管理層除了沒有用戶訪問許可權功能外，其餘功能與國家級管理層是相同的。各層之間的資料庫通過互聯網相互連接成分布式的資料庫系統。
2.2 MySQL和NoSQL的融合
MySQL是關系型資料庫，它支持SQL查詢語言，而NoSQL是非關系型資料庫，它不支持SQL查詢語言。用戶要想透明地訪問這兩套資料庫，必須要設計資料庫管理器中間件，作為用戶訪問資料庫的統一入口和兩套資料庫管理系統的通信平台。本文所設計的資料庫管理器簡單模型如圖2所示。
圖2 資料庫管理器模型
伺服器管理器通過用戶程序介面與應用程序進行通訊，通過MySQL資料庫介面與MySQL伺服器通訊，通過NoSQL資料庫介面與NoSQL資料庫介面通訊。當應用程序介面接收到一條資料庫訪問命令之後，交由資料庫訪問命令解析器進行命令解析，從而形成MySQL訪問命令或者NoSQL訪問命令，通過相應的資料庫介面訪問資料庫；資料庫返回訪問結果後經過匯總，由應用程序介面返回給應用程序。
兩套資料庫可以通過雙資料庫通信協議進行相互的通信和互訪。此通信協議的建立便於地質工作人員將已經存入MySQL資料庫的不適合結構化存儲的數據轉存到NoSQL資料庫中，從而便於系統的升級和優化。
2.3 系統的存儲和檢索模式
在本存儲框架設計中，系統採用分布式網路存儲模式，即採用可擴展的存儲結構，利用分散在全國各地的多台獨立的伺服器進行數據存儲。這種方式不僅分擔了伺服器的存儲壓力，提高了系統的可靠性和可用性，還易於進行系統擴展。另外，由於地質資料信息存儲的特殊性，各地方用戶的數據存儲工作基本都是在本地伺服器進行，很少通過網路進行遠程存儲，所以數據存儲效率較高。
在一台資料庫伺服器上安裝有MySQL和NoSQL型兩套資料庫管理系統，分別用於存儲地質資料信息中的結構化數據和非結構化數據。其中，NoSQL型資料庫作為主資料庫，用於存儲一部分結構化數據和全部的非結構化數據；而MySQL資料庫作為輔助資料庫，用於存儲一部分結構化的數據，以及舊系統中已經存儲的數據。使用兩套資料庫不僅可以存儲結構化數據而且還可以適用於大數據時代地質資料信息的存儲，因此系統具有很好的適應性和靈活性。
2.4 安全性設計
地質資料信息是國家的機密，地質工作人員必須要保證它的安全。地質資料信息進入數字化時代之後，地質資料常常在計算機以及網路上進行傳輸，地質資料信息的安全傳輸和保存更是地質工作人員必須關注和解決的問題。在本存儲架構的設計中設計的安全問題主要有資料庫存儲安全、數據傳輸安全、數據訪問安全等問題。
資料庫設計時採用多邊安全模型和多級安全模型阻止資料庫中信息和數據的泄露來提高資料庫的安全性能，以保障地質信息在資料庫中的存儲安全；當用戶登錄系統訪問資料庫時，必須進行用戶甄別和實名認證，這主要是對用戶的身份進行有效的識別，防止非法用戶訪問資料庫；在對地質資料進行網路傳輸時，應該首先將數據進行加密，然後再進行網路傳輸，以防止地質信息在傳輸過程中被竊取。
3 結語
提高地質資料數字化信息化水平，是國外地質工作強國的普遍做法。為推進我國地質資料信息服務集群化產業化工作，本文針對我國現有的地質資料信息集群化共享服務平台存在的缺陷和問題，利用大數據存儲管理模式的思想，基於現有系統的存儲架構，設計了一種大數據下的地質資料信息存儲架構，以便於我國地質資料信息服務集群化產業化工作能夠適應大數據時代的數據存儲。該存儲架構的設計只涉及了簡單模型的構建，具體詳細復雜的功能設計和軟體實現還需要在進一步的研究工作中完成。
參考文獻
[1]吳金朋.一種大數據存儲模型的研究與應用[D].北京：北京郵電大學計算機學院，2012.
[2]吳廣君，王樹鵬，陳明，等.海量結構化數據存儲檢索系統[J].計算機研究與發展，2012，49(Suppl)：1～5.
[3]黃
H. 如何設計存儲海量數據的存儲系統
從數據存儲的模式來看，海量存儲技術可以分為DAS(Direct Attached Storage，直接附加存儲)和網路存儲兩種，其中網路存儲又可以分為NAS(Network Attached storage，網路附加存儲)和SAN(Storage Area Net、Work，存儲區域網路
I. 無論基於哪一種數據管理方法，數據持久存儲服務的設計都包括定義
基礎120題，都搞懂了就差不多。
(1) 下面敘述正確的是______。(C)
A. 演算法的執行效率與數據的存儲結構無關
B. 演算法的空間復雜度是指演算法程序中指令（或語句）的條數
C. 演算法的有窮性是指演算法必須能在執行有限個步驟之後終止
D. 以上三種描述都不對
(2) 以下數據結構中不屬於線性數據結構的是______。(C)
A. 隊列
B. 線性表
C. 二叉樹
D. 棧
(3) 在一棵二叉樹上第5層的結點數最多是______。(B)
A. 8
B. 16
C. 32
D. 15
(4) 下面描述中，符合結構化程序設計風格的是______。(A)
A. 使用順序、選擇和重復（循環）三種基本控制結構表示程序的控制邏輯
B. 模塊只有一個入口，可以有多個出口
C. 注重提高程序的執行效率
D. 不使用goto語句
(5) 下面概念中，不屬於面向對象方法的是______。(D)
A. 對象
B. 繼承
C. 類
D. 過程調用