傳統的數據存儲的管理技術

A. 雲計算儲存跟傳統的儲存有什麼區別

雲計算儲存跟傳統的儲存區別有:
當雲計算系統運算和處理的核心是大量數據的存儲和管理時，雲計算系統中就需要配置大量的存儲設備，那麼雲計算系統就轉變成為一個雲存儲系統，所以雲存儲是一個以數據存儲和管理為核心的雲計算系統。

由於用戶數量眾多，存儲系統需要存儲的文件將呈指數級增長態勢，這就要求存儲系統的容量擴展能夠跟得上數據量的增長，做到無限擴容，同時在擴展過程中最好還要做到簡便易行，不能影響到數據中心的整體運行，如果容量的擴展需要復雜的操作，甚至停機，這無疑會極大地降低數據中心的運營效率。
雲時代的存儲系統需要的不僅僅是容量的提升，對於性能的要求同樣迫切，與以往只面向有限的用戶不同，在雲時代，存儲系統將面向更為廣闊的用戶群體，用戶數量級的增加使得存儲系統也必須在吞吐性能上有飛速的提升，只有這樣才能對請求作出快速的反應，這就要求存儲系統能夠隨著容量的增加而擁有線性增長的吞吐性能，這顯然是傳統的存儲架構無法達成的目標。
傳統的存儲系統由於沒有採用分布式的文件系統，無法將所有訪問壓力平均分配到多個存儲節點，因而在存儲系統與計算系統之間存在著明顯的傳輸瓶頸，由此而帶來單點故障等多種後續問題，而集群存儲正是解決這一問題，滿足新時代要求的一劑良葯。
雲存儲技術與傳統存儲技術
性能問題。由於數據量的激增，數據的索引效率也變得越來越為人們關注。而動輒上TB的數據。甚至是幾百TB的數據，在索引時往往需要花上幾分鍾的時間。
傳統的存儲技術是把所有數據都當作對企業同等重要和同等有用來進行處理，所有的數據集成到單一的存儲體系之中，以滿足業務持續性需求。但是在面臨大數據時就顯得捉襟見肘：
成本激增。在大型項目中，前端圖像信息採集點過多，單台伺服器承載量有限，就造成需要配置幾十台，甚至上百台伺服器的狀況。這就必然導致建設成本、管理成本、維護成本、能耗成本的急劇增加;
磁碟碎片問題。由於視頻監控系統往往採用回滾寫入方式，這種無序的頻繁讀寫操作，導致了磁碟碎片的大量產生。隨著使用時間的增加，將嚴重的影響整體存儲系統的讀寫性能，甚至導致存儲系統被鎖定為只讀，而無法寫入新的視頻數據;
與傳統存儲相比，雲存儲則具有以下幾點突出的優勢：
量身定製。這個主要是針對於私有雲。雲服務提供商專門為單一的企業客戶提供一個量身定製的雲存儲服務方案，或者可以是企業自己的IT機構來部署一套私有雲服務架構。私有雲不但能為企業用戶提供最優質的貼身服務，而且還能在一定程度上降低安全風險;
成本低。就目前來說，企業在數據存儲上所付出的成本是相當大的，而且這個成本還在隨著數據的暴增而不斷增加。為了減少這一成本壓力，許多企業將大部分數據轉移到雲存儲上，讓雲存儲服務提供商來為他們解決數據存儲的問題。這樣就能花很少的價錢獲得最優的數據存儲服務;
管理方便。其實這一項也可以歸納為成本上的優勢。因為將大部分數據遷移到雲存儲上去後，所有的升級維護任務都是由雲存儲服務提供商來完成，節約了企業存儲系統管理員上的成本壓力。還有就是雲存儲服務強大的可擴展性，當企業用戶發展壯大後，突然發現自己先前的存儲空間不足，就必須要考慮增加存儲伺服器來滿足現有的存儲需求。而雲存儲服務則可以很方便的在原有基礎上擴展服務空間，滿足需求。;
要知道，傳統的存儲模式已經不再適應當代數據暴增的現實問題，如何讓新興的雲存儲發揮它應有的能力，在解決安全、兼容等問題上，我們還需要不斷的努力，而目前，雲計算是一個很好的選擇，作為其核心的雲存儲必將成為未來存儲技術的必然趨勢。

B. 用傳統資料庫系統管理空間數據，存在什麼不足之處

早期的資料庫管理都是採用文件系統。在文件系統中，數據按其內容、結構和用途組成若干命名的文件。文件一般為某個用戶或用戶組所有，但可供其他用戶共享。用戶可以通過操作系統對文件進行打開、讀、寫和關閉等操作。

文件系統有明顯的缺點:
(1).編寫應用程序很不方便。
應用程序的設計者必須對所用的文件的邏輯及物理結構有清楚的了解。操作系統 只能打開、關 閉、讀、寫等幾個低級的文件操作命令，對文件的查詢修改等處理都須在應用程序內解決。應用程序還 不可避免地在功能上有所重復。在文件系統上編寫應用程序的效率不高。
(2).文件的設計很難滿足多種應用程序的不同要求，數據冗餘經常是不可避免的。
為了兼顧各種應用程序的要求，在設計文件系統時，往往不得不增加冗餘的數據。數據冗餘不僅浪費空間，而且會帶來數據的不一致性（inconsistency).在文件系統中沒有維護數據一致性的監控機制，數據的一致性完全有用戶負責維護。在簡單的系統中勉強能應付，但在大型復雜的系統中幾乎是不可能完成的。
(3).文件結構的修改將導致應用程序的修改，應用程序的維護量將很大。
(4).文件系統不支持對文件的並發訪問（concurrent access）。
(5).數據缺少統一管理，在數據的結構、編碼、表示格式、命名以及輸出格式等方面不容易做到規范化、標准化；數據安全和保密方面，也難以採取有效的辦法。

C. 傳統大數據存儲的架構有哪些各有什麼特點

數據時代，移動互聯、社交網路、數據分析、雲服務等應用的迅速普及，對數據中心提出革命性的需求，存儲基礎架構已經成為IT核心之一。政府、軍隊軍工、科研院所、航空航天、大型商業連鎖、醫療、金融、新媒體、廣電等各個領域新興應用層出不窮。數據的價值日益凸顯，數據已經成為不可或缺的資產。作為數據載體和驅動力量，存儲系統成為大數據基礎架構中最為關鍵的核心。

傳統的數據中心無論是在性能、效率，還是在投資收益、安全，已經遠遠不能滿足新興應用的需求，數據中心業務急需新型大數據處理中心來支撐。除了傳統的高可靠、高冗餘、綠色節能之外，新型的大數據中心還需具備虛擬化、模塊化、彈性擴展、自動化等一系列特徵，才能滿足具備大數據特徵的應用需求。這些史無前例的需求，讓存儲系統的架構和功能都發生了前所未有的變化。

基於大數據應用需求，「應用定義存儲」概念被提出。存儲系統作為數據中心最核心的數據基礎，不再僅是傳統分散的、單一的底層設備。除了要具備高性能、高安全、高可靠等特徵之外，還要有虛擬化、並行分布、自動分層、彈性擴展、異構資源整合、全局緩存加速等多方面的特點，才能滿足具備大數據特徵的業務應用需求。

尤其在雲安防概念被熱炒的時代，隨著高清技術的普及，720P、1080P隨處可見，智能和高清的雙向需求、動輒500W、800W甚至上千萬更高解析度的攝像機面市，大數據對存儲設備的容量、讀寫性能、可靠性、擴展性等都提出了更高的要求，需要充分考慮功能集成度、數據安全性、數據穩定性，系統可擴展性、性能及成本各方面因素。

目前市場上的存儲架構如下：

(1)基於嵌入式架構的存儲系統

節點NVR架構主要面向小型高清監控系統，高清前端數量一般在幾十路以內。系統建設中沒有大型的存儲監控中心機房，存儲容量相對較小，用戶體驗度、系統功能集成度要求較高。在市場應用層面，超市、店鋪、小型企業、政法行業中基本管理單元等應用較為廣泛。

(2)基於X86架構的存儲系統

平台SAN架構主要面向中大型高清監控系統，前端路數成百上千甚至上萬。一般多採用IPSAN或FCSAN搭建高清視頻存儲系統。作為監控平台的重要組成部分，前端監控數據通過錄像存儲管理模塊存儲到SAN中。

此種架構接入高清前端路數相對節點NVR有了較高提升，具備快捷便利的可擴展性，技術成熟。對於IPSAN而言，雖然在ISCSI環節數據並發讀寫傳輸速率有所消耗，但其憑借擴展性良好、硬體平台通用、海量數據可充分共享等優點，仍然得到很多客戶的青睞。FCSAN在行業用戶、封閉存儲系統中應用較多，比如縣級或地級市高清監控項目，大數據量的並發讀寫對千兆網路交換提出了較大的挑戰，但應用FCSAN構建相對獨立的存儲子系統，可以有效解決上述問題。

面對視頻監控系統大文件、隨機讀寫的特點，平台SAN架構系統不同存儲單元之間的數據共享冗餘方面還有待羨蠢和提高;從高性能伺服器轉發視頻數據到存儲空間的策略，從系統架構而言也增加了隱患故障點、ISCSI帶寬瓶頸導致無法充分利用硬體數據並發性能、接入前端數據較少。上述問題催生了平台NVR架構解決方案。

該方案在系統架構上省去了存儲伺服器，消除了上文提到的性能瓶頸和單點故障隱患。大幅度提高存儲系統的寫入和檢索速度;同時也徹底消除了傳統文件系統由於供電和網路的不穩定帶來的文件系統損壞等問題。

平台NVR中存儲的數據可同時供多個客戶端隨時查詢，點播，當用戶需要查看多個已保存的視頻監控數據時，可通過授權的視頻監控客戶端直接查詢並點播相應位置的視頻監控數據進行歷史圖像的查看。由於數據管理伺服器具有監控系統所有監控點的錄像文件的索引，因此通過平台CMS授權，視頻監控客戶端可以兄盯查詢並點播整個監控系統上所有監控點的數據，這個過程對用戶而言也是透明的。

(3)基於雲技術的存儲方案

當前，安防行業可謂「雲」山「物」罩。隨著視頻監控檔仿的高清化和網路化，存儲和管理的視頻數據量已有海量之勢，雲存儲技術是突破IP高清監控存儲瓶頸的重要手段。雲存儲作為一種服務，在未來安防監控行業有著可觀的應用前景。

與傳統存儲設備不同，雲存儲不僅是一個硬體，而是一個由網路設備、存儲設備、伺服器、軟體、接入網路、用戶訪問介面以及客戶端程序等多個部分構成的復雜系統。該系統以存儲設備為核心，通過應用層軟體對外提供數據存儲和業務服務。

一般分為存儲層、基礎管理層、應用介面層以及訪問層。存儲層是雲存儲系統的基礎，由存儲設備(滿足FC協議、iSCSI協議、NAS協議等)構成。基礎管理層是雲存儲系統的核心，其擔負著存儲設備間協同工作，數據加密，分發以及容災備份等工作。應用介面層是系統中根據用戶需求來開發的部分，根據不同的業務類型，可以開發出不同的應用服務介面。訪問層指授權用戶通過應用介面來登錄、享受雲服務。其主要優勢在於：硬體冗餘、節能環保、系統升級不會影響存儲服務、海量並行擴容、強大的負載均衡功能、統一管理、統一向外提供服務，管理效率高，雲存儲系統從系統架構、文件結構、高速緩存等方面入手，針對監控應用進行了優化設計。數據傳輸可採用流方式，底層採用突破傳統文件系統限制的流媒體數據結構，大幅提高了系統性能。

高清監控存儲是一種大碼流多並發寫為主的存儲應用，對性能、並發性和穩定性等方面有很高的要求。該存儲解決方案採用獨特的大緩存順序化演算法，把多路隨機並發訪問變為順序訪問，解決了硬碟磁頭因頻繁尋道而導致的性能迅速下降和硬碟壽命縮短的問題。

針對系統中會產生PB級海量監控數據，存儲設備的數量達數十台上百台，因此管理方式的科學高效顯得十分重要。雲存儲可提供基於集群管理技術的多設備集中管理工具，具有設備集中監控、集群管理、系統軟硬體運行狀態的監控、主動報警，圖像化系統檢測等功能。在海量視頻存儲檢索應用中，檢索性能尤為重要。傳統文件系統中，文件檢索採用的是「目錄-》子目錄-》文件-》定位」的檢索步驟，在海量數據的高清視頻監控，目錄和文件數量十分可觀，這種檢索模式的效率就會大打折扣。採用序號文件定位可以有效解決該問題。

雲存儲可以提供非常高的的系統冗餘和安全性。當在線存儲系統出現故障後，熱備機可以立即接替服務，當故障恢復時，服務和數據回遷;若故障機數據需要調用，可以將故障機的磁碟插入到冷備機中，實現所有數據的立即可用。

對於高清監控系統，隨著監控前端的增加和存儲時間的延長，擴展能力十分重要。市場中已有友商可提供單純針對容量的擴展櫃擴展模式和性能容量同步線性擴展的堆疊擴展模式。

雲存儲系統除上述優點之外，在平台對接整合、業務流程梳理、視頻數據智能分析深度挖掘及成本方面都將面臨挑戰。承建大型系統、構建雲存儲的商業模式也亟待創新。受限於寬頻網路、web2.0技術、應用存儲技術、文件系統、P2P、數據壓縮、CDN技術、虛擬化技術等的發展，未來雲存儲還有很長的路要走。