雲存儲系統設計
1. 基於hadoop的雲存儲實例
基於Hadoop平台的雲存儲應用實踐
http://cio.itxinwen.com/case_studies/2012/0327/402100.html
雲計算(CloudComputing)是一種基於網際網路的超級計算模式,在遠程的數據中心裡,成千上萬台電腦和伺服器連接成一片電腦雲。用戶通過電腦、筆記本、手機等方式接人數據中心,按自己的需求進行運算。目前,對於雲計算仍沒有普遍一致的定義。結合上述定義,可以總結出雲計算的一些本質特徵,即分布式計算和存儲特性、高擴展性、用戶友好性、良好的管理性。
1雲存儲架構圖
橘色的作為存儲節點(StorageNode)負責存放文件,藍色作為控制節點((ControlNode)則是負責文件索引,並負責監控存儲節點間容量及負載的均衡,這兩個部分合起來便組成一個雲存儲。存儲節點與控制節點都是單純的伺服器,只是存儲節點的硬碟多一些,存儲節點伺服器不需要具備RAID的功能,只要能安裝Linux即可,控制節點為了保護數據,需要有簡單的RAIDlevelO1的功能。
雲存儲不是要取代現有的盤陣,而是為了應付高速成長的數據量與帶寬而產生的新形態存儲系統,因此雲存儲在設計時通常會考慮以下三點:
(1)容量、帶寬的擴容是否簡便
擴容是不能停機,會自動將新的存儲節點容量納入原來的存儲池。不需要做繁復的設定。
圖1雲存儲架構圖
(2)帶寬是否線形增長
使用雲存儲的客戶,很多是考慮未來帶寬的增長,因此雲存儲產品設計的好壞會產生很大的差異,有些十幾個節點便達到飽和,這樣對未來帶寬的擴容就有不利的影響,這一點要事先弄清楚,否則等到發現不符合需求時,已經買了幾百TB,後悔就來不及了。
(3)管理是否容易。
2雲存儲關鍵技術
雲存儲必須具備九大要素:①性能;②安全性;③自動ILM存儲;④存儲訪問模式;⑤可用性;⑥主數據保護;⑦次級數據保護;⑧存儲的靈活;⑨存儲報表。
雲計算的發展離不開虛擬化、並行計算、分布式計算等核心技術的發展成熟。下面對其介紹如下:
(1)集群技術、網格技術和分布式文件系統
雲存儲系統是一個多存儲設備、多應用、多服務協同工作的集合體,任何一個單點的存儲系統都不是雲存儲。
既然是由多個存儲設備構成的,不同存儲設備之間就需要通過集群技術、分布式文件系統和網格計算等技術,實現多個存儲設備之間的協同工作,使多個的存儲設備可以對外提供同一種服務,並提供更大更強更好的數據訪問性能。如果沒有這些技術的存在,雲存儲就不可能真正實現,所謂的雲存儲只能是一個一個的獨立系統,不能形成雲狀結構。
(2)CDN內容分發、P2P技術、數據壓縮技術、重復數據刪除技術、數據加密技術
CDN內容分發系統、數據加密技術保證雲存儲中的數據不會被未授權的用戶所訪問,同時,通過各種數據備份和容災技術保證雲存儲中的數據不會丟失,保證雲存儲自身的安全和穩定。如果雲存儲中的數據安全得不到保證,也沒有人敢用雲存儲了。
(3)存儲虛擬化技術、存儲網路化管理技術
雲存儲中的存儲設備數量龐大且分布多在不同地域,如何實現不同廠商、不同型號甚至於不同類型(例如FC存儲和IP存儲)的多台設備之間的邏輯卷管理、存儲虛擬化管理和多鏈路冗餘管理將會是一個巨大的難題,這個問題得不到解決,存儲設備就會是整個雲存儲系統的性能瓶頸,結構上也無法形成一個整體,而且還會帶來後期容量和性能擴展難等問題。
2. 一個「雲存儲公開審計系統」的設計思路
「雲存儲公開審計系統」的設計思路難度不大,我稍微指點你。
3. 雲存儲的底層關鍵技術有哪些
一切以客戶的需求為出發點。傳統存儲以文件系統為典型代表,但是隨著數據爆炸性增長,傳統文件系統已經無法滿足對存儲系統的容量、性能等需求,因此,雲存儲應運而生。雲存儲最大的特點是數據被集中存儲在數據中心,公有雲存儲將客戶數據存放在公有雲服務商數據中心,而私有雲存儲則是將公有雲存儲能力私有化部署在客戶自身的數據中心。既然提到了數據中心,可想而知雲存儲最大的特點應該是海量:解決數以PB至EB的數據存儲需求。所有雲存儲技術面對的通用問題有如下幾個:
擴展性:即容量可以通過橫向增加伺服器、磁碟等線性擴展,軟體不應該成為限制擴展性的瓶頸;
可靠性:如何保證數據不丟失,或者丟失概率極低;
可用性:如何保證數據always online;
性能:不同的客戶的不同使用場景對雲存儲性能提出不同需求。
4. 如何搭建私有雲存儲
虛擬化技術在企業私有雲IT基礎架構中仍然占據重要地位,同時,為了進一步提升應用效率,越來越多的生產環境也正在逐步變革,從以虛擬機為中心的架構向以容器和微服務為中心的雲原生架構過渡,在這個過程中,存儲如何有效支撐各種雲主機應用與微服務應用,對於企業的私有雲數據中心提出了新的挑戰。
企業面臨的問題
存儲設施七國八制,硬體鎖定缺少彈性
多種雲平台對於存儲的要求各不相同,塊/文件/對象存儲對應不同類型的應用,對外提供不同的服務介面,一種存儲設備無法滿足多種類型的雲平台存儲需求,而且傳統存儲在擴展性方面不能滿足雲時代大規模雲平台對存儲在線彈性擴容的需求,在可維護性方面則面臨硬體架構綁定、運維復雜、難以維保等問題,而且這些問題會隨著存儲設備種類和數量的增多進一步放大。
業務調度變更頻繁,資源不能共享
隨著開發測試虛擬機以及容器、微服務平台在企業私有雲平台的上線,大型企業的應用快速迭代、頻繁發布對存儲系統的支撐提出了嚴峻挑戰,不同業務的數據保存在不同廠商的存儲設備中,數據流動性差,不僅導致存儲空間及性能資源浪費嚴重,數據災備方案也很難統一化。
開源產品難以維護,不能實現企業級產品化
基於開源虛擬化技術的雲平台如OpenStack為眾多客戶提供了快速構建私有雲基礎設施的能力,但是存儲部分卻不一樣,開源的存儲系統如Ceph雖然可以小規模部署試用, 但在大規模商用時會遇到很多問題:與硬體和企業級應用生態融合程度不高,嚴重依賴人工開發運維,在性能和服務質量方面不能滿足核心業務的需求
杉岩私有雲存儲解決方案
杉岩私有雲存儲解決方案充分發揮了杉岩統一存儲平台(USP)的雲適配、開放等優勢,支持各種復雜的應用負載,可靈活支撐私有雲的虛擬化平台,如VMware、Citrix、OpenStack等虛擬化和雲平台,以及通過Kubernetes軟體一致性認證的所有容器雲平台,如:Rancher、Openshift、Kubernetes等。
通過杉岩統一存儲平台,用戶可快速構建能夠兼容所有主流虛擬化平台與容器微服務平台的統一存儲資源池,面對各種虛擬機和微服務需求,池化的存儲平台為大規模雲環境提供了可靠的存儲基礎架構支撐,幫助用戶從紛繁復雜的基礎架構運維工作中解放出來,更關注於私有雲上運行的業務本身。
客戶價值
資源整合,鏈接企業信息孤島
單資源池提供塊、文件、對象多種存儲服務,支持虛擬化平台和資料庫應用;強大的存儲資源生命周期管理能力,跨雲平台在線遷移數據,實現數據共享和提高資源利用率;存儲卷QoS等級和性能優先順序在線調整,可根據企業資源和業務需求合理配置資源。
開放兼容,適配多種私有雲平台
通過VMware VAAI和Citrix Ready認證,針對主流虛擬化平台優化I/O性能,大幅提升虛擬機訪問的性能。通過OpenStack Cinder認證,可提供塊和對象存儲基礎架構支撐支持容器平台CSI介面認證,為Kubernetes生態的容器應用提供塊和文件存儲服務。
智能管理,解決規模化運維難題
向導式安裝部署和自助擴容配置,極大提升易用性和可維護性,管理自動化降低運維成本;針對大規模集群優化的可靠性管理,檢測和修復硬碟軟錯誤的專利技術,節約用戶硬體投資。存儲視角的管理功能,可視化展示主機、容器與存儲的映射關系和性能監控協助管理員快速定位和解決問題。
5. 中國電信有沒有雲儲存功能
你好,天翼雲盤極速傳速——上傳下載不限速。通過中國電信專屬高速傳出通道,文件傳輸過程多重加密,防釣魚放盜,安全更可靠。網路級數據安全保障技術為文件保駕護航,一鍵就能備份手機中的照片、視頻、通信錄、微信文件等數據。採用SSL加密傳輸,一鍵備份也不擔心文件丟失,需要的時候在雲盤快速找到。用天翼雲盤極速安全的珍藏美海時光,體驗精彩的雲上生活。可以通過充值會員擴充至 4T、8T,會員分為黃金會員和鉑金會員兩個等級。
6. 華為雲存儲的解決方案
為此,華為推出了基於雲存儲系統和雲存儲服務平台構建的端到端存儲服務解決方案,幫助運營商快速、經濟地提供雲存儲服務與發展用戶。 華為雲存儲系統具備彈性擴展、安全可靠、自動化管理等特點,以及豐富的業務支撐能力,滿足海量數據的存儲以及大規模業務承載的需求。
彈性擴展:高效的存儲基礎架構需支持在性能和容量兩個維度上進行擴展。華為雲存儲系統基於橫向擴展(Scale-out)架構設計,對上層業務平台提供透明的存儲資源服務,屏蔽底層的硬體差異,能夠幫助運營商實現存儲容量的擴展和業務性能的提升。
在容量擴展方面,雲存儲系統支持通過增加硬碟、存儲域和存儲節點三種方式擴展系統容量。此外,雲存儲系統通過統一的資源和I/O調度,使得新接入的存儲域和存儲節點能夠與已有的域和節點一起為上層業務提供存儲服務,實現整系統存儲空間從TB到EB的線性擴展,再通過跨域互聯、訪問重定向等技術,對多個資源池進行統一部署和調度管理。
在性能提升方面,雲存儲系統通過分布式存儲軟體協調大量的存儲硬體節點並行對外提供數據存儲服務,海量數據均勻下發到每個存儲節點的每個硬碟,充分發揮域內節點與硬碟的並行處理能力,使系統在擴展存儲容量的同時,也提升存儲系統的讀寫性能。
安全可靠:華為雲存儲系統從以下兩方面保證用戶數據在整個生命周期內的安全可靠。 通過Erasure Code技術,對文件進行條帶化後生成多個數據塊,並計算若干個校驗塊,同時將所有的數據塊和校驗塊分別存放在不同存儲節點上,若其中一個或多個存儲節點發生故障,系統可在提供正常的讀寫服務的同時,自動在後台進行數據重構,將故障節點上的數據重構到其他節點上。這種節點間的數據保護技術確保華為雲存儲系統具有較高的數據可靠性。
雲存儲系統通過許可權控制和加密來保證數據私密性。在許可權控制層面,擁有存儲業務的用戶或系統的各類管理員的操作必須被授權,不同許可權用戶執行不同的操作。在加密層面,系統選擇HTTP-SSL方式作為數據傳輸安全的技術實現方案,防止傳輸過程中的惡意監聽與篡改,保證數據傳輸的私密性、一致性和不可抵賴性。對於用戶的關鍵信息,如登錄密碼和系統訪問等鑒權信息,雲存儲系統也從客戶端到服務端都進行加密處理,能夠有效保障用戶關鍵信息的安全性。
自動化管理:雲存儲系統通過「一鍵部署」、「批量升級」、「智能告警」等功能實現系統的自動部署與管理。設備上電後管理軟體遠程對所有設備進行安裝、配置,降低系統部署難度,縮短部署時間。同時,存儲節點的批量升級,整個過程無需人工干預和控制,不中斷業務,實現業務透明化。雲存儲管理系統還能夠提供完整的圖形化管理界面,動態反映雲存儲系統的拓撲結構,實現存儲節點和網路設備的統一管理,提高系統運維效率,降低運營成本。
介面豐富:針對不同類型的應用對存儲的訪問需求,如IPTV、視頻監控、網盤等,雲存儲系統提供了文件存儲介面——NFS/CIFS、對象存儲介面——REST,以及針對第三方雲服務的API,滿足各種終端、各種應用的存儲接入。 基於雲存儲系統,雲存儲服務平台不僅可以提供空間租賃、在線存儲、集中備份等服務,還具備完善的業務管理功能。
空間租賃:無論是中小企業還是大型企業,數據增長的速度遠遠超過了對存儲設備投資的幅度。而且部署大型的存儲設備,不僅降低了業務靈活性,也增加了運維成本。通過運營商提供的空間租賃服務,企業可以按需購買存儲空間進行數據存儲,不僅可以更靈活地滿足存儲需求,也免去了繁雜的自運維過程。
在線存儲:在線存儲服務為個人用戶提供了遠端大容量的存儲空間。個人用戶可通過web方式、PC客戶端、手機客戶端三種形式訪問個人數據,web方式能夠使瀏覽器和本地桌面無縫結合;PC客戶端通過將網路資源本地化,不改變用戶的操作習慣;手機客戶端簡單易操作,方便用戶實時訪問,多種訪問方式實現用戶終端的多屏互動、文件同步。
集中備份:中小企業備份系統的建設面臨建設門檻高、周期長等問題,運營商提供的集中備份服務是對企業備份系統「效率」與「安全」的雙重升級,通過集中備份服務能夠實現本地數據共享,按需申請雲端備份空間,以及對重要數據進行本地與雲端的兩級備份。
「兩級備份」通過本地雲存儲網關與遠端雲存儲數據中心共同實現。首先,本地部署的雲存儲網關進行本地的一次備份,保證備份效率;其次,通過本地雲存儲網關的數據同步功能,實現網關上的數據到雲存儲數據中心的二次備份,進一步提高數據的安全性。
大數據時代的到來,將促使更多的企業與個人將數據遷移到雲端,這一過程為運營商向綜合信息服務提供商的轉型創造了良好的契機。華為雲存儲解決方案將致力於為運營商開展雲存儲服務提供良好支撐,華為已經與中國電信、中國移動就雲存儲服務進行了深入的合作。
7. 雲存儲的基本結構包括幾部分
你好,
雲存儲系統的結構模型由4層組成。
存儲層:存儲層是雲存儲最基礎的部分。存儲設備可以是FC光纖通道存儲設備,可以是NAS和 iSCSI等IP存儲設備,也可以是 SCSI或SAS等 DAS存儲設備。雲存儲中的存儲設備往往數量龐大且分布多不同地域,彼此之間通過廣域網、互聯網或者 FC光纖通道網路連接在一起。
存儲設備之上是一個統一存儲設備管理系統,可以實現存儲設備的邏輯虛擬化管理、多鏈路冗餘管理,以及硬體設備的狀態監控和故障維護。
基礎管理:基礎管理層是雲存儲最核心的部分,也是雲存儲中最難以實現的部分。基礎管理層通過集群、分布式文件系統和網格計算等技術,實現雲存儲中多個存儲設備之間的協同工作,使多個的存儲設備可以對外提供同一種服務,並提供更大更強更好的數據訪問性能。
應用介面:應用介面層是雲存儲最靈活多變的部分。不同的雲存儲運營單位可以根據實際業務類型,開發不同的應用服務介面,提供不同的應用服務。比如視頻監控應用平台、IPTV和視頻點播應用平台、網路硬碟引用平台,遠程數據備份應用平台等。
訪問層:任何一個授權用戶都可以通過標準的公用應用介面來登錄雲存儲系統,享受雲存儲服務。雲存儲運營單位不同,雲存儲提供的訪問類型和訪問手段也不同。
8. 雲存儲怎麼更好實現容錯
雲存儲系統具有良好的可擴展性、容錯性,以及內部實現對用戶透明等特性,這一切都離不開分布式文件系統的支撐。現有的雲存儲分布式文件系統包括GFS、HDFS、Lustre、FastDFS、PVFS、GPFS、PFS、Ceph和TFS等。它們的許多設計理念類似,同時也各有特色。下面對現有的分布式文件系統進行詳細介紹。
1 Google File System (GFS)
GFS是一個可擴展的分布式文件系統,其主要用於處理大的分布式數據密集型應用。GFS的一大特色就是其運行於大量普通的廉價硬體上,通過GFS文件系統提供容錯功能,並給大量用戶提供可處理海量數據的高性能服務。和傳統標准相比,GFS文件規模巨大,其主要用來處理大文件。此外,GFS大多通過直接追加新數據來改變文件,而非覆蓋現有數據,一旦數據寫入完成,文件就僅支持讀操作。
2 Lustre文件系統
Lustre文件系統是一種典型的基於對象存儲技術 的分布式文件系統, 目前,該文件系統已經廣泛用於國外許多高性能計算機構,如美國能源部、Sandia國家實驗室、Pacific Northwest國家實驗室等。Top500機器中有多台均採用的是Lustre文件系統。
Lustre文件系統的大文件性能良好 ,其通過基於對象的數據存儲格式,將同一數據文件分為若干個對象分別存儲於不同的對象存儲設備。大文件I/O操作被分配到不同的對象存儲設備上並行實施,從而實現很大的聚合帶寬。此外,由於Lustre融合了傳統分布式文件系統的特色和傳統共享存儲文件系統的設計理念,因此其具有更加有效的數據管理機制、全局數據共享、基於對象存儲、存儲智能化,以及可快速部署等一系列優點。盡管如此,由於Lustre採用分布式存儲結構將元數據和數據文件分開存儲,訪問數據之前需要先訪問元數據伺服器,這一過程增加了網路開銷,從而使得Lustre的小文件I/O操作性能較差。
3 FastDFS文件系統
FastDFS是一個輕量級分布式文件系統,其體系架構如圖3所示,整個文件系統由客戶端(Cli—ent)、跟蹤器(Tracker)和存儲節點(Storage)三部分組成。系統服務端有Tracker和Storage兩個角色,Tracker用來負責作業的調度和負載均衡,Storage則用於存儲文件,並負責管理文件。為支持大容量的數據存儲,Storage採用分卷或分組的數據組織方式;存儲系統可由一個或多個卷組成,一個卷可以由一台或多台存儲伺服器構建。同一個卷下的多台存儲伺服器中的數據文件都是相同的,卷與卷之間的文件則相互獨立,通過這種數據組織方式,可以很好地實現數據冗餘備份以及系統負載均衡的目的。
圖 FastDFS文件系統體系結構示意圖
4 Parallel Virtual File System (PVFS)
由Clemson大學設計並成功開發的PVFS是一種構建在Linux操作系統之上的開源並行虛擬文件系統。PVFS基於傳統的C/S架構進行設計,整個文件系統由管理結點、計算結點和I/0結點三大部分組成,管理結點負責處理文件的元數據,計算節點用來執行各種計算任務,I/0結點則主要負責數據文件的存儲和讀寫,並負責給計算結點提供所需的數據。在整個集群系統范圍內,PVFS使用一致的全局命名空間,另外,PVFS應用對象存儲的概念,將數據文件條塊化為多個對象並分別存儲到多個存儲結點上。由於在網路通信方面,PVFS只支持TCP網路通信協議,這使得其靈活性不足;此外,由於PVFS應用對象存儲的概念進行數據文件的存儲,其在處理小文件時性能也不太理想。
5 General Parallel File System (GPFS)
GPFS的前身是Tiger Shark多媒體文件系統,其是IBM專為Linux集群系統設計的並行共享文件系統。在系統結構上,GPFS主要借鑒了IBM Linux集群系統中的虛擬共享磁碟技術,計算節點可以通過使用交換網路來同時並行訪問系統中多個磁碟中的數據,並依賴這一訪問方式來實現較高的I/O帶寬。GPFS的主要特點包括:通過循環的方式將大文件存儲在不同的磁碟上,同時通過合並操作來處理小文件的讀寫,使用動態選舉的元數據結點來管理元數據;此外,GPFS還具有基於日誌的失效節點的自動恢復策略以及集中式的數據鎖機制。
6 Parallel File System (PFS)
Sun公司的PFS分布式文件系統可以很好地支持高性能和可擴展的I/O操作,其主要設計思想是將文件分布在多個磁碟和伺服器上,並將存放文件的多個設備邏輯上看成一個虛擬磁碟來統一管理。很顯然,PFS可以同時跨越多個存儲系統,可以將整個PFS中的所有存儲設備都看成是這個虛擬磁碟的一部分;當有多個節點同時訪問同一文件時,PFS可以並行地為這些節點提供訪問服務。PFS分布式文件系統構建於Solaris操作系統之上,主要包括宿主節點、計算節點、I/O從屬節點和I/O主機節點。宿主節點是PFS提供給其它系統的人口,只有成功登錄到宿主節點的用戶才是合法的,才可以訪問PFS內部的數據文件。計算節點主要用來管理PFS系統的通信和內存資源。L/O主機節點則主要負責文件系統的目錄管理和存儲塊管理,同時為存儲數據文件提供讀寫服務。I/O從屬節點僅用來處理磁碟的讀寫操作和空白塊的分配工作。
7 Ceph雲存儲文件系統
Ceph是Califomia大學Santa Cruz分校的Sage Weil設計的一種雲存儲分布式文件系統。Ceph雲存儲文件系統的主要目標是設計基於POSIX的無節點故障分布式文件系統,並且數據文件具有容錯和無縫復制功能。Ceph文件系統具有三大特點,首先,其使用多個元數據伺服器來構建系統的命名空間,這顯著強化了元數據伺服器的並發訪問功能;其次,在元數據伺服器上,Ceph文件系統採用了動態的子樹劃分技術,並支持元數據伺服器的負載遷移,可以很好地實現元數據的負載均衡;最後,Ceph文件系統提供基於對象存儲設備的對象文件系統,並將數據文件作為一個存儲對象來對待,這有效地提高了數據文件的讀寫效率。
8 Taobao File System (TFS)
Taobao file system (TFS)是由淘寶開發的雲存儲文件系統,其主要面向海量非結構化數據存儲問題提供服務。TFS部署在普通的Linux集群上,為淘寶網提供高可靠、高並發的大量小文件數據存儲服務。TFS採用扁平化的數據組織結構將文件名映射到文件的物理地址,簡化了文件訪問流程,一定程度上優化了系統讀寫性能。
一個TFS集群由兩個NameServer節點和多個DataServer節點組成,TFS的服務程序都是作為一個用戶級的程序運行在普通Linux機器上。TFS將眾多的小文件合並成大文件,並稱這個大文件為Block,Block存儲在DataServer上,每個Block在TFS系統內均擁有唯一的Id號。NameServer負責維護block與DataServer之間的映射關系。NameServer採用HA結構,即雙機互為熱備份,來實現容災功能,兩台NameServer同時運行,其中一台為主節點,另外一台作為備用節點。當主NameServer節點出現故障後,迅速將備份NameServer切換為主節點並對外提供服務。
9. 安防雲存類型分為哪幾類
在安防行業實際碰到的存儲系統多種多樣,大致可以分為傳統存儲、IT雲存儲、通用雲存儲、安防雲存儲四種。
傳統存儲主要是IPSAN/NAS和NVR/CVR融合業務層實現N+0模式。IPSAN後面掛載磁碟擴展櫃的模式,提供單機內的磁碟級raid級別可靠性,業務系統上要分別進行掛載,使用復雜,容錯性差。
NVR/CVR的N+0是要在業務層實現單機故障時仍然可寫入,對於不了解的情況下會以雲存概念進行保障,但仍然無法解決存儲故障和彈性擴容等一系列問題。
IT雲存儲主要是指IT廠商在傳統的IPSAN/NAS上進行突破,提供的NAS集群/分布式塊存儲。更多的是作為一個通用IT應用場景給資料庫和虛擬機提供塊設備,企業應用按目錄空間管理提供許可權和文件讀寫。
通用雲存儲主要是指通用型的分布式存儲系統按照通用介面提供一寫多讀能力,和通用大數據組件打通,可作為底層存儲系統。
主要是S3形態的對象存儲和HDFS類文件系統,兩者在操作語義上存在差異,在於一個是按對象模式操作,一個是按類似傳統文件系統模式操作(類posix語義但又非標)。
安防雲存儲是指針對安防行業視頻圖片業務場景進行深化設計,基於分布式架構實現的文件存儲系統可以提供對象語義或文件語義。
具備高並發寫入、高存儲利用率、高可靠存儲等特點,支持邊寫邊讀、多網路視頻、圖片處理、文件鎖定等功能,滿足安防不同業務場景7x24小時不間斷的應用需求。
10. 雲存儲架構分哪些層次,各自實現了什麼功能
(1)存儲層
雲存儲系統對外提供多種不同的存儲服務,各種服務的數據統一存放在雲存儲系統中,形成一個海量數據池。從大多數網路服務後台數據組織方式來看,傳統基於單伺服器的數據組織難以滿足廣域網多用戶條件下的吞吐性能和存儲容量需求;基於P2P架構的數據組織需要龐大的節點數量和復雜編碼演算法保證數據可靠性。相比而言,基於多存儲伺服器的數據組織方法能夠更好滿足在線存儲服務的應用需求,在用戶規模較大時,構建分布式數據中心能夠為不同地理區域的用戶提供更好的服務質量。
雲存儲的存儲層將不同類型的存儲設備互連起來,實現海量數據的統一管理,同時實現對存儲設備的集中管理、狀態監控以及容量的動態擴展,實質是一種面向服務的分布式存儲系統。
(2)基礎管理層
雲存儲系統架構中的基礎管理層為上層提供不同服務間公共管理的統一視圖。通過設計統一的用戶管理、安全管理、副本管理及策略管理等公共數據管理功能,將底層存儲與上層應用無縫銜接起來,實現多存儲設備之間的協同工作,以更好的性能對外提供多種服務。
(3)應用介面層
應用介面層是雲存儲平台中可以靈活擴展的、直接面向用戶的部分。根據用戶需求,可以開發出不同的應用介面,提供相應的服務。比如數據存儲服務、空間租賃服務、公共資源服務、多用戶數據共享服務、數據備份服務等。
(4)訪問層
通過訪問層,任何一個授權用戶都可以在任何地方,使用一台聯網的終端設備,按照標準的公用應用介面來登錄雲存儲平台,享受雲存儲服務。
2雲存儲技術的優勢
作為新興的存儲技術,與傳統的購買存儲設備和部署存儲軟體相比,雲存儲方式存在以下優點:
(1)成本低、見效快
傳統的購買存儲設備或軟體定製方式下,企業根據信息化管理的需求,一次性投入大量資金購置硬體設備、搭建平台。軟體開發則經過漫長的可行性分析、需求調研、軟體設計、編碼、測試這一過程。往往在軟體開發完成以後,業務需求發生變化,不得不對軟體進行返工,不僅影響質量,提高成本,更是延誤了企業信息化進程,同時造成了企業之間的低水平重復投資以及企業內部周期性、高成本的技術升級。在雲存儲方式下,企業除了配置必要的終端設備接收存儲服務外,不需要投入額外的資金來搭建平台。企業只需按用戶數分期租用服務,規避了一次性投資的風險,降低了使用成本,而且對於選定的服務,可以立即投入使用,既方便又快捷。
(2)易於管理
傳統方式下,企業需要配備專業的IT人員進行系統的維護,由此帶來技術和資金成本。雲存儲模式下,維護工作以及系統的更新升級都由雲存儲服務提供商完成,企業能夠以最低的成本享受到最新最專業的服務。
(3)方式靈活
傳統的購買和定製模式下,一旦完成資金的一次性投入,系統無法在後續使用中動態調整。隨著設備的更新換代,落後的硬體平台難以處置;隨著業務需求的不斷變化,軟體需要不斷地更新升級甚至重構來與之相適應,導致維護成本高昂,很容易發展到不可控的程度。而雲存儲方式一般按照客戶數、使用時間、服務項目進行收費。企業可以根據業務需求變化、人員增減、資金承受能力,隨時調整其租用服務方式,真正做到「按需使用」。
3雲存儲技術趨勢
隨著寬頻網路的發展,集群技術、網格技術和分布式文件系統的拓展,CDN內容分發、P2P、數據壓縮技術的廣泛運用,以及存儲虛擬化技術的完善,雲存儲在技術上已經趨於成熟,以「用戶創造內容」和「分享」為精神的Web2.0推動了全網域用戶對在線服務的認知。