雲存儲科技

1. 什麼是雲存儲技術

雲存儲是在雲計算(cloud computing)概念上延伸和發展出來的一個新的概念，是指通過集群應用、網格技術或分布式文件系統等功能，將網路中大量各種不同類型的存儲設備通過應用軟體集合起來協同工作，共同對外提供數據存儲和業務訪問功能的一個系統。 當雲計算系統運算和處理的核心是大量數據的存儲和管理時，雲計算系統中就需要配置大量的存儲設備，那麼雲計算系統就轉變成為一個雲存儲系統，所以雲存儲是一個以數據存儲和管理為核心的雲計算系統。

雲存儲的兩個層面

雲存儲的兩個層面是作為雲計算支撐的存儲計算，主要涉及分布式存儲(如分布式文件系統、IPSAN、數據同步、復制)、數據存儲(如重復數據刪除、數據壓縮、數據編碼)和數據保護(如RAID、CDP、快照、備份與容災)等技術領域，如圖8-30所示，這在第6章中已有所介紹。和雲安全技術一樣，雲存儲技術也需要利用現有的所有存儲技術針對雲計算三層架構的各個環節採用適當的存儲技術，才能取得最佳效果，例如，對應不同需求，有時應該使用資料庫技術但有時卻應該使用LDAP技術，有些性能要求高的系統不能使用SAN或NAS，需直接使用基於RPC或Socket技術的並發文件系統，有些應用使用SAN成本太高等，這里不再做深入介紹。如圖8-31所示是一個採用NetApp FAS、思科 UCS和 VMWare vShpere 4技術打造的存儲系統，對上述兩種雲存儲技術和應用都有促進作用。雲存儲架構

分為兩類：一種是通過服務來架構;另一種是通過軟體或硬體設備來架構。

傳統的系統利用緊耦合對稱架構，這種架構的設計旨在解決HPC(高性能計算、超級運算)問題，現在其正在向外擴展成為雲存儲從而滿足快速呈現的市場需求。下一代架構已經採用了鬆弛耦合非對稱架構，集中元數據和控制操作，這種架構並不非常適合高性能HPC，但是這種設計旨在解決雲部署的大容量存儲需求。各種架構的摘要信息如下：

緊耦合對稱(TCS)架構

構建TCS系統是為了解決單一文件性能所面臨的挑戰，這種挑戰限制了傳統NAS系統的發展。HPC系統所具有的優勢迅速壓倒了存儲，因為它們需要的單一文件I/O操作要比單一設備的I/O操作多得多。業內對此的回應是創建利用TCS架構的產品，很多節點同時伴隨著分布式鎖管理(鎖定文件不同部分的寫操作)和緩存一致性功能。這種解決方案對於單文件吞吐量問題很有效，幾個不同行業的很多HPC客戶已經採用了這種解決方案。這種解決方案很先進，需要一定程度的技術經驗才能安裝和使用。

鬆弛耦合非對稱(LCA)架構

LCA系統採用不同的方法來向外擴展。它不是通過執行某個策略來使每個節點知道每個行動所執行的操作，而是利用一個數據路徑之外的中央元數據控制伺服器。集中控制提供了很多好處，允許進行新層次的擴展：

● 存儲節點可以將重點放在提供讀寫服務的要求上，而不需要來自網路節點的確認信息。

● 節點可以利用不同的商品硬體CPU和存儲配置，而且仍然在雲存儲中發揮作用。

● 用戶可以通過利用硬體性能或虛擬化實例來調整雲存儲。

● 消除節點之間共享的大量狀態開銷也可以消除用戶計算機互聯的需要，如光纖通道或infiniband，從而進一步降低成本。

● 異構硬體的混合和匹配使用戶能夠在需要的時候在當前經濟規模的基礎上擴大存儲，同時還能提供永久的數據可用性。

● 擁有集中元數據意味著，存儲節點可以旋轉地進行深層次應用程序歸檔，而且在控制節點上，元數據經常都是可用的。

2. 雲存儲技術可以實現什麼功能

對於初創型公司,這樣的成本有點大。當雲計算系統運算和處理的核心是大量數據的存儲和管理時,雲計算系統中就需要配置。雲存儲技術可以實現什麼功能?

1、 雲企網盤傳輸技術

加密傳輸

斷點續傳

秒傳去重

壓縮傳輸

2、 雲企網盤存儲技術

採用非結構化存儲資料庫

扁平化存儲

自動平衡備份

對象存儲，瞄準大數據

3、 雲企網盤集成擴展

提供標准介面，通過對接系統服務端對接網盤服務端。

與已有的(LdAP等)認證系統進行對接。

單節點的計算能力擴展、存儲能力擴展(集群技術)。

多數據中心分布式部署擴展。

3. 雲存儲技術的發展所面臨的瓶頸

存儲空間的安全性顧慮 目前，絕大部分企業或部門還不是很情願地把單位的重要數據保存到「雲」里去，究其原因還是對數據安全性的憂慮。而個人用戶同樣擔心的是其隱私數據的泄露。 可以說，安全問題是對雲存儲服務的最大挑戰。這一問題直接關繫到雲存儲市場的生死存亡。從客戶的角度分析，既然把重要數據交給第三方託管，自然希望SSP能夠確保數據的不被篡改、不丟失、不被非法訪問或任意竊取。而且上傳和下載的速度不能太慢，最好能夠提供實時高帶寬的傳輸服務，這就給SSP們出了一道市場考題。 網路帶寬的瓶頸 當我們保存備份重要數據的時候，當然都不希望太慢，也就是上傳下載的速度要快，而且伺服器要能及時接納大量的數據流。這就對網速的分配、網路設備的性能和SSP的管理機制帶來了極大挑戰。畢竟作為雲存儲的客戶，誰願意為了備份一段錄像而等待幾十分鍾的時間呢？ 國內網路帶寬的現狀極大限制了用戶對雲存儲的熱情，對於國內的網速和價格，大家更是感同身受。 創作平台的限制 各大SSP雲存儲服務供應商都試圖打造自己的垂直整合技術，但我們也注意到：隨之而來的內容存儲也就很難、甚至無法突破創作平台的限制。因此，各自為戰的科技公司必然會帶來一種斷裂和碎片化的生態系統。 盈利魔咒 導致雲存儲行業競爭混亂的最根本因素是盈利模式的迷茫。雲存儲是一個很大的市場，也是很有潛力的市場，可以說，誰贏得雲存儲，誰就贏得未來。為了吸引更多的用戶，雲存儲服務商必須提供更多的免費存儲空間。但隨著存儲空間的增大，付費升級的用戶就會減少。一些無其他收入來源的小型服務商勢必將無法承擔如此大的投入，它們不得不尋找其他的營收來源。SSP作為企業，它的最終目標就是盈利賺錢，而客戶則希望獲得更多、更好、低廉、甚至免費的服務。目前，企業只有採用增加廣告，降低用戶負擔的方式了，至於其他的增值服務，目前也是處於開拓階段，暫時還找不出更好的出路。 雲存儲技術的不確定性對市場的影響 海嘯、地震等自然災害或戰爭等人為因素會給雲存儲的發展帶來眾多不確定的因素，而在國內雖然不必過多擔心戰爭等人為因素，但各方面的審核和對一些敏感內容的屏蔽等因素，也增加了雲存儲的時間成本和不確定性。

4. 雲存儲的底層關鍵技術有哪些

雲計算關鍵技術 雲計算是分布式處理、並行計算和網格計算等概念的發展和商業實現，其技術實質是計算、存儲、伺服器、應用軟體等IT軟硬體資源的虛擬化，雲計算在虛擬化、數據存儲、數據管理、編程模式等方面具有自身獨特的技術。雲計算的關鍵技術包括以下幾個方向： 虛擬機技術 虛擬機，即伺服器虛擬化是雲計算底層架構的重要基石。在伺服器虛擬化中，虛擬化軟體需要實現對硬體的抽象，資源的分配、調度和管理，虛擬機與宿主操作系統及多個虛擬機間的隔離等功能，目前典型的實現（基本成為事實標准）有Citrix Xen、VMware ESX Server 和Microsoft Hype-V等。 數據存儲技術 雲計算系統需要同時滿足大量用戶的需求，並行地為大量用戶提供服務。
因此，雲計算的數據存儲技術必須具有分布式、高吞吐率和高傳輸率的特點。目前數據存儲技術主要有Google的GFS（Google File System，非開源）以及HDFS（Hadoop Distributed File System，開源），目前這兩種技術已經成為事實標准。 數據管理技術 雲計算的特點是對海量的數據存儲、讀取後進行大量的分析，如何提高數據的更新速率以及進一步提高隨機讀速率是未來的數據管理技術必須解決的問題。雲計算的數據管理技術最著名的是谷歌的BigTable數據管理技術，同時Hadoop開發團隊正在開發類似BigTable的開源數據管理模塊。
分布式編程與計算 為了使用戶能更輕松的享受雲計算帶來的服務，讓用戶能利用該編程模型編寫簡單的程序來實現特定的目的，雲計算上的編程模型必須十分簡單。必須保證後台復雜的並行執行和任務調度向用戶和編程人員透明。當前各IT廠商提出的雲計劃的編程工具均基於Map-Rece的編程模型。

5. 現在七牛雲的雲存儲技術怎麼樣啊

七牛云成立10年，专注于云存储。区别于其他公司从云主机业务开始切入市场的方式，七牛云是一家典型的技术驱动型公司。成立初期，七牛云就定位于提供一站式的海量数据解决方案。据我了解在云存储这个领域，七牛云的实力不亚于国内任何一家同类型公司。以七牛云云存储一体机为例，预集成七牛自主研发的企业级存储服务和智能多媒体计算平台。操作简单，开箱即用，支持一键扩容。并能支持节点、机架、数据中心多等级可靠性保护；支持双活、多机房、跨区域数据保护。

6. 雲存儲技術的發展現狀

市場發展迅猛 「雲存儲」作為一個備受熱捧的新興市場，在短短的幾年時間里便在國內遍地開花。在我們身邊能夠看得到，用得著的「雲」就有儲115、金山網盤、騰訊中轉、迅雷網盤，網路網盤，還有眾多品牌的智能手機或網路電視機上的雲存儲。這是一塊誘人的大蛋糕，而且前景廣闊，眾多商家都想從中分到一杯羹。 除了國內雲存儲業務迅猛發展的態勢，更令人意想不到的是國內用戶的熱情。2012—2016年中國網路存儲市場研究及未來發展趨勢報告顯示：到去年第一季度為止，國內某大型SSP的注冊用戶已突破三百萬，其他幾大SSP的注冊用戶數也不相上下。但是這些數字與現今近5億的國內網民相比仍存在著巨大的發展空間。要知道，美國Dropbox頭三年的客戶數還不足百萬，但現在已遠超五百萬了。 國內雲存儲產業面臨的挑戰 國內雲產業尚處於起步階段，市場的發展還不夠成熟，面臨的挑戰還很多。國外影響力較大的SSP雖然只有少數幾家，但客戶和業務都比較穩定，商家可以定下心來穩定地開展各類長期業務。而國內的雲存儲市場剛剛起步，客戶和SSP之間尚未進入穩定和互信的發展階段，市場還不夠成熟，客戶和SSP的業務都還存在著諸多不穩定的狀況。

7. 雲存儲的核心技術：虛擬化存儲，究竟虛擬是怎樣實現的

虛擬化改變了計算機使用存儲的方式。就像物理機器抽象成虛擬機（VM：Virtual Machine）一樣，物理存儲設備也被抽象成虛擬磁碟（Virtual Disk）。今天我們就來聊聊虛擬化存儲（Storage Virtualization）技術，究竟虛擬磁碟是怎樣實現的？
虛擬磁碟的實現
我們知道，伺服器擴展存儲的手段主要有直連存儲（DAS）、存儲區域網路（SAN）和網路附加存儲（NAS）這三種類型。那麼哪種存儲類型可以用來實現虛擬磁碟呢？
在虛擬化環境中，類似VMWare這樣的虛擬機管理程序hypervisor，要同時給很多VM分配存儲空間。這個過程中，我們需要先把物理存儲資源重新劃分成虛擬磁碟，然後再分配給VM。
顯然我們不能用DAS方式把物理磁碟直連到VM上，如果這樣，需要的物理磁碟就太多了。SAN是以邏輯單元（LUN：Logic Unit）的形式提供存儲資源，但是虛擬環境中VM的數量是很大的，而且倫的數量不足以支持這么多虛擬磁碟。
更重要的是，虛擬磁碟是為大量VM共享的，由於VM需要隨時創建、刪除或遷移，所以需要在遷移VM時共享存儲空間，只有原始數據不會丟失。DAS還是SAN，都不適合共享存儲。

考慮到資源分配以及共享的問題，虛擬機管理程序以NAS的方式實現虛擬磁碟。VMware通常使用VMFS（虛擬機文件系統）或NFS協議實現虛擬磁碟，VMFS文件系統是專門針對虛擬機環境協議。

每一個虛擬機的數據實際上是一堆文件，及最重要的文件的虛擬磁碟文件（VMDK文件），也有交換分區文件（VSWP文件，等價交換），非易失性存儲器（NVRAM的文件相當於BIOS），等等。每個VM對虛擬磁碟的IO操作實際上是對虛擬磁碟文件的讀寫操作。
設計、施工、和虛擬伺服器環境和優化，允許多個虛擬機訪問集成的集群存儲池，從而大大提高了資源的利用率。使用和實現資源共享，管理員可以直接從更高的效率和存儲利用率中獲益。
那麼我們如何在雲計算中使用虛擬磁碟呢？
實例存儲
最主要的一種使用虛擬磁碟的方式就是實例存儲，每個VM都是虛擬機的一個實例，虛擬機管理程序在每個實例中提供一個模擬硬體環境，它包括CPU、內存和磁碟。這樣，虛擬磁碟就是虛擬機實例的一部分，就像物質世界。刪除VM後，虛擬磁碟也將被刪除。
在這個實例存儲模型中，虛擬磁碟與虛擬機之間的存儲關系，事實上，它是DAS存儲。但是虛擬磁碟的底層實現，我們說，它是以NAS的方式實現的。虛擬機管理程序的作用是存儲VM層的存儲模型，這是從實施協議分離（VMFS或NFS）的虛擬機的低層。

VMFS協議實現了存儲資源的虛擬化，再分配各VMs
卷存儲
實例存儲有它的限制，開發人員通常希望分離實例數據，例如OS和安裝的一些伺服器應用程序和用戶數據，這樣重建VM的時候可以保留用戶的數據。
這個需求衍生出另外一種存儲模型：卷存儲。卷是存儲的主要單元，相當於虛擬磁碟分區。它不是虛擬機實例的一部分，它可以被認為是虛擬機的外部存儲設備。
該卷可以從一個VM卸載，然後附加到另一個VM。通過這種方式，我們實現了實例數據與用戶數據的分離。OpenStack的煤渣是一個體積存儲的實現。
除了實例存儲和卷存儲之外，最後我們還提到另一種特殊的虛擬存儲：對象存儲。
對象存儲
很多雲應用需要在不同的VM之間共享數據，它常常需要跨越多個數據中心，而對象存儲可以解決這個問題。在前一篇文章中的雲計算IaaS管理平台的基本功能是什麼？》中曾經提到過對象存儲。
在對象存儲模型中，數據存儲在存儲段（bucket）中，桶也可以被稱為「水桶」，因為它字面意思。我們可以用硬碟來類推，對象像一個文件，而存儲段就像一個文件夾（或目錄）。可以通過統一資源標識符（URI：統一資源標識符）找到對象和存儲段。
對象存儲的核心設計思想實際上是虛擬化，它是文件的物理存儲位置，如卷、目錄、磁碟等，虛擬化是木桶，它將文件虛擬化為對象。對於應用層，簡化了對數據訪問的訪問，屏蔽了底層存儲技術的異構性和復雜性。

對象存儲模型
NAS與對象存儲各有所長
當然你也許會問，NAS存儲技術也是一個可以解決數據共享的問題嗎？由於對象存儲的大小和成本優勢，許多雲環境使用對象存儲而不是NAS。
因為對象存儲將跨多個節點傳播，最新數據並不總是可用的 因此，對象存儲的數據一致性不強。如果有強一致性的要求，然後你可以使用NAS。目前，在雲計算環境中，NAS和對象存儲是共存的。
和NAS一樣，對象存儲也是軟體體系結構，而不是硬體體系結構。應用程序通過REST API直接訪問對象存儲。公共對象存儲包括：Amazon S3和OpenStack的Swift。
結語
在實際的雲平台應用中，我們需要根據自己的實際情況來合理運用不同的虛擬化存儲技術。
對於非結構化的靜態數據文件，如音視頻、圖片等，我們一般使用對象存儲。
對於系統鏡像以及應用程序，我們需要使用雲主機實例存儲或者卷存儲。
對於應用產生的動態數據，我們一般還需要利用雲資料庫來對數據進行管理。

8. 雲存儲技術的優勢

雲存儲具備以下優勢：
(1)存儲管理可以實現自動化和智能化，所有的存儲資源被整合到一起，客戶看到的是單一存儲空間；
(2)提高了存儲效率，通過虛擬化技術解決了存儲空間的浪費，可以自動重新分配數據，提高了存儲空間的利用率，同時具備負載均衡、故障冗餘功能；
(3)雲存儲能夠實現規模效應和彈性擴展，降低運營成本，避免資源浪費。