雲計算存儲技術
1. 雲計算的概念是什麼,它起什麼作用嗎
雲計算是分布式計算的一種,通過網路「雲」將巨大的數據計算處理程序分解成無數個小程序,然後,通過多部伺服器組成的系統進行處理和分析這些小程序得到結果並返回給用戶。雲計算其實主要解決了四個方面的內容:計算,網路,存儲,應用。前三者是資源層面的,最後是應用層面的。雲計算通俗點講就是把以前需要本地處理器計算的任務交到了遠程伺服器上去做。
雲計算是一種以數據和處理能力為中心的密集型計算模式,它融合了多項ICT技術,是傳統技術「平滑演進」的產物。其中以虛擬化技術、分布式數據存儲技術、編程模型、大規模數據管理技術、分布式資源管理、信息安全、雲計算平台管理技術、綠色節能技術最為關鍵。
雲計算能按需提供彈性的信息化資源與服務。雲計算是一種按需所取、按需付費的模式,其的內核是通過互聯網把網路上的所有資源集成為一個叫 " 雲 " 的可配置的計算資源共享池,如網路,伺服器,存儲,應用軟體,服務等,然後對這個資源池進行統一管理和調度,向用戶提供虛擬的、動態的、按需的、彈性的服務,逐漸發展成基於計算機技術、通信技術、存儲技術、資料庫技術的綜合性技術服務。
雲計算按部署類型可以分為私有雲、公有雲和混合雲,不同的雲對應的是不同的用戶群體。私有雲與公有雲模式的核心區別在於使用雲服務的客戶是否自己有用對應的雲基礎設施。公有雲模式靈活配置、成本低廉的優點受到中小企業的歡迎,而大型企業更關註解決方案的針對性、信息安全性,對成本相對不敏感,同時銀行、電力等行業公有雲的部署也受到監管的限制,使得私有雲模式多地得到國內大型企業得採納。對數據安全性較敏感的政府部門將以私有雲為主要部署模式。
2. 雲計算關鍵技術是什麼
雲計算關鍵技術主要包括數據儲存技術和數據管理技術以及編程模式。
數據儲存技術
雲計算一般都是通過分布式儲存的手段來近進行數據儲存,同時在冗餘式儲存的支持下,能夠提高數據保存的可靠性,這樣就能讓數據同時存在多個儲存副本,更加提高了數據的安全性。在現有的雲計算數據存儲中主要是通過兩種技術來進行數據儲存即為Google File system(非開源的GFS)和Had00p Distributed File System(開源的HDFS)。以上技術實質上是大型的分布式文件系統,在計算機組的支持下向客戶提供所需要的服務。
數據管理技術
由於雲平台承載了大量的用戶信息,這就對雲平台的數據管理功能提出了很高的要求。在雲計算的支持下,雲平台在大量數據儲存的過程中同時還能夠進行規模性的數據計算和分析。其代表性技術為Big Table數據管理技術,通過列存儲的方式來對用戶數據進行管理。
編程模式
在現有的雲計算中主要是通過Map-Rece編程模式來進行編程。以Map-Rece編程模式編寫出來的程序具有很好的兼容性同時也具備很強的容錯性,一旦伺服器工作節點出現問題,可以直接將出現問題的節點進行屏蔽,同時將正在運行的程序轉移到其他伺服器上運行,這樣就能夠保證數據處理工作的正常進行。
3. 與雲計算、雲存儲相關的IT技術都有哪些
雲計算(Cloud Computing)是
分布式計算(Distributed Computing)、
並行計算(Parallel Computing)、
效用計算(Utility Computing)、
網路存儲(Network Storage Technologies)、
虛擬化(Virtualization)、
負載均衡(Load Balance)、
熱備份冗餘(High Available)等傳統計算機和網路技術發展融合的產物。
主要體現在虛擬化及其標准化和自動化。
雲存儲是在雲計算概念上延伸和發展出來的一個新的概念,是一種新興的網路存儲技術,是指通過集群應用、網路技術或分布式文件系統等功能,將網路中大量各種不同類型的存儲設備通過應用軟體集合起來協同工作,共同對外提供數據存儲和業務訪問功能的一個系統。雲計算系統中廣泛使用的數據存儲系統是Google的GFS和Hadoop團隊開發的GFS的開源實現HDFS。
從軟體看,VMware、微軟的Hpyer-V、Citrix以及開源的KVM等是主要的虛擬化平台,是雲計算的基礎。Citrix的優勢在桌面虛擬化和應用虛擬化。
至於雲計算應用軟體開發工具,並沒有針對雲計算、雲存儲的獨特的編程語言。
許多人會將雲計算與大數據聯系起來,其實兩者既有聯系又有區別。雲計算就是硬體資源的虛擬化,主要是一虛多,充分利用高性能的硬體資源;而大數據就是海量數據的高效處理,通常需要多合一、或多虛一,跨越多台硬體處理海量數據任務。Amazon是雲計算應用領域的先驅,而Google則是大數據應用領域的先驅。大數據既可以採用以虛擬化為基礎的雲計算架構也可以基於高性能計算(HPC,集群技術、並行技術)來處理。
大數據相當於海量數據的「資料庫」,而且通觀大數據領域的發展也能看出,當前的大數據處理一直在向著近似於傳統資料庫體驗的方向發展,Hadoop的產生使我們能夠用普通機器建立穩定的處理TB級數據的集群,把傳統而昂貴的並行計算等概念一下就拉到了我們的面前,但是其不適合數據分析人員使用(因為MapRece開發復雜),所以PigLatin和Hive出現了(分別是Yahoo!和facebook發起的項目,說到這補充一下,在大數據領域Google、facebook、twitter等前沿的互聯網公司作出了很積極和強大的貢獻),為我們帶來了類SQL的操作,到這里操作方式像SQL了,但是處理效率很慢,絕對和傳統的資料庫的處理效率有天壤之別,所以人們又在想怎樣在大數據處理上不只是操作方式類SQL,而處理速度也能「類SQL」,Google為我們帶來了Dremel/PowerDrill等技術,Cloudera(Hadoop商業化最強的公司,Hadoop之父cutting就在這里負責技術領導)的Impala也出現了。
因此,雲計算、雲存儲均為計算資源的底層,通過虛擬化的方式提供「設備」級(或操作系統級)的服務,用戶可以方便地申請使用」設備「來獨立地實現自己的任務(就好像給你一台伺服器),而實際上在雲上提供給你的是一台虛擬機,至於這台虛擬機運行在哪台硬體設備上,卻不一定,甚至可以」無縫「漂移,硬體故障時幾乎不影響用戶使用。
4. 雲計算是通過什麼進行存儲服務和資源獲取
存儲雲,又稱雲存儲,是在雲計算技術上發展起來的一個新的存儲技術。雲存儲是一個以數據存儲和管理為核心的雲計算系統。用戶可以將本地的資源上傳至雲端上,可以在任何地方連入互聯網來獲取雲上的資源。大家所熟知的谷歌、微軟等大型網路公司均有雲存儲的服務,在國內,網路雲和微雲則是市場佔有量最大的存儲雲。存儲雲向用戶提供了存儲容器服務、備份服務、歸檔服務和記錄管理服務等等,大大方便了使用者對資源的管理。
5. 雲計算有哪些技術
雲物聯 物聯網的兩種業務模式: 1.MAI(M2M Application Integration), 內部MaaS; 2.MaaS(M2M As A Service), MMO, Multi-Tenants(多租戶模型)。 隨著物聯網業務量的增加,對數據存儲和計算量的需求將帶來對「雲計算」能力的要求: 1.雲計算:從計算中心到數據中心在物聯網的初級階段,PoP即可滿足需求; 2. 在物聯網高級階段,可能出現MVNO/MMO營運商(國外已存在多年),需要虛擬化雲計算技術,SOA等技術的結合實現物聯網的泛在服務:TaaS (everyTHING As A Service)。 雲安全 雲安全,是一個從「雲計算」演變而來的新名詞。「雲安全(Cloud Security)」通過網狀的大量客戶端對網路中軟體行為的異常監測,獲取互聯網中木馬、惡意程序的最新信息,推送到Server端進行自動分析和處理,再把病毒和木馬的解決方案分發到每一個客戶端。 雲安全的策略構想是:使用者越多,每個使用者就越安全,因為如此龐大的用戶群,足以覆蓋互聯網的每個角落,只要某個網站被掛馬或某個新木馬病毒出現,就會立刻被截獲。 雲存儲 雲存儲是在雲計算(cloud computing)概念上延伸和發展出來的一個新的概念,是指通過集群應用、網格技術或分布式文件系統等功能,將網路中大量各種不同類型的存儲設備通過應用軟體集合起來協同工作,共同對外提供數據存儲和業務訪問功能的一個系統。 當雲計算系統運算和處理的核心是大量數據的存儲和管理時,雲計算系統中就需要配置大量的存儲設備,那麼雲計算系統就轉變成為一個雲存儲系統,所以雲存儲是一個以數據存儲和管理為核心的雲計算系統。 隱私 雲計算的發展並非一帆風順。雲技術要求大量用戶參與,也不可避免的出現了隱私問題。用戶參與即要收集某些用戶數據,從而引發了用戶數據安全的擔心。很多用戶擔心自己的隱私會被雲技術收集。正因如此,在加入雲計劃時很多廠商都承諾盡量避免收集到用戶隱私,即使收集到也不會泄露或使用。但不少人還是懷疑廠商的承諾,他們的懷疑也不是沒有道理的。不少知名廠商都被指責有可能泄露用戶隱私,並且泄露事件也確實時有發生。
6. 雲計算採用什麼存儲的數據管理模式
雲計算是採用分布式存儲技術存儲數據,為了保證數據的高可靠性,雲計算通常會採用分布式存儲技術,將數據存儲在不同的物理設備中。這種模式不僅擺脫了硬體設備的限制,同時擴展性更好,能夠快速響應用戶需求的變化。
雲計算(cloud computing)是分布式計算的一種,指的是通過網路「雲」將巨大的數據計算處理程序分解成無數個小程序,然後,通過多部伺服器組成的系統進行處理和分析這些小程序得到結果並返回給用戶。
雲計算早期,簡單地說,就是簡單的分布式計算,解決任務分發,並進行計算結果的合並。因而,雲計算又稱為網格計算。通過這項技術,可以在很短的時間內(幾秒種)完成對數以萬計的數據的處理,從而達到強大的網路服務。
(6)雲計算存儲技術擴展閱讀:
雲計算的特點
1、虛擬化技術。
2、動態可擴展。
3、按需部署。
4、靈活性高。
5、可靠性高。
6、性價比高。
7、可擴展性。
雲計算的應用
較為簡單的雲計算技術已經普遍服務於現如今的互聯網服務中,最為常見的就是網路搜索引擎和網路郵箱。搜索引擎大家最為熟悉的莫過於谷歌和網路了,在任何時刻,只要用過移動終端就可以在搜索引擎上搜索任何自己想要的資源,通過雲端共享了數據資源。
7. 雲存儲技術可以實現什麼功能
對於初創型公司,這樣的成本有點大。當雲計算系統運算和處理的核心是大量數據的存儲和管理時,雲計算系統中就需要配置。雲存儲技術可以實現什麼功能?
1、 雲企網盤傳輸技術
加密傳輸
斷點續傳
秒傳去重
壓縮傳輸
2、 雲企網盤存儲技術
採用非結構化存儲資料庫
扁平化存儲
自動平衡備份
對象存儲,瞄準大數據
3、 雲企網盤集成擴展
提供標准介面,通過對接系統服務端對接網盤服務端。
與已有的(LdAP等)認證系統進行對接。
單節點的計算能力擴展、存儲能力擴展(集群技術)。
多數據中心分布式部署擴展。
8. 什麼是雲存儲技術
雲存儲是在雲計算(cloud computing)概念上延伸和發展出來的一個新的概念,是指通過集群應用、網格技術或分布式文件系統等功能,將網路中大量各種不同類型的存儲設備通過應用軟體集合起來協同工作,共同對外提供數據存儲和業務訪問功能的一個系統。 當雲計算系統運算和處理的核心是大量數據的存儲和管理時,雲計算系統中就需要配置大量的存儲設備,那麼雲計算系統就轉變成為一個雲存儲系統,所以雲存儲是一個以數據存儲和管理為核心的雲計算系統。
雲存儲的兩個層面
雲存儲的兩個層面是作為雲計算支撐的存儲計算,主要涉及分布式存儲(如分布式文件系統、IPSAN、數據同步、復制)、數據存儲(如重復數據刪除、數據壓縮、數據編碼)和數據保護(如RAID、CDP、快照、備份與容災)等技術領域,如圖8-30所示,這在第6章中已有所介紹。和雲安全技術一樣,雲存儲技術也需要利用現有的所有存儲技術針對雲計算三層架構的各個環節採用適當的存儲技術,才能取得最佳效果,例如,對應不同需求,有時應該使用資料庫技術但有時卻應該使用LDAP技術,有些性能要求高的系統不能使用SAN或NAS,需直接使用基於RPC或Socket技術的並發文件系統,有些應用使用SAN成本太高等,這里不再做深入介紹。如圖8-31所示是一個採用NetApp FAS、思科 UCS和 VMWare vShpere 4技術打造的存儲系統,對上述兩種雲存儲技術和應用都有促進作用。雲存儲架構
分為兩類:一種是通過服務來架構;另一種是通過軟體或硬體設備來架構。
傳統的系統利用緊耦合對稱架構,這種架構的設計旨在解決HPC(高性能計算、超級運算)問題,現在其正在向外擴展成為雲存儲從而滿足快速呈現的市場需求。下一代架構已經採用了鬆弛耦合非對稱架構,集中元數據和控制操作,這種架構並不非常適合高性能HPC,但是這種設計旨在解決雲部署的大容量存儲需求。各種架構的摘要信息如下:
緊耦合對稱(TCS)架構
構建TCS系統是為了解決單一文件性能所面臨的挑戰,這種挑戰限制了傳統NAS系統的發展。HPC系統所具有的優勢迅速壓倒了存儲,因為它們需要的單一文件I/O操作要比單一設備的I/O操作多得多。業內對此的回應是創建利用TCS架構的產品,很多節點同時伴隨著分布式鎖管理(鎖定文件不同部分的寫操作)和緩存一致性功能。這種解決方案對於單文件吞吐量問題很有效,幾個不同行業的很多HPC客戶已經採用了這種解決方案。這種解決方案很先進,需要一定程度的技術經驗才能安裝和使用。
鬆弛耦合非對稱(LCA)架構
LCA系統採用不同的方法來向外擴展。它不是通過執行某個策略來使每個節點知道每個行動所執行的操作,而是利用一個數據路徑之外的中央元數據控制伺服器。集中控制提供了很多好處,允許進行新層次的擴展:
● 存儲節點可以將重點放在提供讀寫服務的要求上,而不需要來自網路節點的確認信息。
● 節點可以利用不同的商品硬體CPU和存儲配置,而且仍然在雲存儲中發揮作用。
● 用戶可以通過利用硬體性能或虛擬化實例來調整雲存儲。
● 消除節點之間共享的大量狀態開銷也可以消除用戶計算機互聯的需要,如光纖通道或infiniband,從而進一步降低成本。
● 異構硬體的混合和匹配使用戶能夠在需要的時候在當前經濟規模的基礎上擴大存儲,同時還能提供永久的數據可用性。
● 擁有集中元數據意味著,存儲節點可以旋轉地進行深層次應用程序歸檔,而且在控制節點上,元數據經常都是可用的。
9. 雲存儲的底層關鍵技術有哪些
雲計算關鍵技術 雲計算是分布式處理、並行計算和網格計算等概念的發展和商業實現,其技術實質是計算、存儲、伺服器、應用軟體等IT軟硬體資源的虛擬化,雲計算在虛擬化、數據存儲、數據管理、編程模式等方面具有自身獨特的技術。雲計算的關鍵技術包括以下幾個方向: 虛擬機技術 虛擬機,即伺服器虛擬化是雲計算底層架構的重要基石。在伺服器虛擬化中,虛擬化軟體需要實現對硬體的抽象,資源的分配、調度和管理,虛擬機與宿主操作系統及多個虛擬機間的隔離等功能,目前典型的實現(基本成為事實標准)有Citrix Xen、VMware ESX Server 和Microsoft Hype-V等。 數據存儲技術 雲計算系統需要同時滿足大量用戶的需求,並行地為大量用戶提供服務。
因此,雲計算的數據存儲技術必須具有分布式、高吞吐率和高傳輸率的特點。目前數據存儲技術主要有Google的GFS(Google File System,非開源)以及HDFS(Hadoop Distributed File System,開源),目前這兩種技術已經成為事實標准。 數據管理技術 雲計算的特點是對海量的數據存儲、讀取後進行大量的分析,如何提高數據的更新速率以及進一步提高隨機讀速率是未來的數據管理技術必須解決的問題。雲計算的數據管理技術最著名的是谷歌的BigTable數據管理技術,同時Hadoop開發團隊正在開發類似BigTable的開源數據管理模塊。
分布式編程與計算 為了使用戶能更輕松的享受雲計算帶來的服務,讓用戶能利用該編程模型編寫簡單的程序來實現特定的目的,雲計算上的編程模型必須十分簡單。必須保證後台復雜的並行執行和任務調度向用戶和編程人員透明。當前各IT廠商提出的雲計劃的編程工具均基於Map-Rece的編程模型。