分布式存儲案例

A. 用過元核雲分布式存儲嗎，怎麼樣

我們公司就用的元核雲分布式存儲，總的來說自動化運維做得比較好，性能上比不上傳統的SAN存儲，適合替代NAS存儲。

B. 大數據怎麼學習

第一階段：大數據技術入門

1大數據入門：介紹當前流行大數據技術，數據技術原理，並介紹其思想，介紹大數據技術培訓課程，概要介紹。

2Linux大數據必備：介紹Lniux常見版本，VMware虛擬機安裝Linux系統，虛擬機網路配置，文件基本命令操作，遠程連接工具使用，用戶和組創建，刪除，更改和授權，文件/目錄創建，刪除，移動，拷貝重命名，編輯器基本使用，文件常用操作，磁碟基本管理命令，內存使用監控命令，軟體安裝方式，介紹LinuxShell的變數，控制，循環基本語法，LinuxCrontab定時任務使用，對Lniux基礎知識，進行階段性實戰訓練，這個過程需要動手操作，將理論付諸實踐。

3CM&CDHHadoop的Cloudera版：包含Hadoop，HBase，Hiva，Spark，Flume等，介紹CM的安裝，CDH的安裝，配置，等等。

第二階段：海量數據高級分析語言

Scala是一門多範式的編程語言，類似於java，設計的初衷是實現可伸縮的語言，並集成面向對象編程和函數式編程的多種特性，介紹其優略勢，基礎語句，語法和用法， 介紹Scala的函數，函數按名稱調用，使用命名參數函數，函數使用可變參數，遞歸函數，默認參數值，高階函數，嵌套函數，匿名函數，部分應用函數，柯里函數，閉包，需要進行動手的操作。

第三階段：海量數據存儲分布式存儲

1HadoopHDFS分布式存儲：HDFS是Hadoop的分布式文件存儲系統，是一個高度容錯性的系統，適合部署在廉價的機器上，HDFS能提供高吞吐量的數據訪問，非常適合大規模數據集上的應用，介紹其的入門基礎知識，深入剖析。

2HBase分布式存儲：HBase-HadoopDatabase是一個高可靠性，高性能，面向列，可伸縮的分布式存儲系統，利用HBase技術可在廉價PC上搭建起大規模結構化存儲集群，介紹其入門的基礎知識，以及設計原則，需實際操作才能熟練。

第四階段：海量數據分析分布式計算

1HadoopMapRece分布式計算：是一種編程模型，用於打過莫數據集的並行運算。

2Hiva數據挖掘：對其進行概要性簡介，數據定義，創建，修改，刪除等操作。

3Spare分布式計算：Spare是類MapRece的通用並行框架。

第五階段：考試

1技術前瞻：對全球最新的大數據技術進行簡介。

2考前輔導：自主選擇報考工信部考試，對通過者發放工信部大數據技能認證書。

上面的內容包含了大數據學習的所有的課程，所以，如果有想學大數據的可以從這方面下手，慢慢的了解大數據。

C. 《大規模分布式系統架構與設計實戰（含光碟）》epub下載在線閱讀，求百度網盤雲資源

《大規模分布式系統架構與設計實戰（含光碟）》（彭淵）電子書網盤下載免費在線閱讀

資源鏈接：

鏈接：https://pan..com/s/1XoxJB0i2HGGsmPJtONFSUA

書名：大規模分布式系統架構與設計實戰（含光碟）

作者：彭淵

豆瓣評分：4.8

出版社：機械工業出版社

出版年份：2014-3

頁數：231

內容簡介：

【編輯推薦】

 絕技源於江湖、將軍發於卒伍，本書包含作者從程序員到首席架構師十多年職業生涯所積累的實戰經驗。

 這不是一本講怎麼使用Hadoop的書，而是一本講實現Hadoop功能的書，本書系統講解構建大規模分布式系統的核心技術和實現方法，包含開源的代碼，手把手教你掌握分布式技術

【內容簡介】

本書從作者的實戰經驗出發，深入淺出地講解了如何建立一個Hadoop那樣的分布式系統，實現對多台計算機CPU、內存、硬碟的統一利用，從而獲取強大計算能力去解決復雜問題。一般互聯網企業的分布式存儲計算系統都是個大平台，系統復雜、代碼龐大，而且只適合公司的業務，工程師很難下載安裝到自己的電腦里學習和吃透。本書對分布式核心技術進行了大量歸納和總結，並從中抽取出一套簡化的框架和編程API進行講解，方便工程師了解分布式系統的主要技術實現。這不是一本空談概念、四處摘抄的書，這本書包含了大量精煉示例，手把手教你掌握分布式核心技術。

本書主要內容

 分布式並行計算的基本原理解剖；

 分布式協調的實現，包括如何實現公共配置管理，如何實現分布式鎖，如何實現集群管理等；

 分布式緩存的實現，包括如何提供完整的分布式緩存來利用多機內存能力；

 消息隊列的實現，包括如何實現發送和接收模式；

 分布式文件系統的實現，包括如何像操作本地文件一樣操作遠程文件，並利用多機硬碟存儲能力；

 分布式作業調度平台的實現，包括資源隔離、資源調度等。

【參考閱讀】

978-7-111-43052-0 大規模分布式存儲系統:原理解析與架構實戰

978-7-111-40392-0 分布式系統：概念與設計（原書第5版）

978-7-111-45244-7 Hadoop應用開發技術詳解

978-7-111-41766-8 Hadoop技術內幕：深入解析Hadoop Common和HDFS架構設計與實現原理

978-7-111-42226-6 Hadoop技術內幕：深入解析MapRece架構設計與實現原理

978-7-111-44534-0 Hadoop技術內幕：深入解析YARN架構設計與實現原理

978-7-111-43514-3 網站數據分析：數據驅動的網站管理、優化和運營

978-7-111-42591-5 數據挖掘：實用案例分析

作者簡介：

彭淵資深架構師，現任華為企業中間件首席架構師，主要負責中間件和大數據。前淘寶高級專家（花名：千峰），先後在淘寶交易、淘寶中間件、集團核心系統、阿里金融等部門工作。曾任金蝶總體架構部SOA架構師，負責設計ESB。曾艱苦創業，編寫和銷售財務軟體。在Java技術領域從業十多年，撰寫過多款開源軟體，其中，淘寶分布式技術框架Fourinone為其代表作。他擁有軟體著作權的代表作有：BS系列軟體（包括財務進銷存、OA產品、CRM等）、FMS視頻會議、Flash網站生成軟體（華軍可下載），所有軟體作品均貢獻99%代碼。

D. 超融合就是分布式存儲和計算虛擬化簡單地安裝在一起嗎

覺得不是的，通過SmartX等廠商的案例描述，還應該具備對系統資 源消耗應該少，並且可控等特徵。

E. 分布式存儲有什麼好

分布式存儲，它的最大特點是多節點部署， 數據通過網路分散放置。分布式存儲的特點是擴展性強，通過多節點平衡負載，提高存儲系統的可靠性與可用性。

F. 基於hadoop的雲存儲實例

基於Hadoop平台的雲存儲應用實踐

http://cio.itxinwen.com/case_studies/2012/0327/402100.html

雲計算（CloudComputing）是一種基於網際網路的超級計算模式，在遠程的數據中心裡，成千上萬台電腦和伺服器連接成一片電腦雲。用戶通過電腦、筆記本、手機等方式接人數據中心，按自己的需求進行運算。目前，對於雲計算仍沒有普遍一致的定義。結合上述定義，可以總結出雲計算的一些本質特徵，即分布式計算和存儲特性、高擴展性、用戶友好性、良好的管理性。

1雲存儲架構圖

橘色的作為存儲節點（StorageNode）負責存放文件，藍色作為控制節點（（ControlNode）則是負責文件索引，並負責監控存儲節點間容量及負載的均衡，這兩個部分合起來便組成一個雲存儲。存儲節點與控制節點都是單純的伺服器，只是存儲節點的硬碟多一些，存儲節點伺服器不需要具備RAID的功能，只要能安裝Linux即可，控制節點為了保護數據，需要有簡單的RAIDlevelO1的功能。

雲存儲不是要取代現有的盤陣，而是為了應付高速成長的數據量與帶寬而產生的新形態存儲系統，因此雲存儲在設計時通常會考慮以下三點：

（1）容量、帶寬的擴容是否簡便

擴容是不能停機，會自動將新的存儲節點容量納入原來的存儲池。不需要做繁復的設定。

圖1雲存儲架構圖

（2）帶寬是否線形增長

使用雲存儲的客戶，很多是考慮未來帶寬的增長，因此雲存儲產品設計的好壞會產生很大的差異，有些十幾個節點便達到飽和，這樣對未來帶寬的擴容就有不利的影響，這一點要事先弄清楚，否則等到發現不符合需求時，已經買了幾百TB，後悔就來不及了。

（3）管理是否容易。

2雲存儲關鍵技術

雲存儲必須具備九大要素：①性能;②安全性;③自動ILM存儲;④存儲訪問模式;⑤可用性;⑥主數據保護;⑦次級數據保護;⑧存儲的靈活;⑨存儲報表。

雲計算的發展離不開虛擬化、並行計算、分布式計算等核心技術的發展成熟。下面對其介紹如下：

（1）集群技術、網格技術和分布式文件系統

雲存儲系統是一個多存儲設備、多應用、多服務協同工作的集合體，任何一個單點的存儲系統都不是雲存儲。

既然是由多個存儲設備構成的，不同存儲設備之間就需要通過集群技術、分布式文件系統和網格計算等技術，實現多個存儲設備之間的協同工作，使多個的存儲設備可以對外提供同一種服務，並提供更大更強更好的數據訪問性能。如果沒有這些技術的存在，雲存儲就不可能真正實現，所謂的雲存儲只能是一個一個的獨立系統，不能形成雲狀結構。

（2）CDN內容分發、P2P技術、數據壓縮技術、重復數據刪除技術、數據加密技術

CDN內容分發系統、數據加密技術保證雲存儲中的數據不會被未授權的用戶所訪問，同時，通過各種數據備份和容災技術保證雲存儲中的數據不會丟失，保證雲存儲自身的安全和穩定。如果雲存儲中的數據安全得不到保證，也沒有人敢用雲存儲了。

（3）存儲虛擬化技術、存儲網路化管理技術

雲存儲中的存儲設備數量龐大且分布多在不同地域，如何實現不同廠商、不同型號甚至於不同類型（例如FC存儲和IP存儲）的多台設備之間的邏輯卷管理、存儲虛擬化管理和多鏈路冗餘管理將會是一個巨大的難題，這個問題得不到解決，存儲設備就會是整個雲存儲系統的性能瓶頸，結構上也無法形成一個整體，而且還會帶來後期容量和性能擴展難等問題。

G. 求幫助寫一篇分布式計算雲計算論文

首先介紹下雲計算，的發展歷史，他的前身，現在的應用，然後在介紹現在計算機的應用，在應用之中的不足，然後，著重闡述雲計算的優勢，我這里有一份關於這方面的對比及心得，發給你，希望能幫到你。
雲計算簡史
著名的美國計算機科學家、 圖靈獎 (Turing Award) 得主麥卡錫 (John McCarthy,1927-) 在半個世紀前就曾思考過這個問題。 1961 年， 他在麻省理工學院 (MIT) 的百年紀念活動中做了一個演講。 在那次演講中， 他提出了象使用其它資源一樣使用計算資源的想法，這就是時下 IT 界的時髦術語 「雲計算」 (Cloud Computing) 的核心想法。雲計算中的這個 「雲」 字雖然是後人所用的詞彙， 但卻頗有歷史淵源。 早年的電信技術人員在畫電話網路的示意圖時， 一涉及到不必交待細節的部分， 就會畫一團 「雲」 來搪塞。 計算機網路的技術人員將這一偷懶的傳統發揚光大， 就成為了雲計算中的這個 「雲」 字， 它泛指互聯網上的某些 「雲深不知處」 的部分， 是雲計算中 「計算」 的實現場所。 而雲計算中的這個 「計算」 也是泛指， 它幾乎涵蓋了計算機所能提供的一切資源。麥卡錫的這種想法在提出之初曾經風靡過一陣， 但真正的實現卻是在互聯網日益普及的上世紀末。 這其中一傢具有先驅意義的公司是甲骨文 (Oracle) 前執行官貝尼奧夫 (Marc Benioff, 1964-) 創立的 Salesforce 公司。 1999 年， 這家公司開始將一種客戶關系管理軟體作為服務提供給用戶， 很多用戶在使用這項服務後提出了購買軟體的意向， 該公司卻死活不幹， 堅持只作為服務提供， 這是雲計算的一種典型模式， 叫做 「軟體即服務」 (Software as a Service， 簡稱 SaaS)。 這種模式的另一個例子， 是我們熟悉的網路電子郵箱 (因此讀者哪怕是第一次聽到 「雲計算」 這個術語， 也不必有陌生感， 因為您多半已是它的老客戶了)。 除了 「軟體即服務」 外， 雲計算還有其它幾種典型模式， 比如向用戶提供開發平台的 「平台即服務」 (Platform as a Service， 簡稱 PaaS)， 其典型例子是谷歌公司 (Google) 的應用程序引擎 (Google App Engine)， 它能讓用戶創建自己的網路程序。 還有一種模式更徹底， 乾脆向用戶提供虛擬硬體， 叫做 「基礎設施即服務」 (Infrastructure as a Service， 簡稱 IaaS)， 其典型例子是亞馬遜公司 (Amazon) 的彈性計算雲 (Amazon Elastic Compute Cloud， 簡稱 EC2)， 它向用戶提供虛擬主機， 用戶具有管理員許可權， 愛幹啥就幹啥， 跟使用自家機器一樣。

1．2雲計算的概念

狹義雲計算是指計算機基礎設施的交付和使用模式，指通過網路以按需、易擴展的方式獲得所需的資源（硬體、平台、軟體）。提供資源的網路被稱為「雲」。「雲」中的資源在使用者看來是可以無限擴展的，並且可以隨時獲取，按需使用，隨時擴展，按使用付費。

廣義雲計算是指服務的交付和使用模式，指通過網路以按需、易擴展的方式獲得所需的服務。這種服務可以是計算機和軟體、互聯網相關的，也可以是其他的服務。雲計算是並行計算(Parallel Computing)、分布式計算(Distributed Computing)和網格計算(Grid Computing)的發展，或者說是這些計算機科學概念的商業實現。雲計算是虛擬化(Virtualization)、效用計算(Utility Computing)、IaaS(基礎設施即服務)、PaaS(平台即服務)、SaaS(軟體即服務)等概念混合演進並躍升的結果。

1.3雲計算的特點和優勢
（一）超大規模性。「雲」具有相當的規模，Google雲計算已經擁有100多萬台伺服器，Amazon、IBM、微軟、Yahoo等的「雲」均擁有幾十萬台伺服器。企業私有雲一般擁有數百上千台伺服器。「雲」能賦予用戶前所未有的計算能力。
（二）虛擬化。雲計算支持用戶在任意位置、使用各種終端獲取應用服務。所請求的資源來自「雲」，而不是固定的有形的實體。應用在「雲」中某處運行，但實際上用戶無需了解、也不用擔心應用運行的具體位置。只需要一台筆記本或者一個手機，就可以通過網路服務來實現用戶需要的一切，甚至包括超級計算這樣的任務。[2]
（三）高可靠性。「雲」使用了數據多副本容錯、計算節點同構可互換等措施來保障服務的高可靠性，使用雲計算比使用本地計算機可靠。
（四）通用性。雲計算不針對特定的應用，在「雲」的支撐下可以構造出千變萬化的應用，同一個「雲」可以同時支撐不同的應用運行。
（五）高可擴展性。「雲」的規模可以動態伸縮，滿足應用和用戶規模增長的需要。
（六）價格合適。由於「雲」的特殊容錯措施可以採用具有經濟性的節點來構成「雲」，「雲」的自動化集中式管理使大量企業無需負擔日益高昂的數據中心管理成本，「雲」的通用性使資源的利用率較之傳統系統大幅提升，因此用戶可以充分享受「雲」的低成本優勢，經常只要花費幾百美元、幾天時間就能完成以前需要數萬美元、數月時間才能完成的任務。
雲計算作為一種技術，與其它一些依賴互聯網的技術——比如網格計算 (Grid Computing)——有一定的相似之處，但不可混為一談。拿網格計算來說， 科學愛好者比較熟悉的例子是 SETI@Home，那是一個利用互聯網上計算機的冗餘計算能力搜索地外文明的計算項目，目前約有來自兩百多個國家和地區的兩百多萬台計算機參與。它在 2009 年底的運算能力相當於當時全世界最快的超級計算機運算能力的三分之一。有些讀者可能還知道另外一個例子：ZetaGrid，那是一個研究黎曼 ζ 函數零點分布的計算項目， 曾有過一萬多台計算機參與 (但現在已經終止了，原因可參閱拙作 超越 ZetaGrid)。從這兩個著名例子中我們可以看到網格計算的特點，那就是計算性質單一，但運算量巨大 (甚至永無盡頭,比如 ZetaGrid)。而雲計算的特點恰好相反，是計算性質五花八門，但運算量不大[注三]，這是它們的本質區別，也是雲計算能夠面向大眾成為服務的根本原因。雲計算能夠流行，它到底有什麼優點呢？ 我們舉個例子來說明，設想你要開一家網路公司。按傳統方法，你得有一大筆啟動資金， 因為你要購買計算機和軟體，你要租用機房，你還要雇專人來管理和維護計算機。 當你的公司運作起來時，業務總難免會時好時壞，為了在業務好的時候也能正常運轉， 你的人力和硬體都要有一定的超前配置， 這也要花錢。 更要命的是， 無論硬體還是軟體廠商都會頻繁推出新版本， 你若不想被技術前沿拋棄， 就得花錢費力不斷更新 (當然， 也別怪人家， 你的公司運作起來後沒准也得這么賺別人的錢)。如果用雲計算， 情況就不一樣了： 計算機和軟體都可以用雲計算， 業務好的時候多用一點， 業務壞的時候少用一點， 費用就跟結算煤氣費一樣按實際用量來算， 無需任何超前配置[注四]。 一台虛擬伺服器只需滑鼠輕點幾下就能到位， 不象實體機器， 從下定單， 到進貨， 再到調試， 忙得四腳朝天不說， 起碼得好幾天的時間。虛擬伺服器一旦不需要了， 滑鼠一點就可以讓它從你眼前 (以及賬單里)消失。至於軟硬體的升級換代，伺服器的維護管理等，那都是雲計算服務商的事，跟你沒半毛錢的關系。更重要的是，開公司總是有風險的， 如果你試了一兩個月後發現行不通，在關門大吉的時候，假如你用的是雲計算，那你只需支付實際使用過的資源。假如你走的是傳統路子，買了硬體、軟體，雇了專人，那很多投資可就打水漂了。

1.4淺談雲計算的一個核心理念
大規模消息通信：雲計算的一個核心理念就是資源和軟體功能都是以服務的形式進行發布的，不同服務之間經常需要通過消息通信進行協助。由於同步消息通信的低效率，我們只考慮非同步通信。如Java Message Service是J2EE平台上的一個消息通信標准，J2EE應用程序可以通過JMS來創建，發送，接收，閱讀消息。非同步消息通信已經成為面向服務架構中組件解耦合及業務集成的重要技術。
大規模分布式存儲：分布式存儲的目標是利用多台伺服器的存儲資源來滿足單台伺服器所不能滿足的存儲需求。分布式存儲要求存儲資源能夠被抽象表示和統一管理，並且能夠保證數據讀寫操作的安全性，可靠性，性能等各方面要求。下面是幾個典型的分布式文件系統：
◆Frangipani是一個可伸縮性很好的高興能分布式文件系統，採用兩層的服務體系架構：底層是一個分布式存儲服務，該服務能夠自動管理可伸縮，高可用的虛擬磁碟；上層運行著Frangipani分布式文件系統。
◆JetFile是一個基於P2P的主播技術，支持在Internet這樣的異構環境中分享文件的分布式文件系統。
◆Ceph是一個高性能並且可靠地分布式文件系統，它通過把數據和對數據的管理在最大程度上分開來獲取極佳的I/O性能。
◆Google File System（GFS）是Google公司設計的可伸縮的分布式文件系統。GFS能夠很好的支持大規模海量數據處理應用程序。
在雲計算環境中，數據的存儲和操作都是以服務的形式提供的；數據的類型多種多樣；必須滿足數據操作對性能，可靠性，安全性和簡單性的要求。在雲計算環境下的大規模分布式存儲方向，BigTable是Google公司設計的用來存儲海量結構化數據的分布式存儲系統；Dynamo是Amazon公司設計的一種基於鍵值對的分布式存儲系統，它能提供非常高的可用性；Amazon公司的Simple Storage Service（S3）是一個支持大規模存儲多媒體這樣的二進制文件的雲計算存儲服務；Amazon公司的SimpleDB是建立在S3和Amazon EC2之上的用來存儲結構化數據的雲計算服務。
許可證管理與計費：目前比較成熟的雲環境計費模型是Amazon公司提供的Elastic Compute Cloud（EC2）和Simple Storage Service（S3）的按量計費模型，用戶按佔用的虛擬機單元，IP地址，帶寬和存儲空間付費。

1.5雲計算的現狀
雲計算是個熱度很高的新名詞。由於它是多種技術混合演進的結果，其成熟度較高，又有大公司推動，發展極為迅速。Amazon、Google、IBM、微軟和Yahoo等大公司是雲計算的先行者。雲計算領域的眾多成功公司還包括Salesforce、Facebook、Youtube、Myspace等。Amazon使用彈性計算雲（EC2）和簡單存儲服務（S3）為企業提供計算和存儲服務。收費的服務項目包括存儲伺服器、帶寬、CPU資源以及月租費。月租費與電話月租費類似，存儲伺服器、帶寬按容量收費，CPU根據時長(小時)運算量收費。Amazon把雲計算做成一個大生意沒有花太長的時間：不到兩年時間，Amazon上的注冊開發人員達44萬人，還有為數眾多的企業級用戶。有第三方統計機構提供的數據顯示，Amazon與雲計算相關的業務收入已達1億美元。雲計算是Amazon增長最快的業務之一。Google當數最大的雲計算的使用者。Google搜索引擎就建立在分布在200多個地點、超過100萬台伺服器的支撐之上，這些設施的數量正在迅猛增長。Google地球、地圖、Gmail、Docs等也同樣使用了這些基礎設施。採用Google Docs之類的應用，用戶數據會保存在互聯網上的某個位置，可以通過任何一個與互聯網相連的系統十分便利地訪問這些數據。目前，Google已經允許第三方在Google的雲計算中通過Google App Engine運行大型並行應用程序。Google值得稱頌的是它不保守。它早已以發表學術論文的形式公開其雲計算三大法寶：GFS、MapRece和BigTable，並在美國、中國等高校開設如何進行雲計算編程的課程。IBM在2007年11月推出了「改變游戲規則」的「藍雲」計算平台，為客戶帶來即買即用的雲計算平台。它包括一系列的自動化、自我管理和自我修復的虛擬化雲計算軟體，使來自全球的應用可以訪問分布式的大型伺服器池。使得數據中心在類似於互聯網的環境下運行計算。IBM正在與17個歐洲組織合作開展雲計算項目。歐盟提供了1.7億歐元做為部分資金。該計劃名為RESERVOIR，以「無障礙的資源和服務虛擬化」為口號。2008年8月， IBM宣布將投資約4億美元用於其設在北卡羅來納州和日本東京的雲計算數據中心改造。IBM計劃在2009年在10個國家投資3億美元建13個雲計算中心。
微軟緊跟雲計算步伐，於2008年10月推出了Windows Azure操作系統。Azure(譯為「藍天」)是繼Windows取代DOS之後，微軟的又一次顛覆性轉型——通過在互聯網架構上打造新雲計算平台，讓Windows真正由PC延伸到「藍天」上。微軟擁有全世界數以億計的Windows用戶桌面和瀏覽器，現在它將它們連接到「藍天」上。Azure的底層是微軟全球基礎服務系統，由遍布全球的第四代數據中心構成。
雲計算的新穎之處在於它幾乎可以提供無限的廉價存儲和計算能力。紐約一家名為Animoto的創業企業已證明雲計算的強大能力（此案例引自和訊網維維編譯《紐約時報》2008年5月25日報道）。Animoto允許用戶上傳圖片和音樂，自動生成基於網路的視頻演講稿，並且能夠與好友分享。該網站目前向注冊用戶提供免費服務。2008年年初，網站每天用戶數約為5000人。4月中旬，由於Facebook用戶開始使用Animoto服務，該網站在三天內的用戶數大幅上升至75萬人。Animoto聯合創始人Stevie Clifton表示，為了滿足用戶需求的上升，該公司需要將伺服器能力提高100倍，但是該網站既沒有資金，也沒有能力建立規模如此巨大的計算能力。因此，該網站與雲計算服務公司RightScale合作，設計能夠在亞馬遜的網雲中使用的應用程序。通過這一舉措，該網站大大提高了計算能力，而費用只有每伺服器每小時10美分。這樣的方式也加強創業企業的靈活性。當需求下降時，Animoto只需減少所使用的伺服器數量就可以降低伺服器支出。
在我國，雲計算發展也非常迅猛。2008年5月10日，IBM在中國無錫太湖新城科教產業園建立的中國第一個雲計算中心投入運營。2008年6月24日，IBM在北京IBM中國創新中心成立了第二家中國的雲計算中心——IBM大中華區雲計算中心；2008年11月28日，廣東電子工業研究院與東莞松山湖科技產業園管委會簽約，廣東電子工業研究院將在東莞松山湖投資2億元建立雲計算平台；2008年12月30日，阿里巴巴集團旗下子公司阿里軟體與江蘇省南京市政府正式簽訂了2009年戰略合作框架協議，計劃於2009年初在南京建立國內首個「電子商務雲計算中心」，首期投資額將達上億元人民幣；世紀互聯推出了CloudEx產品線，包括完整的互聯網主機服務"CloudEx Computing Service", 基於在線存儲虛擬化的"CloudEx Storage Service"，供個人及企業進行互聯網雲端備份的數據保全服務等等系列互聯網雲計算服務；中國移動研究院做雲計算的探索起步較早，已經完成了雲計算中心試驗。中移動董事長兼CEO王建宙認為雲計算和互聯網的移動化是未來發展方向。
我國企業創造的「雲安全」概念，在國際雲計算領域獨樹一幟。雲安全通過網狀的大量客戶端對網路中軟體行為的異常監測，獲取互聯網中木馬、惡意程序的最新信息，推送到服務端進行自動分析和處理，再把病毒和木馬的解決方案分發到每一個客戶端。雲安全的策略構想是：使用者越多，每個使用者就越安全，因為如此龐大的用戶群，足以覆蓋互聯網的每個角落，只要某個網站被掛馬或某個新木馬病毒出現，就會立刻被截獲。雲安全的發展像一陣風，瑞星、趨勢、卡巴斯基、MCAFEE、SYMANTEC、江民科技、PANDA、金山、360安全衛士、卡卡上網安全助手等都推出了雲安全解決方案。瑞星基於雲安全策略開發的2009新品，每天攔截數百萬次木馬攻擊，其中1月8日更是達到了765萬余次。勢科技雲安全已經在全球建立了5大數據中心，幾萬部在線伺服器。據悉，雲安全可以支持平均每天55億條點擊查詢，每天收集分析2.5億個樣本，資料庫第一次命中率就可以達到99%。藉助雲安全，趨勢科技現在每天阻斷的病毒感染最高達1000萬次。
值得一提的是，雲安全的核心思想，與劉鵬早在2003年就提出的反垃圾郵件網格非常接近[1][2]。劉鵬當時認為，垃圾郵件泛濫而無法用技術手段很好地自動過濾，是因為所依賴的人工智慧方法不是成熟技術。垃圾郵件的最大的特徵是：它會將相同的內容發送給數以百萬計的接收者。為此，可以建立一個分布式統計和學習平台，以大規模用戶的協同計算來過濾垃圾郵件：首先，用戶安裝客戶端，為收到的每一封郵件計算出一個唯一的「指紋」，通過比對「指紋」可以統計相似郵件的副本數，當副本數達到一定數量，就可以判定郵件是垃圾郵件；其次，由於互聯網上多台計算機比一台計算機掌握的信息更多，因而可以採用分布式貝葉斯學習演算法，在成百上千的客戶端機器上實現協同學習過程，收集、分析並共享最新的信息。反垃圾郵件網格體現了真正的網格思想，每個加入系統的用戶既是服務的對象，也是完成分布式統計功能的一個信息節點，隨著系統規模的不斷擴大，系統過濾垃圾郵件的准確性也會隨之提高。用大規模統計方法來過濾垃圾郵件的做法比用人工智慧的方法更成熟，不容易出現誤判假陽性的情況，實用性很強。反垃圾郵件網格就是利用分布互聯網里的千百萬台主機的協同工作，來構建一道攔截垃圾郵件的「天網」。反垃圾郵件網格思想提出後，被IEEE Cluster 2003國際會議選為傑出網格項目在香港作了現場演示，在2004年網格計算國際研討會上作了專題報告和現場演示，引起較為廣泛的關注，受到了中國最大郵件服務提供商網易公司創辦人丁磊等的重視。既然垃圾郵件可以如此處理，病毒、木馬等亦然，這與雲安全的思想就相去不遠了。

http://wenku..com/view/6ea1435d3b3567ec102d8ae8.html
2008年11月25日，中國電子學會專門成立了雲計算專家委員會，聘任中國工程院院士李德毅為主任委員，聘任IBM大中華區首席技術總裁葉天正、中國電子科技集團公司第十五研究所所長劉愛民、中國工程院院士張堯學、Google全球副總裁/中國區總裁李開復、中國工程院院士倪光南、中國移動通信研究院院長黃曉慶六位專家為副主任委員，聘任國內外30多位知名專家學者為專家委員會委員。2009年5月22日，中國電子學會將於在北京中國大飯店隆重舉辦首屆中國雲計算大會。

H. 什麼是大數據存儲管理

1.分布式存儲

傳統化集中式存儲存在已有一段時間。但大數據並非真的適合集中式存儲架構。Hadoop設計用於將計算更接近數據節點，同時採用了HDFS文件系統的大規模橫向擴展功能。

雖然，通常解決Hadoop管理自身數據低效性的方案是將Hadoop 數據存儲在SAN上。但這也造成了它自身性能與規模的瓶頸。現在，如果你把所有的數據都通過集中式SAN處理器進行處理，與Hadoop的分布式和並行化特性相悖。你要麼針對不同的數據節點管理多個SAN，要麼將所有的數據節點都集中到一個SAN。

但Hadoop是一個分布式應用，就應該運行在分布式存儲上，這樣存儲就保留了與Hadoop本身同樣的靈活性，不過它也要求擁抱一個軟體定義存儲方案，並在商用伺服器上運行，這相比瓶頸化的Hadoop自然更為高效。

2.超融合VS分布式

注意，不要混淆超融合與分布式。某些超融合方案是分布式存儲，但通常這個術語意味著你的應用和存儲都保存在同一計算節點上。這是在試圖解決數據本地化的問題，但它會造成太多資源爭用。這個Hadoop應用和存儲平台會爭用相同的內存和CPU。Hadoop運行在專有應用層，分布式存儲運行在專有存儲層這樣會更好。之後，利用緩存和分層來解決數據本地化並補償網路性能損失。

3.避免控制器瓶頸(Controller Choke Point)

實現目標的一個重要方面就是——避免通過單個點例如一個傳統控制器來處理數據。反之，要確保存儲平台並行化，性能可以得到顯著提升。

此外，這個方案提供了增量擴展性。為數據湖添加功能跟往裡面扔x86伺服器一樣簡單。一個分布式存儲平台如有需要將自動添加功能並重新調整數據。

4.刪重和壓縮

掌握大數據的關鍵是刪重和壓縮技術。通常大數據集內會有70%到90%的數據簡化。以PB容量計，能節約數萬美元的磁碟成本。現代平台提供內聯(對比後期處理)刪重和壓縮，大大降低了存儲數據所需能力。

5.合並Hadoop發行版

很多大型企業擁有多個Hadoop發行版本。可能是開發者需要或是企業部門已經適應了不同版本。無論如何最終往往要對這些集群的維護與運營。一旦海量數據真正開始影響一家企業時，多個Hadoop發行版存儲就會導致低效性。我們可以通過創建一個單一，可刪重和壓縮的數據湖獲取數據效率

6.虛擬化Hadoop

虛擬化已經席捲企業級市場。很多地區超過80%的物理伺服器現在是虛擬化的。但也仍有很多企業因為性能和數據本地化問題對虛擬化Hadoop避而不談。

7.創建彈性數據湖

創建數據湖並不容易，但大數據存儲可能會有需求。我們有很多種方法來做這件事，但哪一種是正確的?這個正確的架構應該是一個動態，彈性的數據湖，可以以多種格式(架構化，非結構化，半結構化)存儲所有資源的數據。更重要的是，它必須支持應用不在遠程資源上而是在本地數據資源上執行。

不幸的是，傳統架構和應用(也就是非分布式)並不盡如人意。隨著數據集越來越大，將應用遷移到數據不可避免，而因為延遲太長也無法倒置。

理想的數據湖基礎架構會實現數據單一副本的存儲，而且有應用在單一數據資源上執行，無需遷移數據或製作副本

8.整合分析

分析並不是一個新功能，它已經在傳統RDBMS環境中存在多年。不同的是基於開源應用的出現，以及資料庫表單和社交媒體，非結構化數據資源(比如，維基網路)的整合能力。關鍵在於將多個數據類型和格式整合成一個標準的能力，有利於更輕松和一致地實現可視化與報告製作。合適的工具也對分析/商業智能項目的成功至關重要。

9. 大數據遇見大視頻

大數據存儲問題已經讓人有些焦頭爛額了，現在還出現了大視頻現象。比如，企業為了安全以及操作和工業效率逐漸趨於使用視頻監控，簡化流量管理，支持法規遵從性和幾個其它的使用案例。很短時間內這些資源將產生大量的內容，大量必須要處理的內容。如果沒有專業的存儲解決方案很可能會導致視頻丟失和質量降低的問題。

10.沒有絕對的贏家

Hadoop的確取得了一些進展。那麼隨著大數據存儲遍地開花，它是否會成為贏家，力壓其它方案，其實不然。

比如，基於SAN的傳統架構在短期內不可取代，因為它們擁有OLTP，100%可用性需求的內在優勢。所以最理想的辦法是將超融合平台與分布式文件系統和分析軟體整合在一起。而成功的最主要因素則是存儲的可擴展性因素。

I. 如何用簡單地例子來解釋區塊鏈

區塊鏈是一個分布式的共享賬本和資料庫，具有去中心化、分布式存儲、加密演算法、全程留痕、可以追溯、集體維護、公開透明等特點。

以掌管部門經費為例，傳統方式是部門裡面指派一個人對部門經費進行記賬和管理，這個人完全可以直接在剩餘金額或者在每一筆的使用金額上做手腳，利用職權之便從中牟利，這就是傳統的中心化管理。

而在區塊鏈的管理模式里，部門里的每個人都有一個經費使用記賬本，由相關人員新增使用記錄，其他人員核對無誤後同步到各自的記賬本中。每一筆都會記錄經費的使用時間、使用人員、使用金額和使用內容，並生成對應的序列編號以作標記，每一筆的序列編號都會和下一筆的經費使用情況存儲在一起，每筆記賬都會進行加密處理，以此類推。同時，部門里每個人的賬本都對外界所有人可見，任何人都可以通過賬本查詢每一筆經費使用情況。

在區塊鏈的管理模式中，多人同步記賬就是「去中心化管理」。

部門里每個人核對無誤後存儲，叫「共識機制」。

每個人對每筆經費使用情況進行記錄，叫「分布式存儲」。

每筆經費詳細使用情況生成的序列編號，叫「Hash值」。

把序列編號和下一筆經費使用情況進行存儲，叫「全證據鏈」。

每個人的賬本對外界所有人可見，叫「公開透明」。

對每一筆經費使用情況進行查詢，叫「溯源」。

如果有人要對某筆經費進行篡改，該筆經費的序列編號則會隨之被改變，而這個人就需要對該賬本上後續所有的賬本記錄，和所有人的賬本記錄作篡改。但是這個能實現的前提是，他能破解所有人每筆記賬的加密處理，而且，一旦對賬，系統發現有賬本和大家的不一樣，區塊鏈就會自動將「錯誤」的賬本更正。這就能充分保障區塊鏈電子數據的原始性和不可篡改性。

J. 公司的文件數據很多很重要，現在糾結用軟體定義存儲還是私有雲，求破

長期來看的話肯定用軟體定義存儲好，畢竟相對成本低數據更安全可靠，本人推北京金馬的軟體定義存儲產品