青島分布式存儲獲取方式
⑴ 北大青鳥設計培訓:分布式與區塊鏈之間的關系分析
關於區塊鏈技術的探討我們在前幾期的文章中已經說過很多次了,而且也給大家介紹了使用哪些編程開發語言來實現對區塊鏈技術的具現化,今天我們就一起來了解一下,如何從分布式的角度來分析理解區塊鏈的構造。
區塊鏈是源於比特幣中的底層技術,用於實現一個無中心的點對點現金系統,因為沒有中心機構的參與,比特幣以區塊鏈的形式來組織交易數據,防止「雙花」,達成交易共識。
傳統意義上的數字資產,比如游戲幣,是以集中式的方式管理的,僅能在單個系統中流轉,由某個中心化機構負責協調,通常以資料庫的方式來存儲。
宏觀上看,區塊鏈和資料庫一樣,都是用來保存數據,只是數據存取的形式有所不同。
區塊鏈本質上是一個異地多活的分布式資料庫。
異地多活的提出,原本是為了在解決系統的容災問題,多年來也一直是分布式資料庫領域在探索的方向,但鮮有成效,因為異地多活需要解決數據沖突的問題,這個問題其實不好解決。
然而誕生於比特幣的區塊鏈以一種全新的方式實現了全球大的異地多活資料庫,它完全開放,沒有邊界,支持上萬節點並可隨機的加入和退出。
在區塊鏈中數據沖突問題就更加突出了,區塊鏈里每個節點是完全對等的多活架構,上萬個節點要達成一致,數據以誰為准呢?比特幣採用的方式是POW,大家來算一個謎題,誰先算出來,就擁有記賬權,在這個周期,就以他所記的賬為准,下一個周期大家重新計算。
爭奪記賬權的節點決定將哪些交易打包進區塊,並將區塊同步給其他節點,其他節點仍然需要基於本地數據對區塊中的交易做驗證,並不像資料庫的主從節點間那樣無條件接受,這就是區塊鏈里的共識演算法。
POW雖然消耗大量算力,好處是在爭奪記賬權的過程中POW只要在自身節點中計算hash,不需要經過網路投票來選舉,網路通信的代價小,適合大規模節點之間共識。
青島電腦培訓http://www.kmbdqn.cn/認為POW是目前公有鏈里完備簡單粗暴做法,經得起考驗,但問題是效率太低。
所以後面發展出了PoS、DPoS,誰擁有資產多,誰就擁有記賬權,或者大家投票,但這樣又引入了經濟學方面的問題,比如所謂的賄選的問題,這就不太好控制了。
在傳統分布式資料庫里,不叫共識演算法,而叫一致性演算法,本質上也是一回事。
但分布式資料庫里一般節點數都很少,而且網路是可信的,通常節點都是安全可靠的,我們基本上可以相信每一個節點,即使它出現故障,不給應答,但絕對不會給出假應答。
所以在傳統公司分布式數據里,都用Raft或Paxos協議去做這種一致性演算法。
⑵ 雲計算模式及在地質資料集群化、產業化服務中的應用探討
張兆代 王聖潔 劉京鵬 宋宏偉
(青島海洋地質研究所)
摘 要 雲計算繼承和整合了虛擬化技術、海量數據存儲、分布式並行計算框架、智能化與自動管理等多項關鍵技術,形成了具有高性能、可伸縮、低成本及面向服務的新的計算模式。目前學術界及產業界對雲計算的研究和探討均呈快速增長趨勢,大量論文發表在計算機類和圖書情報類期刊,研究的重點集中在雲計算的基礎理論、雲計算的關鍵技術、雲服務的應用領域、雲計算與信息資源管理等多個方面。本文以 2000 ~ 2012 年發表在國內核心期刊上關於雲計算的研究文獻為統計樣本,分析了雲計算的研究熱點及其演化方向,結合我國地質資料集群化產業化服務的發展狀況,探討雲計算應用策略。
關鍵詞 雲計算模式 地質資料 信息共享和服務
1 前言
「雲計算(Cloud Computing)」一詞出現於 2006 年,是谷歌總裁埃里克 施密特(Eric Schmidt)在搜索引擎大會(SES San Jose 2006)首次正式提出的一個概念。它不僅揭開了谷歌搜索背後關鍵技術的神秘面紗,而且在短短的數年內就迅速超越「網格計算(Grid Computing)」並成為新的潮流(圖 1)。
圖 1 網格計算與雲計算搜索量變化趨勢圖
2006 年後,在谷歌、亞馬遜、IBM 等企業的推動下,「雲計算」作為新興的計算模式已經有了廣泛應用。雲計算作為一種基礎設施與服務的交付和使用模式,正深刻地影響著互聯網的發展。近年來,國內外掀起了關於雲計算的研究熱潮,涌現了大量的研究文獻和應用案例,雲計算已經成為學術界和產業界共同關注的熱點。本文首先介紹了雲計算的基本概念和關鍵技術,並通過對現有的雲計算研究文獻的綜合分析,結合我國地質資料集群化產業化服務的發展狀況,提出其在雲計算應用中需要注意的問題。
2 雲計算及其關鍵技術
2.1 雲計算的基本概念
雲計算的概念仍存在不同的定義。一般認為雲計算是一種基於互聯網的計算方式,通過這種方式,共享的軟硬體資源和信息可以按需提供給計算機和其他設備[1]。美國國家標准與技術研究院(National Institute of Standards and Technology,NIST)也給出了雲計算的定義,認為雲計算是一種能夠通過網路以便利的、按需使用的方式獲取計算資源並顯著提高可用性的方式,這些計算資源來自一個共享的、可配置的資源池,並能夠以自動的方式獲取和釋放[2]。
中國電子學會雲計算專家委員會認為:雲計算是一種基於互聯網的、大眾參與的計算模式,其計算資源(計算能力、存儲能力、交互能力)是動態、可伸縮、且被虛擬化的,並以服務的方式提供。這種新型的計算資源組織、分配和使用模式,有利於合理配置計算資源並提高其利用率,從而促進節能減排,實現綠色計算[3]。
盡管雲計算有不同的定義,但對於雲計算的特點已有很多深入的討論。下面五個基本特徵可以用來判斷一個計算服務是否是雲計算。
(1)服務按需即取。雲計算是把信息技術作為服務提供的一種方式。由於這種服務是從用戶角度出發,按需即取的自助服務是其最重要的特徵之一。用戶可以自行獲得計算能力,包括伺服器的使用和網路存儲的使用,而整個過程通常是自動進行的。
(2)便捷網路訪問。雲計算支持廣泛和便捷的網路訪問能力,用戶可以使用多種設備,如手機、移動計算機或工作站等獲取雲服務。
(3)資源共享池。雲計算帶來的一個好處是能夠提高資源的利用率,通過把資源集中到一個公共的資源共享池中,可以為大規模的用戶群提供共享服務。由於資源池可以動態分配所有物理和虛擬資源,達到了通過共享提高資源利用率的目的。
(4)高可擴展性及彈性服務。雲計算具有快速及可伸縮地提供服務的能力。根據需求變化,雲計算所提供的服務可以自動並快速地擴展或收縮。
(5)服務可度量。雲系統通過自動監控資源的使用,可以提供定量的運行報告,從而保證雲服務處於應有的水平。
2.2 雲計算的體系架構
計算機技術的發展經歷了傳統主機計算模式到個人普及計算模式及分布式網路計算模式的轉變[4]。雲計算作為一種新的計算模式,既是分布式計算、並行計算和網格計算等技術快速演化的結果,也是信息社會中信息需求的必然選擇。社會化、集約化與專業化的信息服務通過各種雲計算得以體現,其中既包括了各種通過網路提供給用戶的互聯網應用、軟體或計算資源服務,也包含了用來支撐這些服務可靠和高效運行的軟硬體平台。
美國國家標准與技術研究院的技術報告給出了關於雲計算體系架構的完整模型(圖 2),該頂層模型定義了雲計算模式中的角色(Actors)、行為(Activities)和功能(Functions)[5]。雲計算的核心角色有雲用戶(Cloud Consumer)、雲服務商(Cloud Provider)、雲審計者(CloudAuditor)、雲代理商(CloudBroker)和雲運營商(Cloud Carrier)共五類(表 1)。在該模型中,雲用戶可以獲得包括 ERP、CRM、HR 等商業智能或信息、通訊、協作、存儲、備份以及軟體、硬體託管等多種服務,雲服務商則通過雲計算中心的建設、運行和管理提供在線的軟體服務(SaaS)、平台服務(PaaS)和基礎設施服務(IaaS),雲運營商通過提供網路接入、通訊系統等保障雲計算的提供和使用,雲審計者和雲代理商的參與則保證了雲計算和雲服務的穩定性、持續性和透明度及服務水平。
圖 2 雲計算體系架構參考模型(引自 NIST)
表 1 雲計算模式中的主要角色及定義
2.3 雲計算的關鍵技術
雲計算是計算機技術發展的產物,其中虛擬化技術、海量數據存儲、分布式並行計算框架、智能化與自動管理被認為是實現雲計算的關鍵技術[6]。
2.3.1 虛擬化技術
虛擬化(Virtualization)技術是將各種計算及存儲資源充分整合和高效利用的關鍵。虛擬化技術包括兩個方面:物理資源池化和資源池管理。物理資源池化是把物理設備由大化小,將一個物理設備虛擬為多個性能可配置的最小資源單位;資源池管理是對集群中虛擬化後的最小資源單位進行管理,根據資源的使用情況對資源進行靈活分配和調度,實現按需分配資源。虛擬化技術主要應用在伺服器虛擬化、存儲虛擬化和網路虛擬化三個方面。
2.3.2 海量數據存儲
海量數據存儲是雲計算的主要任務。為了保證可用性、可靠性和經濟性,雲計算採用分布式存儲的方式來存儲數據,由於採用了分布式冗餘存儲的方式,數據既有高可靠性,也能並行地為大規模用戶提供服務。雲計算的數據存儲技術主要有谷歌的分布式文件系統(GFS,Google File System)和 Hadoop 的HDFS(Hadoop Distributed File System)。
2.3.3 分布式並行計算框架
並行計算是雲計算的核心。雲計算採用 Map-Rece 的編程模式實現分布式並行計算。Map-Rece通過「Map」和「Rece」這樣兩個過程來簡化並行計算,所有應用只需要提供 Map 函數以及 Rece 函數就可以在集群上進行大規模的分布式數據處理。Map-Rece 不僅僅是一種編程模型,同時也是一種高效的任務調度模型,該模型的使用使計算任務高度並行及分布式實現成為現實。
2.3.4 智能化與自動管理技術
雲計算具有高度自治的特點,智能化與自動管理是雲計算模式的重要技術支撐。通過對集群系統各節點的全面監控、自動反饋、智能調配,實現了包括設備、虛擬資源、通訊與服務等的動態管理和自動遷移。以第四代大規模數據中心為基礎的雲計算,既能靈活擴展部署,也能滿足服務計算和多粒度計算的要求。
3 我國雲計算研究熱點分析
3.1 國內外雲計算搜索量變化趨勢比較
搜索量的大小通常反映關注度的高低,使用 Google Trends 工具還可以分析一些長期的趨勢和變化。這里選擇「Cloud Computing」和「雲計算」分別作為世界和我國在雲計算領域的指標性關鍵詞,從分析結果可以看出以下幾個特點(圖3):①世界上對於雲計算的關注開始於 2007 年,我國則自 2008 年才開始關注該領域。因此,我國仍屬於學習—跟隨型研究模式。②自 2007 年後,世界上關於「Cloud Computing」的搜索量出現迅速增長趨勢,目前,已超過「Grid Computing」成為新的信息技術熱點,我國對此的關注則較為平緩和滯後。③如果把搜索量代表的關注度看做是「海上的冰山」,那些「水下的部分」,包括基礎理論、關鍵技術、應用實踐等方面,國內外存在更大的差距。
圖 3 國內外雲計算搜索量變化趨勢比較
3.2 國內雲計算研究文獻的計量分析
本文利用中國知網 CNKI 學術期刊資料庫,檢索 2000 年 1 月至 2012 年 3 月發表的有關雲計算研究的核心期刊文獻 852 篇(表 2)。我國對於雲計算的研究始於 2007 年,之前罕見相關研究。2008 ~2011 年,雲計算的研究開始引起廣泛關注,論文數量開始急劇上升,同時發表雲計算論文的期刊數量也同步快速增多,顯示出雲計算研究領域的廣泛性。由於只統計到 2012 年 4 月的部分數據,從表面看檢索到的 2012 年的成果不多,實際並未改變論文數量快速增加的趨勢。
表 2 雲計算論文發表時間分布表
對於檢索到的 852 篇論文,對其關鍵詞進行了計量分析,其中涉及關鍵詞 1376 個,累計出現頻次3020 次。按頻次從大到小排列,排在前十位的關鍵詞有:雲計算(645)、虛擬化(115)、圖書情報(115)、雲服務(94)、安全(65)、存儲(42)、物聯網(33)、MapRece(24)、檔案(20)、數據中心(13)等。從關鍵詞分析可以看出,雲計算的研究涉及基礎理論、關鍵技術、應用領域、信息資源管理等諸多方面,對於虛擬化、存儲、MapRece 等關鍵技術有較多論述;但整體來講,多數仍為綜述性、展望類的論文。就應用領域來講,圖書情報界對雲計算進行研究和借鑒的趨勢比較明顯[7],而地質資料界對雲計算的關注和應用研究仍較少。
4 雲計算與地質資料服務
4.1 地質資料數據與服務現狀
地質資料是國家重要的基礎資料。新中國成立以來,通過實行地質資料統一匯交制度,積累了大量的地質資料。我國現有全國性基礎地質與戰略性礦產地質數據資源 12 大類 50 余種資料庫,數據量達10TB 以上,涉及區域地質、礦產地質、水文—工程—環境地質、農業地質、海洋地質、基礎地質、地球化學、地球物理、地學科研、地質資料、遙感等領域[8]。
我國目前實行的是二級監管、三級保存的地質資料管理框架。由於條塊分割等原因,地質資料的共享與服務尚存在很大差距,突出表現在數字化程度低,信息孤島現象嚴重,地質資料不能及時、有效地滿足國家建設與社會需求。
2002 年,國務院頒布了《地質資料管理條例》,2003 年,國土資源部發布了《地質資料管理條例實施辦法》,地質資料的管理與共享服務得到了前所未有的重視。國土資源部又相繼推動地質資料匯交、地質資料委託保管、地質資料集群化、產業化服務等,地質資料的管理與服務開始出現一個新的局面。由於管理與服務模式的轉變是一個較長期的過程,地質資料工作的重要性仍未完全顯現,社會對地質、礦產等的關注度仍遠落後於「土地」「海洋」「氣象」,僅稍高於「測繪」(圖 4)。
4.2 雲計算是改變地質資料服務模式的契機
從雲計算的產生和發展過程來看,雲計算是在繼承和整合了虛擬化技術、海量數據存儲、分布式並行計算框架、智能化與自動管理等多項關鍵技術的基礎上,形成的具有高性能、可伸縮、低成本及面向服務的新的計算模式。雲計算正在推動著信息產業實現社會化、集約化、專業化的大轉型。
社會化:互聯網計算正成為社會基礎設施,建立集中的、各種各樣的雲計算中心實現規模化的社會服務,是當前發展的趨勢。
圖 4 地質等搜索量變化趨勢比較
集約化:歸並分散、粗放的軟體開發與應用,軟體模塊構件化,提高平台利用率,使計算資源以虛擬化組織和配置、彈性伸縮,通過軟體的重用和柔性重組,進行服務流程的優化與重構。
專業化:面向多租戶使服務更為精細、規范,並對服務透明使用,按需租用[9]。
地質資料服務及信息共享是一種典型的數據密集型計算服務,這恰與雲計算模式的基本特點相符合。因此,引入雲計算是推進地質資料信息服務集群化產業化的天然契機。從技術層面上來講,國家地質資料數據中心建設十分重要,建議規劃為提供完整 SPI(軟體即服務 SaaS、平台即服務 PaaS、基礎設施即服務 IaaS)服務的地質資料專業雲,全面涵蓋二級監管、三級保存及社會化服務,這種集中式的部署方式既降低了技術難度,也有利於提高投入和使用效率。其次,國家地質數據中心也可以規劃為「邏輯統一、物理分布」的三級數據中心體系,這種社區雲的部署方式符合我國地質資料行業現狀,組織實施均較為簡單。需要注意的是,無論哪種方式,統一的體系架構、成熟技術的採用、一致的標准和安全性都是需要重點考慮的問題。
5 結語
與網格計算相反,雲計算更多地經歷了從實踐到理論的過程,從研究者關注雲計算開始,其實已經大量出現雲計算的實例。我國在雲計算領域的基礎研究仍然落後,但圖書情報界對雲計算的跟蹤和應用卻十分突出,一些基於知識的服務已經達到專業化和產業化服務水平。相信雲計算模式的引入,將會極大地推動地質資料服務向集群化產業化方向轉型,以更好地實現地質資料和成果的全社會共享。
參 考 文 獻
[1] 維基網路.雲計算.http://zh.wikipedia.org/wiki/ 雲計算,2012.
[2]Peter Mell,Timothy Grance.The NIST Definition of Cloud Computing.NIST Special Publication 800 ~ 145,2011.
[3] 李德毅,林潤華,鄭緯民等.雲計算技術發展報告 [M[.北京:科學出版社,2011.
[4] 楊春霞,王聖潔,王春民.談計算模式的演變及其對海洋地質數據處理的影響 [J].海洋地質動態,2004,20(2):32 ~ 36.
[5]Fang Liu,Jin Tong,Jian Mao et al.NIST Cloud Computing Reference Architecture.NIST Special Publication 500 ~ 292,2011.
[6]Michael Armbrust,Armando Fox,Rean Griffith et al.Above the Clouds: A Berkeley View of Cloud Computing.http://www.eecs.berkeley.e/Pubs/TechRpts/2009/EECS-2009-28.pdf,2009.
[7] 張正祿.我國圖書情報界雲計算研究述評 [J].國家圖書館學刊,2010,(3):73 ~ 76.
[8] 國土資源部礦產資源儲量司.推進地質資料信息服務集群化產業化 [M].北京:地質出版社,2011.
[9] 李德毅.雲計算支撐信息服務社會化、集約化和專業化 [J].重慶郵電大學學報,2010,22(6):698 ~ 702.
⑶ 什麼是中國長城計算機深圳股份有限公司
中國長城計算機深圳股份有限公司是中國電子信息產業集團有限公司旗下重要骨幹企業,是國內領先的雲計算解決方案提供商和服務商,同時也是目前全球最大的顯示器研發製造商、全球第三大液晶電視研發製造商、國內最大的計算機電源研發製造商,在中國深圳、福清、廈門、武漢、北京、青島、北海、台北及巴西、墨西哥、俄羅斯、波蘭等國家和地區設有研發中心和生產基地,總佔地面積200餘萬平方米,在全球擁有員工30000餘人,2015年公司實現營業收入729億元。
中國長城計算機深圳股份有限公司是中國最大的從事計算機及其外部設備生產製造的上市公司,成立於1985年,隸屬中國電子信息產業集團公司。於1997年在深圳證券交易所掛牌上市。
長城電腦核心業務涵蓋雲計算與數據存儲、信息安全系統與服務、新型顯示、新興能源設備與系統、電子製造服務等,有著雄厚的實力和技術積累,能夠全方位滿足政府與企業信息化與信息安全需求。
在雲計算與數據存儲領域,長城電腦致力於自主知識產權的雲計算應用技術和系統研究,融合數據中心虛擬化、分布式雲存儲、彈性計算、用戶自服務和服務自動化、可計量等先進技術,研發出自主可控的具有綠色節能、資源動態變更、均衡接入、管理自動化和一體化等特點的雲計算系列產品與系統。作為優秀的雲計算業務解決方案服務提供商,長城電腦本著以服務為核心並直接面向客戶業務的指導思想,為用戶提供雲教室、企業私有雲、桌面雲、教育雲、雲計算數據中心、智慧城市、智慧教育等雲計算產品解決方案與服務。
在信息安全系統與服務領域,長城電腦在可信計算、安全存儲、計算機底層安全防護、虛擬化等關鍵領域擁有核心技術,處於國內領先地位,是目前國內唯一一家可基於四款主流國產處理器自主設計研發自主可控計算機整機及系統的公司,信息安全產品與系統被廣泛應用於黨政軍各級部門以及金融、能源、交通、醫療等關繫到國計民生的重要行業。公司還致力於研發和銷售具有自主知識產權的運維級存儲備份軟硬體產品,擁有國際先進的數據備份技術,成功研發了中國第一台基於國產晶元、國產操作系統的純國產自主可控容災備份軟硬體一體化平台,成為目前國內唯一有能力生產純國產存儲備份一體機的廠商,能夠為各行業用戶提供全方位的數據容災備份解決方案。
在新型顯示業務領域,公司旗下冠捷科技有限公司是全球最大的顯視器研發製造商、全球第三大液晶電視研發製造商,多年雄踞全球顯示類產品領域的龍頭地位。2015年, 冠捷科技顯示器出貨量4330萬台,佔全球市場份額34.9%;液晶電視出貨量1820萬台,佔全球市場份額8.1%。公司除運營AOC、Envision、GreatWall等自有品牌產品外,還擁有飛利浦顯示器在全球的獨家分銷權,擁有飛利浦品牌電視在全球大部分地區的獨家分銷權。
在電源系統與光伏電站業務領域,長城電腦是電源國家標准主要起草單位之一,多年雄踞國內市場佔有率第一品牌。公司自主研發的超高性能要求的數據中心伺服器電源填補了國內空白,為目前全球最快的超級計算機配套,也使公司躋身於國際先進的超級計算機電源供應商行列。公司通過收購美國Satcon公司商標、知識產權、測試設備等無形及有形資產,快速形成了在逆變器業務領域較好的發展基礎,推動公司由單純的逆變器代工製造,向設備供應、工程總包和電站建設、全業務鏈運作取得顯著成效,長城Satcon太陽能逆變器全球裝機總量已超過3GW。
在電子製造服務(EMS)領域,長城電腦經過近30年的積累,在國內率先通過了ISO9001、ISO14001、OHSAS18000、QC080000、EICC等管理體系認證,以SAP系統應用開發為基礎,構建了長城物流系統、長城技術服務系統、產品防偽查詢系統、渠道管理系統、自動測試系統、質量追溯系統等互聯互通、介面標准、易擴展、適用於各類產品和各種工廠分布條件的精益、智能、柔性化生產管理與質量控制系統,是行業一流的專業信息終端產品設計製造與解決方案服務提供商,具有年產信息終端整機300萬台的製造、服務能力,具備從電子產品設計開發到PCBA(SMT+AI+DIP)和整機組裝測試、物流及客戶服務等全價值鏈服務能力。
企業文化
對內,長城寬頻開展多元化全方位的企業培訓,給員工提供業務技能、職業定位以及個人價值觀、世界觀等精神食糧,同時開展評比、業余活動等的文化生活,豐富了長寬員工的精神世界,展現了員工拼搏進取工作之外多才多、藝光彩照人的一面,使團隊更具凝聚力和競爭力。
對外,長寬人的心與國家人民的脈搏一齊跳動。企業作為一種社會經濟組織,在國家面臨天災來襲之時,為災區作貢獻不應該是一種道德,而應該是一種義務。長寬人沒有用簡單的人和人之間的道德來衡量企業的社會責任,在512四川地震災害的危難關頭,長寬全體員工通過各種渠道,採取不同的形式向災區人民表達愛心:在網上,我們開設了用長城寬頻網登陸中華慈善總會網站的通道,以最快的速度向災區人民傳達愛心人士的援助;在線下,我們支援災區抗震救災工作,向災區運送慰問品,充分體現了長寬人對災區人民的愛心和長寬企業的社會責任感。