全球存儲數據產值
⑴ 分布式存儲產業鏈發展概況
作者 | 焦仕可
來源|《2020分布式存儲產業鏈研究報告》
數字化世界不可逆,分布式存儲產業鏈,是承載數據洪流的數據水庫。
分布式存儲產業鏈概況摘要:
1、市場需求旺盛,定製化伺服器迎來高光時刻。 從需求角度看:存儲行業的發展是技術與需求相互促進的過程。人工智慧、物聯網、區塊鏈、5G等技術的快速發展和應用,數據呈指數級增長趨勢,成為創新的基礎。流量、帶寬、數據的計算、存儲、檢索需求長期穩定向上;從技術角度,演算法、算力、算量的增長,分布式存儲在雲計算、虛擬化、IPFS等技術支持下,硬體或將在軟體及演算法的迭代和融合中突破硬體物理限制,下遊客戶將參與晶元及伺服器標准制定,定製化伺服器成為未來新趨勢。
2、產業鏈上游技術及製造卡脖子,多維競爭局面展開,行業格局或重新洗牌。 從產業鏈供應鏈角度看:分布式存儲重要的基礎設施是數據中心,伺服器是數據中心的心臟,晶元是伺服器的核心組成部分。伺服器硬體升級的核心是數據處理,即對數據的採集、存儲、檢索、加工、變換和傳輸,國產化能力長期偏弱,供應鏈集中在歐美日韓台地區。受中美摩擦及疫情影響,上游原材料供應受阻,整體市場成本或將增加。但中國巨大的市場需求及技術迭代,國產的技術、產品、及組織形式上的創新,將有可能帶領硬體端突破重圍,創新帶來行業格局變化。
3、未來十年,國產替代將成主流。 從行業周期看:伺服器軟硬體持續升級周期僅為 2-3 年,當前已處於升級換代階段。過去,伺服器已經實現了從OEM(代工生產)向ODM(設計製造)再到JDM(由互聯網/雲計算企業,與伺服器生產商一起研發伺服器)模式演化,國內浪潮就是典型聯合設計製造商。中美摩擦,反向加速了國內數字領域的發展,加速推進數據基礎設施建設,在IPFS新技術的支持下,行業參與門檻降低,多方競爭下及政策支持下,國產替代趨勢明顯,未來十年或成主流。
4、新一輪行業機遇誕生,新的財富格局或在web3.0中被刷新。 從市場空間來看:中國無論是數據中心規模還是伺服器等上游佔有率,與歐美相比相差巨大,加之公有雲、私有雲的爆發,行業未來增長空間巨大。在政策支持、技術迭代、資本角逐三重利好驅動下,存儲市場迎來新機遇,新一輪的財富大分配已經展開!
⑵ 「東數西算」全面啟動:數據大遷徙背後,看見存儲產業的未來輪廓
近日,國家發展改革委等部門聯合印發文件,同意在京津冀、長三角、粵港澳大灣區、成渝、內蒙古、貴州、甘肅、寧夏啟動建設國家算力樞紐節點,並規劃了10個國家數據中心集群。至此,全國一體化大數據中心體系完成總體布局設計,「東數西算」已成為國家級戰略工程,浩浩盪盪地站上了 歷史 舞台。
「東數西算」被認為是繼「南水北調」「西電東送」「西氣東輸」之後的又一重大基礎設施工程,將成為「新基建」的新抓手。具體而言,「東數西算」就是將東部產生的數據和需求,放到西部數據中心去計算和處理。這有利於為數據中心提供源源不斷的可再生能源,大幅降低其運行維護成本,同時能夠推動中國數字經濟和西部地區發展。
乘著「東數西算」的政策東風,存儲、計算產業也將迎來巨大的發展機遇。其中,基於分布式存儲架構的SDS(軟體定義存儲)作為先鋒力量、「熱門選手」,天生具有可擴展性以及靈活性,必然會為新基建時代帶來革命性的數據儲存手段。
然而,機遇往往與挑戰並存,一個不能忽略的問題是,隨著東數西算工程縱深推進,存儲需求激增,同時5G、AI、雲等技術加速更迭的背景下,與之相伴而生的SDS由於還在沿用十年前的技術,也必然需要同頻進化。
01
被行業擁簇的SDS(軟體定義存儲)
2013年,「軟體定義一切」被首次提出時,還是個令人懷疑的技術暢想。尤其是當它與存儲綁定在一起,在一些傳統儲存廠商眼裡是不著邊際的。但事實證明,SDS(軟體定義存儲)的誕生,不僅優化了傳統存儲的弊端,並在日後的十年裡逐漸繁榮。
根據IDC公布的2021年三季度中國軟體定義存儲(SDS)市場報告顯示,前三季度中國SDS市場獲得高速增長,市場規模同比增長54%,成為中國存儲市場的增長引擎。早就發布過軟體定義是趨勢的Gartner預測,到2024年,全球50%的存儲容量將以軟體定義存儲的形式部署,包括本地部署或在公有雲上。
SDS在市場上的狂飆突進,一方面是基於創新技術。近幾年,由於數據爆炸式增長,存儲系統的軟硬體緊耦合設計嚴重地限制了存儲技術的發展,而軟體定義存儲則可以實現軟硬解耦,讓硬體成本盡可能的降低,使得軟體發揮更大價值。通過軟體的設計,來決定存儲的性能和邊界,不用再受硬體設備、伺服器的限制。其方向在於幫助用戶在傳統數據中心或雲內實現存儲資源的池化和服務化,以及在多雲之間實現數據的統一管理和自由流動。
另一方面,是源於 歷史 的進程,被時代選擇。隨著雲計算、大數據和人工智的發展,非結構數據爆發式增長——文本、圖像、影視、超媒體等,面對這些數據,傳統存儲方式難以招架,而SDS存儲正是包含針對文件的存儲、對象的存儲,自然就成了相關行業的首選。此外,企業雲化在近幾年成為了主流。在上雲浪潮下,不同種類業務在池化的資源池中拿到相匹配的資源。這種業務場景天然適合軟體定義存儲的分布式架構、軟體定義、水平擴展、基於統一存儲引擎向上提供多種介面等特性。
02
SDS已站在新十年的轉彎處
帶著這樣的優勢,伴隨著行業的擁簇,SDS轉眼已來到新十年的轉彎處。周遭環境飛速變化,數字浪潮奔騰洶涌,一些廠商、企業赫然發現,這個階段的SDS竟然依然處於1.0時代,還在沿用十年前的開源技術,基於舊的硬體架構設計,似乎已無法更好的應對未來的新興需求。
例如,與10多年前相比,現在的存儲硬體、網路以及相關的技術方案已經發生了很多的變化,如果在軟體層面不做出新的變革,數據存儲系統就無法發揮出最大的價值。
還有介質方面,存儲已經實現了大規模的從機械硬碟向SSD固態硬碟的過渡,由此帶來了超高的IOPS、超低的時延;網路的提升更是驚人,100G已經司空見慣,400G也已經漸行漸近。
當然,也面臨著「雲」的追趕。我們都知道,目前,企業雲化已經成為必答題,雲的發展日新月異,從私有雲到多公有雲、邊緣雲、分布式雲,企業選擇上雲的部署方式越來越多元,數據可能存放在任意的地理位置,存儲平台需要構建全局統一的存儲資源池,讓數據在多數據中心、混合多雲和邊緣中按需流動,這都是目前SDS1.0需要突破的挑戰。
03
觸摸存儲未來的輪廓,ExponTech搶先邁向SDS2.0
作為數據基礎設施整體解決方案提供商—ExponTech華瑞指數雲率先提出SDS2.0概念。在ExponTech看來,SDS從1.0需要邁向2.0時代,進化為2.0後,會為行業帶來眼前一新的改變。
比如,SDS 2.0將支持可組合式架構,整合私有雲、多個公有雲,邊緣雲中的存儲資源,提供不同IO模型,不同性能和可靠性要求以及許多種協議介面(iSCSI、S3、POSIX、NFS、CIFS、CSI、HDFS等)的自由組合及靈活部署使用。
還有,SDS2.0將與雲原生高度協同。無論在計算、網路、數據亦或業務的層面,都可以按照雲原生的架構模式、部署模式和運營模式,實現與時俱進的進化。SDS 2.0需要按照雲原生的方式,支持和適配企業雲原生應用的發展。
最後,具備向上服務能力。SDS2.0在做好基礎存儲的服務、流動的同時,還會向上管理資料庫,分發數據,幫助企業解決數據孤島問題。
不僅如此,ExponTech認為,SDS2.0未來近乎要實現一個飛躍式的革新,是需要在引擎和架構方面做出全新的設計。
由此,ExponTech前瞻性地發布自主研發的新一代分布式數據存儲引擎WiDE。和其他存儲相比, WiDE既可以提供多池架構下的IO調度和數據流動,企業可以存儲海量非結構數據,也能存儲要求高性能高可靠的結構化數據,還可以做高性能的數據分析,真正實現數據原生於一個數據平台上,只保留一份數據卻可以被各類應用以各種介面訪問,避免各種數據孤島和數據復制拷貝帶來的問題。
此外,WiDE還全面覆蓋數據新基建創新型應用場景。在覆蓋現有分布式存儲產品SDS1.0的主流業務場景之外, WiDE能在高性能數據分析HPDA、高性能雲主機、高性能資料庫底座、混合多雲數據平台等業務場景發揮作用,彌補之前高端應用場景下吞吐和時延的缺陷。
引擎WiDE的問世,將會在SDS2.0時代更好地幫助企業應對數字化時代面臨的業務快速迭代升級的需求,推動企業智能化。未來,ExponTech也將會打造更多前沿存儲產品,助力國內數據存儲和國產系統軟體的發展。
伴隨著對SDS2.0的展望和引擎WiDE的無限可能性,未來之窗的紗簾正在緩緩拉開,我們對於數字世界廣闊前景的想像,變得更為具體可感了。
END
⑶ 奇跡!美國三大存儲巨頭收入大幅下滑,華為逆勢猛增劍指全球第一
科技 先生頻道∣公眾號:zgkjsir
文/中國 科技 先生 胖猴
近日,美國疾控中心副主任舒查特博士對媒體直言, "由於新冠病毒傳播速度太快、范圍太廣,目前美國疫情正呈失控狀態"。
從發展態勢來看,確實如此。據美國約翰斯·霍普金斯大學統計數字顯示,截止當地時間6月30日上午,美國新冠肺炎確診病例超過268萬,死亡病例為12.95萬。 過去一個星期,全美每天新增的新冠病例數量同比猛增42%,達到約38200例。
形勢如此嚴峻,經濟重啟因而變得艱難。美國媒體6月30日程,由於新冠肺炎疫情再攀高峰, 包括得克薩斯州和佛羅里達州在內的至少16個州已經暫停重啟經濟的計劃。
疫情的影響,已然涉及整個 社會 的方方面面,連美國三大存儲巨頭Dell EMC、NetApp和HPE也大受沖擊。
近日,全球權威分析師機構Gartner發布2020年第一季度的外部存儲市場份額報告,報告顯示,Dell EMC、NetApp和HPE收入都出現大幅下滑,分別下滑11%,16%和19%。
美國存儲巨頭迎來至暗時刻,來自中國的 科技 公司華為,卻展現出逆勢進擊的彪悍。
2020年第一季度,盡管同樣受到疫情影響,華為依然實現了24.7%的高速增長,增長率排名第一。
具體到不同區域,在第一季度受疫情影響最嚴重的中國區,華為仍然保持15.4%的收入增長,增長率中國區第一。海外市場方面,華為實現了38.5%的增長率,增長率排海外市場第一。
不難看出,華為干翻了一眾海外巨頭,成為全球存儲市場唯一的一抹亮色。在華為這里,疫情也好,巨頭林立也罷,都不是戰斗停歇的理由,恰恰相反,困難越多,越要能轉危為機。
要知道,此前,美國三大存儲巨頭"制霸"全球存儲市場,風頭最勁的當屬Dell EMC。
在911事件中,Dell EMC幫助摩根斯坦利24小時恢復全部業務,從而名聲大噪。隨後,Dell EMC完成一系列收購,"迅速完成了從高端存儲廠商到存儲巨頭的角色轉換,開啟了長達十五年的存儲霸主生涯"。
權威分析機構IDC發布的報告數據顯示,2020年第一季度,Dell EMC依舊是最大的企業外部存儲系統廠商,佔全球收入的33.2%,NetApp則以11.0%的收入份額位列第二,其次是HPE/新華三,份額為9.9%。
面對美國巨頭,華為無可倚靠,只能仰仗技術研發,不斷深耕。你可能想像不到,征途之初,可以用"篳路藍縷"來形容。
2002年,華為開始對存儲業務進行投入,"團隊加起來也就十來個人",但必須在一年之內把預研的產品研發出來。
怎麼辦?華為存儲首先想到與高校科研機構合作。於是,華為存儲與華中理工大學(後來改名為華中 科技 大學)謝長生教授團隊展開合作,開始基於標准伺服器+商用FC卡+開源RAID代碼+Cache/SCSI組件打造預研的存儲系統。
經過一年努力,存儲原型機終於研發成功,通過了管理層驗收。第二年,也就是2003年,華為存儲正式啟動研發。
到2005年,華為又完成對雙控存儲系統的研發工作,這意味著華為存儲研發實現了階段性勝利。
此後,技術研發的實力日積月累,越發雄厚。 目前,華為在全球布局了12個研發中心,有超過4000名工程師從事存儲研發,存儲專利超過800項,華為OceanStor存儲Dorado系列全快閃記憶體更在日本年度最大規模ICT展會Interop Tokyo 2020上再次獲得Best of Show Award金獎。
得益於研發投入,華為存儲爆發出驚人能量,不僅受到海內外眾多用戶青睞,市場份額也節節攀升。2019年,華為存儲在全球市場份額殺進前四,而在中國市場,華為存儲已經連續19個季度排名第一。
對此,華為雲與計算BG副總裁、數據存儲與機器視覺產品線總裁周躍峰當仁不讓地坦承: "華為公司成為全球第一的存儲廠商指日可待。"
按照華為長期的技術研發,尤其是現在這樣迅猛的增長速度,加上美國三大巨頭發展變得疲軟,華為存儲將會趁勝追擊,最終屹立於全球存儲市場之巔。
這一天,正在加速到來。
⑷ 數字經濟時代,高性能數據分析存儲迎來新機遇
數字經濟時代,數據已成為新的核心生產要素,其重要戰略資源地位和核心科學決策作用已日漸凸顯。數據潛能的激發,有賴於數據的採集、存儲、計算、管理和應用,其中,作為數據採集後進行處理的第一道關口,數據存儲無疑是數字經濟最重要的「底盤」。
海量數據爆發,數據存儲成關鍵
當前,數據呈現指數級增長,數據規模已經從之前的GB、TB、PB,上升到EB級、甚至ZB級。據Hyperion預測,到2025年,全球數據空間將增長到163ZB,這是2011年HPC產生數據16.1ZB的10倍。爆炸式增長的數據,哺育了數字技術發展和應用,但是同時也對計算和存儲提出了更高的要求。
在高性能計算(HPDA)中,計算、存儲、網路三大部件缺一不可。以前,產業創新的焦點都在追求更高的算力。而隨著大數據、多樣性算力等相關技術的快速發展,高性能計算的重心開始從以計算為核心,向以數據為中心的計算演進;傳統HPC開始向高性能數據分析(HPDA)方向演進。據IDC統計,全球67%的高性能計算中心(HPC)已經在使用AI、大數據相關技術,HPC與AI、大數據加速融合,走向以數據密集型為典型特徵的高性能數據分析HPDA時代。
HPDA時代下,各行業數據量迎來了井噴式增長。地震勘探從二維向三維的演進中,數據量增加了10-20倍;電影渲染從2K升級到8K的革命中,數據量增長16倍;衛星測繪領域,探測精準度由20米縮小到2米,數據量同比增長近70倍。
數據規模激增之外,業務模型復雜以及分析效率較低等挑戰,也都在呼喚著更高效率的存儲。
存儲作為數據的承載者,逐步成為推動HPC產業發展的新動能。然而,傳統的HPC存儲在混合負載性能、成本、跨協議訪問等多方面存在壁壘,無法匹配HPDA場景的需求。如何打破存儲性能、成本、效率的限制,充分釋放數據潛能,成為制約HPC產業升級換代的掣肘。
高性能數據分析存儲,加速HPC產業發展
當前,作為數據應用和數據分析的支撐平台,以及 科技 強國的關鍵基礎設施,數據存儲已成為國之重器,在金融核心交易、新型油氣勘探、基因測序、自動駕駛、氣象預測、宇宙 探索 等領域發揮重要作用。數據的存儲與處理能力已經成為提升政府管理水平、提高企業經營效率、增強企業發展韌性的關鍵,數據存儲正成為加速數字化轉型的堅實底座。
新的產業變化以及數據存儲的重要地位,對高端存儲提出了新的挑戰,同時也在加速存儲技術的革新——從HPC部分場景向HPC/HPDA全場景擴展,存儲開始承擔起加速產業向「數據密集型」轉型的重任。根據國際權威分析師機構Hyperion Research 2020年針對HPC市場空間的數據顯示,數據存儲的增速第一,遠高於整體市場平均增速。
高性能數據分析(HPDA)存儲,能夠匹配各HPDA場景的高端存儲,可以讓基因測序、氣象海洋、超算中心、能源勘探、科研與工業創新、智能醫療、深度學習、人臉識別等數據密集型HPDA應用場景,在效率、品質、性價比等方面實現飛躍式提升。
值得注意的是,華為OceanStor Pacific系列下一代高性能數據分析(HPDA)存儲,可以高效應對超高密設計、混合負載設計以及多協議互通上的關鍵挑戰,推動HPC產業向數據密集型升級。目前已經成功應用於自動駕駛、基因測序、氣象預測、衛星遙感等眾多國內外高性能計算場景企業及機構。
存儲作為高性能數據分析的重要引擎,正全面釋放HPC的應用價值,驅動著HPC產業不斷進步,跨越「計算密集型」到「數據密集型」的鴻溝,持續推動人類 社會 繁榮 健康 發展。
⑸ 全世界計算機數據量到底有多少。 增長速度有多快 有沒有個估計,全世界的數據總量有多少
由於互聯網和計算機的廣泛普及,IDC預計,到2011年世界上將產生1,800,000,000TB數據,也就是1.8ZB.
數碼世界正在以讓人難以想像的速度擴張,消費者和企業將自己的大量圖像,視頻和文件數據放在其大容量硬碟和存儲伺服器中,去年,全球總數據量達到281,000,000TB,而2011年將突破1.8ZB,大約是2006年的10倍.
目前消費級硬碟的最大容量是1TB,1000個硬碟就能產生1PB的容量,是什麼導致了世界數據數量如此劇增?答案是視頻和照片以及監控錄像.同時,從模擬到數字信號的轉換後的數據也稱為增加全球存儲介質負擔的重要原因,目前龐大的存儲方案並不能滿足需要,世界將最終需要新的辦法來存儲這些數據.參考資料:網路
⑹ 誰知道目前我們全球互聯網上的數據量大致有多少講講判斷依據。多少文字信息,圖片,聲音,視頻信息等等
IDC報告顯示,預計到2020年全球數據總量將超過40ZB(相當於4萬億GB),這一數據量是2011年的22倍。在過去幾年,全球的數據量以每年58%的速度增長,在未來這個速度會更快。如果按照現在存儲容量每年40%的增長速度計算,到2017年需要存儲的數據量甚至會大於存儲設備的總容量。
根據【比特網】相關文章