存儲需求
1. 大數據存儲需要具備什麼
大數據之大 大是相對而言的概念。例如,對於像SAPHANA那樣的內存資料庫來說,2TB可能就已經是大容量了;而對於像谷歌這樣的搜索引擎,EB的數據量才能稱得上是大數據。 大也是一個迅速變化的概念。HDS在2004年發布的USP存儲虛擬化平台具備管理32PB內外部附加存儲的能力。當時,大多數人認為,USP的存儲容量大得有些離譜。但是現在,大多數企業都已經擁有PB級的數據量,一些搜索引擎公司的數據存儲量甚至達到了EB級。由於許多家庭都保存了TB級的數據量,一些雲計算公司正在推廣其文件共享或家庭數據備份服務。有容乃大 由此看來,大數據存儲的首要需求存儲容量可擴展。大數據對存儲容量的需求已經超出目前用戶現有的存儲能力。我們現在正處於PB級時代,而EB級時代即將到來。過去,許多企業通常以五年作為IT系統規劃的一個周期。在這五年中,企業的存儲容量可能會增加一倍。現在,企業則需要制定存儲數據量級(比如從PB級到EB級)的增長計劃,只有這樣才能確保業務不受干擾地持續增長。這就要求實現存儲虛擬化。存儲虛擬化是目前為止提高存儲效率最重要、最有效的技術手段。它為現有存儲系統提供了自動分層和精簡配置等提高存儲效率的工具。擁有了虛擬化存儲,用戶可以將來自內部和外部存儲系統中的結構化和非結構化數據全部整合到一個單一的存儲平台上。當所有存儲資產變成一個單一的存儲資源池時,自動分層和精簡配置功能就可以擴展到整個存儲基礎設施層面。在這種情況下,用戶可以輕松實現容量回收和容量利用率的最大化,並延長現有存儲系統的壽命,顯著提高IT系統的靈活性和效率,以滿足非結構化數據增長的需求。中型企業可以在不影響性能的情況下將HUS的容量擴展到近3PB,並可通過動態虛擬控制器實現系統的快速預配置。此外,通過HDSVSP的虛擬化功能,大型企業可以創建0.25EB容量的存儲池。隨著非結構化數據的快速增長,未來,文件與內容數據又該如何進行擴展呢?不斷生長的大數據 與結構化數據不同,很多非結構化數據需要通過互聯網協議來訪問,並且存儲在文件或內容平台之中。大多數文件與內容平台的存儲容量過去只能達到TB級,現在則需要擴展到PB級,而未來將擴展到EB級。這些非結構化的數據必須以文件或對象的形式來訪問。基於Unix和Linux的傳統文件系統通常將文件、目錄或與其他文件系統對象有關的信息存儲在一個索引節點中。索引節點不是數據本身,而是描述數據所有權、訪問模式、文件大小、時間戳、文件指針和文件類型等信息的元數據。傳統文件系統中的索引節點數量有限,導致文件系統可以容納的文件、目錄或對象的數量受到限制。HNAS和HCP使用基於對象的文件系統,使得其容量能夠擴展到PB級,可以容納數十億個文件或對象。位於VSP或HUS之上的HNAS和HCP網關不僅可以充分利用模塊存儲的可擴展性,而且可以享受到通用管理平台HitachiCommandSuite帶來的好處。HNAS和HCP為大數據的存儲提供了一個優良的架構。大數據存儲平台必須能夠不受干擾地持續擴展,並具有跨越不同時代技術的能力。數據遷移必須在最小范圍內進行,而且要在後台完成。大數據只要復制一次,就能具有很好的可恢復性。大數據存儲平台可以通過版本控制來跟蹤數據的變更,而不會因為大數據發生一次變更,就重新備份一次所有的數據。HDS的所有產品均可以實現後台的數據移動和分層,並可以增加VSP、HUS數據池、HNAS文件系統、HCP的容量,還能自動調整數據的布局。傳統文件系統與塊數據存儲設備不支持動態擴展。大數據存儲平台還必須具有彈性,不允許出現任何可能需要重建大數據的單點故障。HDS可以實現VSP和HUS的冗餘配置,並能為HNAS和HCP節點提供相同的彈性。
2. 汽車電動化智能化浪潮到來 汽車存儲晶元需求大幅提升
隨著移動互聯網和物聯網的發展,數據存儲需求猛增,對相關的數據存儲公司形成中長期利好。
一、數據存儲類別
按照存儲介質的不同,現代數字存儲主要分為光學存儲、磁性存儲和半導體存儲三類。
2019年各類存儲市場規模及佔比
光學存儲包括CD、DVD等常見形式。
磁性存儲包含磁帶、軟盤、硬碟等。
半導體存儲是存儲領域應用最廣、市場規模最大的存儲器件。
半導體存儲又可以分為易失性存儲晶元和非易失性存儲晶元。
易失性存儲晶元在所在電路斷電後,將無法保存數據,代表性產品有DRAM和SRAM。
非易失性存儲晶元在所在電路斷電後,仍保有數據,代表性產品為NAND Flash和NOR Flash。
1.DRAM簡介
DRAM和Flash是目前市場上最為重要的存儲器晶元。
DRAM是一種動態隨機存取存儲器,通常以一個電容和晶體管為一個單元排成二維矩陣。
由於晶體管電路會有漏電電流,導致電容上所存儲的電荷數量並不足以正確地識別。因此DRAM需要周期性地充電,因此被稱為"動態"存儲器。
具有高容量、大帶寬、低功耗、短延時、低成本等特徵,主要應用於智能手機(43%)、伺服器(30%)、PC(13%)等領域。
它是半導體行業最大的單一產品類別,2019年市場規模為620億美元,在半導體存儲市場佔比56%。
2.快閃記憶體(Flash)簡介
快閃記憶體(Flash)在沒有電流供應的條件下也能夠長久地保持數據,其存儲特性相當於硬碟。
Flash具有壽命長、體積小、功耗低、非易失性等特點和優勢,主要用於代碼存儲和數據存儲等,下游應用為消費電子、移動通信、網路通信、個人電腦、伺服器等領域。
Flash主要有NAND和NOR兩種,2019年二者市場規模分別為460億和22億美元,佔比為42%和2%。
Flash器件在寫入操作前必須先執行擦除,NAND擦除操作簡便,因此NAND寫入速度比NOR快很多。
盡管NOR Flash寫入和擦除速度較慢,但讀取速度較快。初期電腦、筆記本以及功能手機等主要需求在於系統底層程序讀取,因此在功能手機時代,NOR Flash風靡一時。
3.各類存儲晶元性能對比
對比DRAM和SRAM來看:SRAM單個存儲單元所需晶體管數量較多、讀寫速度較快,但整體價格較貴且容量較小,因此只在要求比較苛刻的地方使用。
而DRAM容量較大、在價格上存在顯著優勢,應用領域廣泛。
對比NAND和NOR來看:NOR的特點是可在晶元內執行,也即應用程序可直接在 FLASH之上運行,因而讀取的效率很高,但僅在小容量時(1~16MB)具備較高的性價比。
NAND的特點是存儲容量較大、改寫速度優於NOR,廣泛應用於手機、固態硬碟(SSD)等領域。
二、 汽車 存儲晶元的市場空間
隨著 汽車 電動化與智能化迅猛發展, 汽車 中配置的電子零組件佔比越來越高。
根據麥肯錫統計數據,純電動 汽車 的半導體成本為704美元,比傳統 汽車 350美元高出近1倍。
據測算平均每輛車搭載半導體平均為1600個。
汽車 晶元市場規模從2016年的321億美元增至2020年的450億美元,復合增速為8.81%。
2016-2025年全球 汽車 晶元市場規模及預測
搜狐 汽車 預測,全球 汽車 晶元市場規模在2025年或達630億美元,2016-2025年復合增速為7.78%。
Trendforce預計2021年每輛車的DRAM用量約為4GB,未來三年車載DRAM用量CAGR增速將超過30%。
1.自動駕駛對存儲晶元的需求帶動
自動駕駛系統的引入能夠有效降低人為因素造成的交通事故,自動駕駛系統有望成為未來 汽車 的標配。
自動駕駛系統各階段示意圖
無人駕駛 汽車 將配備大量的感測系統,需要存儲數據為自動駕駛 汽車 提供基礎數據作為參數,催生對大容量存儲需求提升。
L2/L3級的自動駕駛 汽車 對DRAM和NAND FLASH的平均容量需求約為8GB和25GB左右。
而未來L4/L5級的全自動駕駛 汽車 則對DRAM和NAND FLASH的平均容量需求約為30GB和200GB左右,需求分別提升3倍和7倍。
根據ifineon數據統計,從L2級向L4/L5級升級時,其單車半導體成本將從160美元左右大幅提升至970美元,即提升5倍。
2.電動化對存儲晶元的需求帶動
而除了 汽車 智能化以外,電動化的發展趨勢也會對車載存儲晶元性能有著更高的要求。
電動 汽車 的核心部件BMS(電池管理系統)需要實時記錄和存儲數據,包括 汽車 電池電流、電壓、溫度、電機轉速等。並且這些數據需要以極高的頻率進行實時且連續地擦寫。
因而當電動車的續航能力、充電速度等不斷提升時,對存儲晶元的循環壽命、擦寫速度以及功耗等亦存在較大的升級需求。
未來車載存儲市場有望迎來量價齊升的高速增長階段。根據IHS數據統計,2019年,車載存儲晶元全球市場規模已達到33.6億美元,占 汽車 半導體行業規模比例約為8%左右。
預計車載存儲2021-2025年CAGR將超過17%
預計2025年該佔比將提升至12%,2021-2025年CAGR將超過17%,成為未來 汽車 半導體行業中增速最快的品類之一。
存儲晶元將成為 汽車 半導體中增長最快品類之一
三、海外企業主導 汽車 存儲晶元市場
汽車 存儲晶元產品在具備較高的運算性能的同時更注重產品品質和可靠性。存儲使用壽命要求達到5-10年,能容忍的溫差在100 以上,還要具有防震、抗摔等特性。
汽車 電子行業內認證程序較為復雜,一般一款晶元需要至少1.5年的認證周期後,方可進入整車廠供應鏈。
高企的壁壘也使得 汽車 半導體行業整體具備較高的市場集中度。根據ICVTank數據統計,2019年全球 汽車 半導體行業CR8已達到63%。
2019年全球 汽車 晶元企業市場份額
外資廠商目前占據完全主導地位。頭部廠商為恩智浦、英飛凌、瑞薩電子、意法半導體、德州儀器、博世、安森美、微芯 科技 等。
我國企業在設計、生產等環節技術實力與海外大廠有差距,國內廠商在 汽車 晶元領域的市場份額較低。
存儲晶元總體呈壟斷趨勢,市場集中度高。韓國三星(38%)、海力士(21%)和美國美光 科技 (17%)三大廠商共佔全球存儲晶元市場份額的76%。
其中,DRAM CR3超95%,NAND Flash CR3為68.8%。NOR Flash CR3達69.5%。
具體到 汽車 存儲領域,主要玩家是三星、海力士、美光、微芯等海外企業,我國企業參與的公司較少,份額也較低,但隨著國產替代的浪潮到來以及技術的提升,未來,我國 汽車 存儲晶元廠商市佔率有望快速提升。
3. 大數據、高性能環境對存儲的需求
大數據、高性能環境對存儲的需求
一直以來,高性能計算的主要目的就是提高運算速度,來解決大規模科學計算和海量數據的處理問題。高性能計算每秒萬億次級的強大計算能力,使其成為石油、生物勘探、氣象預測、生命科學研究等領域的重要技術選擇。但是隨著數據量以及數據價值的不斷增長,金融、電信、互聯網等領域對高性能計算的需求不斷加大。隨著技術的發展,高性能計算系統的處理能力越來越強,任務的計算時間越來越短,對業務的價值不斷提高。但是,要想實現快速的任務計算處理,高性能計算系統的存儲能力是關鍵。因為在計算開始,要從存儲系統中讀取數據;計算結束時,要向存儲系統中寫入計算後的結果。如果這之間的讀取和寫入速度不匹配,不僅會拖延高性能項目的完成周期,低延遲還會嚴重影響高性能創造價值的能力。通常,高性能計算要求存儲系統能夠滿足性能、可擴展性要求,保護投資回報:吞吐量達到幾個甚至幾十個GB/s,容量能擴展至PB級;透明的訪問和數據共享;集中式的智能化管理,高性價比;可按需獨立擴展容量和性能等。中橋分析師在深圳華大基因研究院實地測試了EMC Isilon 產品在其HPC 環境下的運行情況,並記錄下其結果。
背景
高性能計算(High Performance Computing—HPC )指通常使用很多處理器(作為單個機器的一部分)或者某一集群組織中幾台計算機(作為單個計算資源操作)的計算系統和環境。長期以來,高性能計算應用的主要領域是科學與工程計算,諸如高能物理、核爆炸模擬、氣象預報、石油勘探、地震預報、地球模擬、葯品研製、CAD 設計中的模擬與建模、流體力學的計算等。如今,像金融證券、政府信息化、電信行業、教育、企業、網路游戲等領域對HPC的需求也在迅猛增長。
高性能計算的應用
高性能計算有著廣泛的行業應用基礎,下面列舉幾個行業對高性能計算的應用需求:
1. 航空航天行業
在航空航天行業,隨著中國航空航天事業的快速發展,尤其是載人航天技術的巨大成功,我國科技人員對空氣動力學的數值模擬研究提出了越來越多的需求,常規的計算能力遠遠無法滿足復雜的大型飛行器設計所帶來的巨大需求。在航空航天企業的設計過程中,研究人員往往需要把飛機表面分成幾百萬甚至幾千萬個離散型的網格點,然後通過高性能計算平台求解方程,得出每個網格點的溫度、速度、摩擦力等各種參數,並模擬出連續型的曲線,進而為飛機設計提供寶貴的參考資料。對這類計算來說,網格點分割得越細密,計算結果的精確度也就越好。但是這些大規模設計計算問題不但單個作業計算量龐大,且需不斷調整、重復計算,因此高性能在航天航空行業中占據著舉足輕重的地位。
2. 能源行業
石油能源作為國家戰略資源,對於國家經濟、安全、軍事等各方面都具有非常重要的戰略意義。石油勘探承擔著尋找儲油構造、確定井位的重要任務。目前的主流做法就是人為的製造相應規模的地震(視勘探地區面積與深度不同),同時在相應的地層遍布若干震波收集點。由於不同材料的地質環境對地震波的影響是有規可循的,所以藉助這一點,通過相關的演算法,即可以通過對地震波的傳遞演算來「計算出」地質結構,從而找出我們所需要的能源位置。這種計算量無疑是異常龐大的,由於地震波法勘探收集的數據通常都以TB計,近年來海洋油氣勘探所採集的數據甚至開始向PB規模發展。為此,只有藉助高性能計算,才能在最短的時間內處理這些海量數據。
3. 生命科學
在現代生命科學領域,以數據為驅動力的改變正引發著巨大的變革。海量生物數據的分析將會增強疾病的實時監控能力和對潛在流行病做出反應的能力,但海量數據的挖掘、處理、存儲卻面臨著前所未有的挑戰。特別是隨著新一代測序技術的迅猛發展,基因組學研究產生的海量數據正以每12- 18個月10倍的速度增長,已遠超越著名的摩爾定律,這使得眾多生物企業和科研機構面臨強大的數據分析和存儲需求。
在國內,生物基因行業的發展勢頭也不可小覷。2011年1 月30日,國家發改委已批復同意深圳依託華大基因研究院組建國家基因庫,這是中國首次建立國家級基因庫,首期投資為1500萬元。深圳國家基因庫是一個服務於國家戰略需求的國家級公益性創新科研及產業基礎設施建設項目,是目前我國唯一一個獲批籌建的國家級基因庫,是全球僅次美國、日本和歐洲三個國家級基因庫之後的世界第四個國家級基因庫。現在,該國家基因庫已經收集了100萬GB的生物數據,包含基因組、轉錄組、蛋白質組、代謝組及表型的數據,同時也積累了約四十萬份生物樣本。預計該基因庫最終將達到10億GB級別的數據容量。深圳國家基因庫和國際上已有的基因庫相比,它的特點是既有「濕庫」也有「干庫」:前者把千萬種實體的動植物、微生物和人類組織細胞等資源和樣本納入網路;後者匯集巨量的核酸、基因表達、蛋白、表型等多類數據信息,成為「大數據」生物學時代研究生物生長發育、疾病、衰老、死亡以及向產業化推廣的利器。
4. 金融行業
金融說到底就是數據。在金融市場中,擁有速度就意味著更高的生產力和更多的市場份額。金融計算模型相當復雜,數據收集越多,計算結果越精確。金融分析師都迫切地需要一個能模擬復雜現實環境,並進行精確處理的金融計算程序,以便對每個投資產品及時地評估投資收益,衡量投資風險,以期獲得更好的投資回報。也正因此,高性能計算已經越來越多地應用到全球資本市場,以期在最短時間內實現對市場的動態響應與轉換。
5. 氣象預報
世紀二十年代初,天氣預報方程已基本建立。但只有在計算機出現以後,數值天氣預報才成為可能。而在使用並行計算機系統之前,由於受處理能力的限制,只能做到24小時天氣預報。高性能計算是解決數值預報中大規模科學計算必要手段。採用高性能計算技術,可以從提高解析度來提高預報精度。
6. 游戲動漫和影視產業
隨著3D、4D電影的興起和高清動漫趨熱,由高性能計算(HPC )集群構成的「渲染農場」已經成為三維動畫、影視特效公司不可或缺的生產工具。動漫渲染基於一套完整的程序進行計算,從而通過模型、光線、材質、陰影等元素的組合設定,將動漫設計轉化為具體圖像。以《玩具總動員》為例,如果僅使用單台工作站(單一處理器)進行動畫渲染,這部長達77分鍾的影片的渲染時間將會是43年,而採用集群渲染系統,只需約80天。
4. 企業的存儲需求主要體現在哪幾個方面emc怎樣
現實是,在IT系統復雜度和風險逐漸增加、采購和管理成本不斷上漲的情況下管理好數據,對所有企業來說都是一個嚴峻的挑戰。
但概括說來,企業的存儲需求大同小異,可以簡要歸納為:
1、總體擁有成本(TCO)有效控制
2、數據的安全、可靠性、一致性
3、以低成本提供傑出的高端存儲服務
4、實現不同存儲級的整合
5、降低存儲管理復雜性
6、存儲可擴展性性能
7、數據存儲生命周期管理
EMC的市場份額現在在不斷的下降,有興趣網路下就知道了。不再贅述