研究存儲的
❶ 國內的存儲廠商都有哪些
目前主流的軟體定義存儲產品主要分兩類:
自主研發,比如國內的主要有 SmartX,華為,國外的主要有 vSAN ,Nutanix;
基於開源的 Ceph 研發,比如 XSKY,杉岩,深信服。
❷ 求網路數據包存儲研究的意義。
存儲——第三個主角登場
20年前,我們開始以計算為核心談論PC浪潮。10年前,我們開始以網路為中心談論網路浪潮。今天,我們開始談論存儲浪潮,並且已經過渡到以數據為中心了。
存儲是數據的「家」。處理、傳輸、存儲是信息技術最基本的三個概念,任何信息基礎設施、設備都是這三者的組合。
歷史學家發現:每當存儲技術有一個劃時代的發明,在這之後的300年內就會有一個大的社會進步和繁榮高峰。
存儲的昨天
存儲是信息跨越時間的傳播。幾千年前的岩畫、古書,以及近代的照相技術、留聲機技術、電影技術等的發明,極大豐富了我們的信息獲取渠道。這些都是和存儲技術的發明分不開的。從20世紀開始信息技術發生了歷史性的轉移,「萬物皆可數」,這對人類歷史將具有深刻的意義。
存儲的今天
可以將當代信息技術的總輪廓歸納為以下三部曲。
第一步:把現實各種各樣信息形式的現實域轉化為數字域;第二步:在數字域中進行三種簡單的操作,即處理、傳輸、存儲;第三步:再把數字域轉化為現實域。
存儲技術特點
對於半導體存儲(RAM、ROM、Flash)技術,其特點是存儲速度快,但是容量小;而磁存儲(硬碟、軟盤、磁帶)容量大,速度慢;光存儲(CD、DVD、MO、PC、BD、全息)綜合了兩者的優點,容量大,速度快,但是還是達不到我們所希望的容量和速度。一種理想的存儲技術正在探索之中,設計思想是由一種具有絕對優勢的存儲技術來統一現有技術,採用「固態RAM」,容量將像硬碟那樣大,速度像內存那樣快,掉電後信息不丟失。
各種存儲系統組合
任何單一的存儲器件和設備都無法滿足目前網路對存儲的需求,存儲資源單元一定要組合起來,以提供大容量、高性能、低價格、高可用、高安全的存儲系統為目的的存儲資源(註:存儲資源不是數據資源)組合。
最經典的組合是Cache和虛擬存儲器(VM)的組合。Cache是指SRAM與DRAM的組合,VM是指DRAM與DISK的組合,它們看起來是又大又快又便宜的存儲器,這是教科書中常提到的。
目前用得最多的是磁碟陣列,是多個硬碟的組合,特點是容量大、速度快,而且最好的特點是可用性增加,即使有硬碟壞了,信息仍可用。這里把通信中的糾錯理論用到磁碟中來,利用奇偶校驗技術恢復數據,保證了信息的安全。這一點很重要。
若把多個磁碟陣列通過網路連接起來,用存儲虛擬化軟體把它們作為大的存儲池,這樣就有了更大規模的存儲資源,存儲成為中心,虛擬存儲池好比是水庫,伺服器好比是抽水器,網路就成為水管,為我們提供信息。
還有一種新的技術,就是大規模的集群存儲,是大量機器內硬碟的組合,不同於前面所講的存儲系統。如Google的存儲信息系統0.5s就可以把信息提取出來。它的實現是通過多個PC內部硬碟空間的組合,擁有899個機架,每架80台PC的規模,共79112台PC機,每台2個硬碟,就有158224個硬碟,6180TB容量。
對等存儲(P2P)是把各用戶的PC機當作存儲系統,大量加盟的PC機和伺服器中的存儲器組合成的存儲系統,提供高帶寬的視頻服務和其他共享服務。
其他組合還包括虛擬磁帶庫等技術。
各種組合的目的都是為了形成虛擬的大容量、高性能、低成本、高可靠、高安全的存儲器。空間分布和性能相比,空間分布越小性能越高、越近性能越高;控制權與安全性相比,越集中控制安全性最高。不同的組合有不同的用途,如P2P存儲很適合公共共享資源(電影、電視、音樂),對關鍵的、私有的、保密的信息不適用;反之,EMC、IBM、HDS、HP等的大型陣列可提供高可靠、高性能、集中控制,用來存儲一般人接觸不到的關鍵數據。
存儲技術的發展
硬體發展存在6個規律,分別兩、兩關於處理、傳輸和存儲。
(1)Moore定律:微處理器內晶體管數每18個月翻一翻。
(2)Bell定律:如果保持計算能力不變,微處理器的價格每18個月減少一半。
(3)Gilder定律:未來25年(1996年與預言)里,主幹網的帶寬將每6個月增加1倍。
(4)Metcalfe定律:網路價值同網路用戶數的平方成正比。
(5)半導體存儲器發展規律:DRAM的密度每年增加60%,每3年翻4倍。
(6)硬碟存儲技術發展規律:硬碟的密度每年增加約1倍。
存儲本身又有一個新摩爾定律(1998年由圖靈獎獲得者Jim Gray提出):從現在起,每18個月,新增的存儲量等於有史以來存儲量之和。數據量信息如此爆炸性增長,對存儲就有了非常大的需求的刺激。
存儲技術從原理層、器件層、設備層到系統層都有了很大進步。硬碟是發展最快的存儲介質。是最重要的大容量存儲設備,20世紀50年代由IBM發明以來密度增加了100萬倍,到目前為止還沒有找到能與之競爭的對手。最近硬碟的產品密度超過每平方英寸100Gb,實驗室密度已超過每平方英寸1Tb;主要採用了超低飛行磁頭10nm、加釕超穩定介質、PRML讀通道、垂直磁記錄(硬碟將在2006年全面轉為垂直磁記錄)等技術,再下一代還有光磁混合紀錄等技術。硬碟存儲還會進一步提高。
例如微硬碟,可以應用在移動計算、數碼相機、數碼攝像機和智能手機等領域。
光存儲技術也有很大的進展。目前主要有CD-ROM、DVD-ROM、DVD機 DVD-RW(DVR)等。最近要產品化的技術在向高密度進軍,已有藍光DVD上市,每片可達25G的容量,還有多層多階光存儲、近場光存儲(1片可以存250G)、全息光存儲(1片可以存1T)等。磁光混合存儲技術成熟之後密度會進一步增加。
前面提到的理想的存儲器固態RAM(Dream Memory),理論上可以達到每平方英寸400T,實現掉電不丟失信息,既可以代替硬碟也可以代替內存,和CPU結合在一起,將使計算機系統在一個單晶元上得以實現。目前在技術上已經實現了,只是存儲容量還比較低。
存儲系統結構的發展思路
從處理的發展思路來看,是從單處理器-多處理器-多計算機-網格的路線進行的。對於存儲也類似,遵從硬碟-陣列-存儲網-數據網格的路線發展,由軟體和硬體共同實現,系統結構必須和軟體相配合,如存儲虛擬化軟體(單一邏輯映像)、存儲資源管理軟體(容量、級別、性能)、存儲備份、異地容災、數據遷移軟體、數據生命周期管理軟體等。
對解決可用性也有了新的思路,如借鑒生物學心臟工作的原理,提出具有耗散結構的存儲系統。包括美國和我國在內正在研究這樣一種系統,系統中有很多硬碟,具有監測硬碟是否有壞的可能性的功能,一旦監測到硬碟可能會壞,則立刻轉移數據,即在數據丟失之前就已經備份,沒有數據恢復時間,系統總是保持新鮮的不停機的狀態,可用性很強。
隨著異構的存儲系統規模越來越大,系統越來越難以管理,人為錯誤越來越多,管理成本越來越高。現在產生一種新的技術叫對象技術,旨在把管理下移,令存儲設備包含更多的智能,使得管理大為簡化。華中科技大學提出的進化存儲系統,就使得存儲在物理上進化,數據分布得到進化,解決管理復雜性問題。
另外,也要考慮數據生命周期問題。一切都存下來不是一個好的辦法。無限擴大容量,成本無謂增加。管理和保存無用的數據是巨大的浪費,無用信息干擾當前信息存取的性能。
解決途徑是向大腦學習遺忘機制,重要的信息深層記憶,不重要的淺層記憶,無用的信息忘掉。
存儲的明天
存儲需求量還是在急劇增加。目前的視頻通信還只能用在小窗口中,如果要是大窗口通信,就會有很大的數據量,現在還沒有實現。
麻省理工學院實驗室已經成功實現了立體的影像,可以通過全息投影技術,在空間透過玻璃看到立體的影像(圖3)。若用超級計算機數據壓縮技術計算以後,每秒鍾動起來,就可以看到立體的栩栩如生的影像。若將此技術應用在寬頻通信上,則通信就會發生革命性的變化,以後就不只是聽聲音開一個小窗口,而是實現一個活生生的人在你面前和你通話。
You Life bit項目是微軟正在開展的非常有意思項目。通過將存儲和人的視覺神經連接起來,利用人自己的眼睛在硬碟中把一生中的任何細節的圖像存下來。這是個龐大的工程。
信息技術改變了我們的生活,還將不斷使社會發生深刻變化。
❸ 計算機存儲系統發展的研究方向有哪些
由於科學計算和數據處理對存儲系統的要求越來越高,需要不斷改進已有的存儲技術,研究新型的存儲介質,改善存儲系統的結構和管理。大規模集成電路和磁碟依然是主要的存儲介質。利用新型材料製作大規模集成電路、大容量的聯想存儲器可大大提高速度,對於計算機系統和軟體都會發生影響。磁碟技術、光碟技術、約瑟夫遜結器件,以至研究新的存儲模型,都是計算機存儲系統發展的研究課題。
此外還要進行新的存儲機制的研究。這方面的研究方向是:①由一維線性存儲發展到面向二叉樹存儲結構,提供更廣闊數據結構所需的動態存儲空間。②由單純的數據存儲發展到能融合圖像、聲音、文字、數據等為一體的多維存儲系統。③由存儲精確的數據到能接收模糊數據的輸入。④面向對象的存儲管理的研究。⑤智能存儲技術的研究,探索新的記憶原理,發明新的存儲器件,構造新的存儲系統。
❹ 我國研製出的超高密度信息存儲優點是什麼
材料是超高密度信息存儲的關鍵。經過對數十種有機材料的反復篩選和實驗,中國科學院物理研究所高鴻鈞研究員領導的研究小組,設計出有特色的電荷轉移有機高或功能分子體系作為信息存儲的介質,利用體系的特性成功實現了超高密度信息存儲,顯示出在分子尺度上存儲時具有穩定性、重復性和可擦除性好的獨特優戚老伍點。研究小組將信息存儲點的直徑減小到1納米左右,並可對信息點進行反含攔復擦除。
❺ 計算機存儲系統發展的研究方向有哪些
1)內存儲器與外存儲器(或主存儲器與輔助存儲器):
2)cpu——cache
存儲層次:由於主存儲器的讀寫速度低於cpu的速度,而cpu每執行一條指令都要訪問內存儲器,所以cpu總是處於等待狀態,嚴重降低了系統的效率。引入cache後,在cache內保存著主存儲器內容的部分副本,cpu在讀寫數據時首先訪問cache。由於cache的速度與cpu相同,因此cpu就能在零等待狀態下迅速地完成數據的讀寫。
3)、cache——內存儲器存儲層次:當cache中不含有cpu所需的數據時,cpu才去訪問內存儲器。此時用一個存儲器讀取周期的時間從內存中讀出這個數據後送到cpu,並且,把含有這個數據的整個數據塊從內存送到cache中。
4)、內存儲器——外存儲器存儲層次:當一個程序需要執行時,計算機必須將其程序通過一定的調度演算法從外存調入內存。cache-
>內存儲器-
>外存儲器:其容量越來越大,但讀寫速度越來越低。
❻ 華為天才少年主攻存儲領域研究
自古英雄出少年。
本年度的華為天才少年項目再次引爆眼球。一位是從普通本科一路「逆襲」到華中科大博士,並成為唯一拿到本年度最高檔年薪的青年才俊;另一位則是在多種A類期刊發表論文,集智慧與美麗於一身的美女博士。這兩位成功入圍項目的華中科大博士迅速成為街頭巷議的熱門話題。
值得關注的是,本年度入圍的兩位華為天才少年在校研究方向均跟數據存儲有著緊密聯系。因此,這二位不約而同地選擇華為做存儲相關的研究,讓人不得不感嘆華為存儲對於基礎研究與人才的重視。
事實上,從十八年前正式起步開始,華為存儲一路發展始終與各大高校科研機構保持著緊密聯系,高校科研機構不僅是華為存儲人才重要的來源地,也是華為在存儲基礎領域聯合創新的重要合作對象。如今,華為存儲已經成長為全球Top 5、中國Top1級別的重要廠商, 在存儲技術的產、學、研、用上逐步 探索 出一條價值閉環,真正讓基礎研究的創新成果加速走向落地,並利用市場成果不斷反哺基礎研究的創新 。
以本次入圍天才少年項目的美女博士為例,其研究方向之一的非易失性存儲器(NVM)、NVMe協議是當今存儲產品中最為重要的技術趨勢,而華為存儲正是端到端NVMe全快閃記憶體當之無愧的領導者。華為存儲的產、學、研、用價值閉環在端到端NVMe全快閃記憶體這個存儲細分領域體現得淋漓盡致。
天下武功,唯快不破。
同樣,在存儲產品中,性能是衡量存儲是否優秀的重要指標之一。在單位時間內IO越高、延遲越低,存儲的性能就會越好,也意味著可以承載更多應用和更加及時響應業務請求,讓用戶體驗更好。
NVMe正是存儲領域一門關於快的武功。如果將為機械硬碟設計的SAS協議比喻為紅綠燈多、卡口多的省市級公路;那麼專為快閃記憶體而生的NMVe協議則是不限速的高速公路。初看NVMe可以讓數據真正放飛自我,但是如何讓NVMe這條數據高速公路修的更加合理、智能,讓數據在高速公路上「不翻車」,則絕對需要常年修煉、不斷打磨才能實現。
這是因為在數據中心這張數據網路中,IO路徑涉及到伺服器、存儲、網路等多種設備,還有FC、IP、IB、PCIe、SAS等多種網路協議,經常面臨數據傳輸路徑過長、協議互相轉化等挑戰。因此,NVMe的落地往往「牽一發而動全身」,需要對整個數據中心數據傳輸網路進行規劃和設計,僅僅是一兩款NVMe SSD或者NVMe快閃記憶體控制器是遠遠不夠的。
華為正是NVMe全快閃記憶體領域的頂尖高手,用「老司機」形容不為過。 作為存儲行業SSD碟片級專利最多的廠商之一,華為對於NVMe協議進行了長期深入研究,在業界唯一端到端開發了NVMe SSD盤,NVMe 快閃記憶體控制器和NVMe全快閃記憶體操作系統,並且在業內率先實現了全系列端到端NVMe全快閃記憶體。
華為是如何做到這些的?讓我們一探究竟。
華為之所以對於NVMe十分重視,是因為NVMe與快閃記憶體有著緊密聯系,可謂是快閃記憶體性能潛能釋放的關鍵所在。而華為早在2005年就開始對快閃記憶體進行研究,對於NVMe如何走向落地和價值如何實現有著深刻的洞察與實踐。
2010年,NVMe最初作為一種硬碟介面協議誕生,充分釋放出快閃記憶體性能。但要想真正釋放數據中心包括計算、存儲和網路的性能,NVMe作為硬碟介面協議是遠遠不夠的。因此,NVMe經過多年發展,逐漸發展到存儲網路領域,NVMe over RoCE技術孕育而生。
NVMe over RoCE(Non-Volatile Memory Express over Remote Direct Access Memory over Converged Ethernet)作為新一代高性能存儲技術,將NVMe協議和網路領域中RDMA技術結合,它的出現真正讓數據中心的數據高速公路成為一種統一的網路,擁有性能、組網便利性和方案成本等多種優勢。但是它也存在著鏈路故障感知時長、網路實驗穩定性、部署易用性等方面的挑戰。
為此,華為集合全公司重量級產品線力量,從存儲和網路兩個方面對標准NVMe over RoCE方案進行增強,推出了NOF+增強方案。
具體到產品方面,華為是業內唯一端到端開發了NVMe SSD盤、NVMe快閃記憶體控制器和NVMe全快閃記憶體操作系統,率先實現全系列端到端NVMe全閃的廠商。
比如,華為去年推出的全新OceanStor存儲Dorado系列,其性能高達2000萬IOPS、極致時延達到0.05ms,各項指標遠超市場上同類競品。
在華為OceanStor存儲Dorado系列全快閃記憶體中,同時提供32G FC-NVMe和NVMe Over 100G RDMA全IP組網設計,實現前端網路連接、後端硬碟框連接、scale-out的控制器互聯均採用同一種網路協議;OceanStor存儲Dorado系列全快閃記憶體還針對NVMe設計了一套IO調度機制,徹底取消原來IO路徑上的盤級互斥鎖,避免了IO下發時隊列鎖沖突,降低軟體開銷,實現最佳性能。
此外,華為OceanStor存儲Dorado系列全快閃記憶體在操作系統層面針對NVMe進行了優化,智能晶元、FlashLink智能演算法,充分發揮了多核優勢,並且通過智能學習統計IO規律,提升讀緩存命中率和縮短批處理時間,大幅提升了性能與效率。
為了讓數據的高速公路更加穩定與可靠,華為OceanStor存儲Dorado系列全快閃記憶體在組件層提供了充足的保障。
例如,為增加埠可靠性,華為自研SSD支持原生雙埠技術,而不是採用內部Switch實現雙埠的方式,埠獨立、互不影響,為整個全快閃記憶體提供了牢固的硬體基礎和可靠性;此外,華為通過PCI-E多年的技術積累,具備完善的PCI-E鏈路管理、異常處理、熱插拔技術,支持SSD盤在任何時間、任何方式拔出,並提供端到端PCI-E系統可靠性,保障單盤更換或發生故障時不擴散。
針對大容量SSD使用容易造成數據丟失的情況,華為OceanStor存儲Dorado系列全快閃記憶體採用創新的RAID-TP軟體技術,基於Erasure Code演算法,在3塊盤同時失效的情況下能夠容忍數據不丟失、業務不中斷。華為成為業界唯三可以同時容忍3塊盤失效的廠商,並且是三家廠商中唯一可以實現15分鍾/TB 高效重構,重構速度領先其他兩家廠商20倍。華為OceanStor存儲Dorado系列全快閃記憶體還擁有諸如快照、克隆、遠程復制等完備的數據保護技術。
當前, 華為通過十多年的技術積累,華為已經擁有1000多個NVMe全快閃記憶體成功案例,用戶涵蓋到金融、政府、製造、能源等多個領域。
例如,成立於1996年的南華期貨,是全國期貨公司Top 10,主要從事期貨經紀、資產管理、證券投資等業務。南華期貨在大交所、鄭商所、深交所、嘉興聯通、香港PCCW等行業數據中心和電信運營商處租用VIP機房和機櫃,就近部署交易系統。
這樣做的目的只有一個:「快人一步」。南華期貨的業務是典型的「時間就是金錢」,一點點時間差往往可能帶來利潤的大幅變動,這種交易型的業務決定了其對時延要求極低,通常需要小於1ms。南華期貨通過部署華為OceanStor存儲Dorado全快閃記憶體來承載綜合交易平台,不僅穩定可靠,性能還提升3倍,為投資者提供了極佳的用戶體驗。
可以說,華為存儲的「快人一步」讓用戶在業務中也「快人一步」。
十八年風雨兼程,華為存儲如今已經成長為全球Top 5、中國Top 1級別的廠商,在全球布局了12個研發中心,擁有超過4000名研發工程師、800多項存儲專利,服務了全球超過12000家涵蓋各個行業的用戶並且連續十九個季度位列中國市場第一,更是在全快閃記憶體領域連續多個季度實現全球增速第一。
在這十八年中,技術創新是華為存儲的信仰,技術創新的腳步永不停止讓華為在高端存儲架構、NVMe、智能存儲等多個領域不斷實現突破,逐漸從市場的跟隨者成長為業界當之無愧的技術領先者。去年,華為存儲更是首次針對數據基礎設施技術難題設置了「奧林帕斯獎」,鼓勵和獎勵全球在數據基礎設施領域取得突破性貢獻的科研工作者。
未來,隨著更多華為天才少年以及其他人才的不斷加入,華為存儲有望在舞台中央施展更多精彩。