存儲設備發展
A. 雲存儲的發展歷程
雲存儲是在雲計算(cloud puting)概念上延伸和衍生發展出來的一個新的概念。
雲計算是分布式處理(Distributed puting)、並行處理(Parallel puting)和網格計算(Grid puting)的發展,是透過網路將龐大的計算處理程序自動分拆成無數個較小的子程序,再交由多部伺服器所組成的龐大系統經計算分析之後將處理結果回傳給用戶。
通過雲計算技術,網路服務提供者可以在數秒之內,處理數以千萬計甚至億計的信息,達到和」超級計算機」同樣強大的網路服務。
各類雲存儲圖冊(2張)
雲存儲的概念與雲計算類似,它是指通過集群應用、網格技術或分布式文件系統等功能,將網路中大量各種不同類型的存儲設備通過應用軟體 *** 起來協同工作,共同對外提供數據存儲和業務訪問功能的一個系統,保證數據的安全性,並節約存儲空間[1]。
如果這樣解釋還是難以理解,那我們可以借用廣域網和互聯網的結構來解釋雲存儲。
雲狀的網路結構
相信大家對區域網、廣域網和互聯網都已經非常了解了。
在常見的區域網系統中,我們為了能更好地使用區域網,一般來講,使用者需要非常清楚地知道網路中每一個軟硬體的型號和配置,比如採用什麼型號交換機,有多少個埠,採用了什麼路由器和防火牆,分別是如何設置的。
系統中有多少個伺服器,分別安裝了什麼操作系統和軟體。
各設備之間採用什麼類型的連接線纜,分配了什麼 xml:lang=IP地址和子網掩碼。
但當我們使用廣域網和互聯網時,我們只需要知道是什麼樣的接入網和用戶名、密碼就可以連接到廣域網和互聯網,並不需要知道廣域網和互聯網中到底有多少台交換機、路由器、防火牆和伺服器,不需要知道數據是通過什麼樣的路由到達我們的電腦,也不需要知道網路中的伺服器分別安裝了什麼軟體,更不需要知道網路中各設備之間採用了什麼樣的連接線纜和埠。
廣域網和互聯網對於具體的使用者是完全透明的,我們經常用一個雲狀的圖形來表示廣域網和互聯網,如下圖:
雖然這個雲圖中包含了許許多多的交換機、路由器、防火牆和伺服器,但對具體的廣域網、互聯網用戶來講,這些都是不需要知道的。
這個雲狀圖形代表的是廣域網和互聯網帶給大家的互聯互通的網路服務,無論我們在任何地方,都可以通過一個網路接入線纜和一個用戶、密碼,就可以接入廣域網和互聯網,享受網路帶給我們的服務。
參考雲狀的網路結構,創建一個新型的雲狀結構的存儲系統系統,這個存儲系統由多個存儲設備組成,通過集群功能、分布式文件系統或類似網格計算等功能聯合起來協同工作,並通過一定的應用軟體或應用介面,對用戶提供一定類型的存儲服務和訪問服務。
當我們使用某一個獨立的存儲設備時,我們必須非常清楚這個存儲設備是什麼型號,什麼介面和傳輸協議,必須清楚地知道存儲系統中有多少塊磁碟,分別是什麼型號、多大容量,必須清楚存儲設備和伺服器之間採用什麼樣的連接線纜。
為了保證數據安全和業務的連續性,我們還需要建立相應的數據備份系統和容災系統。
除此之外,對存儲設備進行定期地狀態監控、維護、軟硬體更新和升級也是必須的。
如果採用雲存儲,那麼上面所提到的一切對使用者來講都不需要了。
雲狀存儲系統中的所有設備對使用者來講都是完全透明的,任何地方的任何一個經過授權的使用者都可以通過一根接入線纜與雲存儲連接,對雲存儲進行數據訪問。
希望對您有用
B. 內存儲器的發展歷程
對於用過386機器的人來說,30pin的內存,我想在很多人的腦海里,一定或多或少的還留有一絲印象,這一次我們特意收集的7根30pin的內存條,並拍成圖片,怎麼樣看了以後,是不是有一種久違的感覺呀!
30pin 反面 30pin 正面
下面是一些常見內存參數的介紹:
bit 比特,內存中最小單位,也叫「位」。它只有兩個狀態分別以0和1表示
byte位元組,8個連續的比特叫做一個位元組。
ns(nanosecond)
納秒,是一秒的10億分之一。內存讀寫速度的單位,其前面數字越小表示速度越快。
72pin正面 72pin反面
72pin的內存,可以說是計算機發展史的一個經典,也正因為它的廉價,以及速度上大幅度的提升,為電腦的普及,提供了堅實的基礎。由於用的人比較多,目前在市場上還可以買得到。
SIMM(Single In-line Memory Moles)
單邊接觸內存模組。是5X86及其較早的PC中常採用的內存介面方式。在486以前,多採用30針的SIMM介面,而在Pentuim中更多的是72針的SIMM介面,或者與DIMM介面類型並存。人們通常把72線的SIMM類型內存模組直接稱為72線內存。
ECC(Error Checking and Correcting)
錯誤檢查和糾正。與奇偶校驗類似,它不但能檢測到錯誤的地方,還可以糾正絕大多數錯誤。它也是在原來的數據位上外加位來實現的,這些額外的位是用來重建錯誤數據的。只有經過內存的糾錯後,計算機操作指令才可以繼續執行。當然在糾錯是系統的性能有著明顯的降低。
EDO DRAM(Extended Data Output RAM)
擴展數據輸出內存。是Micron公司的專利技術。有72線和168線之分、5V電壓、帶寬32bit、基本速度40ns以上。傳統的DRAM和FPM DRAM在存取每一bit數據時必須輸出行地址和列地址並使其穩定一段時間後,然後才能讀寫有效的數據,而下一個bit的地址必須等待這次讀寫操作完成才能輸出。EDO DRAM不必等待資料的讀寫操作是否完成,只要規定的有效時間一到就可以准備輸出下一個地址,由此縮短了存取時間,效率比FPM DRAM高20%—30%。具有較高的性/價比,因為它的存取速度比FPM DRAM快15%,而價格才高出5%。因此,成為中、低檔Pentium級別主板的標准內存。
DIMM(Dual In-line Memory Moles)
雙邊接觸內存模組。也就是說這種類型介面內存的插板兩邊都有數據介面觸片,這種介面模式的內存廣泛應用於現在的計算機中,通常為84針,由於是雙邊的,所以共有84×2=168線接觸,所以人們常把這種內存稱為168線內存。
PC133
SDRAM(Synchronous Burst RAM)
同步突發內存。是168線、3.3V電壓、帶寬64bit、速度可達6ns。是雙存儲體結構,也就是有兩個儲存陣列,一個被CPU讀取數據的時候,另一個已經做好被讀取數據的准備,兩者相互自動切換,使得存取效率成倍提高。並且將RAM與CPU以相同時鍾頻率控制,使RAM與CPU外頻同步,取消等待時間,所以其傳輸速率比EDO DRAM快了13%。SDRAM採用了多體(Bank)存儲器結構和突發模式,能傳輸一整數據而不是一段數據。
SDRAM ECC 伺服器專用內存
RDRAM(Rambus DRAM)
是美國RAMBUS公司在RAMBUSCHANNEL技術基礎上研製的一種存儲器。用於數據存儲的字長為16位,傳輸率極速指標有望達到600MHz。以管道存儲結構支持交叉存取同時執行四條指令,單從封裝形式上看,與DRAM沒有什麼不同,但在發熱量方面與100MHz的SDRAM大致相當。因為它的圖形加速性能是EDO DRAM的3-10倍,所以目前主要應用於高檔顯卡上做顯示內存。
Direct RDRAM
是RDRAM的擴展,它使用了同樣的RSL,但介面寬度達到16位,頻率達到800MHz,效率更高。單個傳輸率可達到1.6GB/s,兩個的傳輸率可達到3.2GB/s。
點評:
30pin和72pin的內存,早已退出市場,現在市場上主流的內存,是SDRAM,而SDRAM的價格越降越底,對於商家和廠家而言,利潤空間已縮到了極限,賠錢的買賣,有誰願意去做了?再者也沒有必要,畢竟廠家或商家們總是在朝著向「錢」的方向發展。
隨著 INTEL和 AMD兩大公司 CPU生產飛速發展,以及各大板卡廠家的支持,RAMBUS 和 DDRAM 也得到了更快的發展和普及,究竟哪一款會成為主流,哪一款更適合用戶,市場終究會證明這一切的。
機存取存儲器是電腦的記憶部件,也被認為是反映集成電路工藝水平的部件。各種存儲器中以動態存儲器(DRAM)的存儲容量為最大,使用最為普及,幾十年間它的存儲量擴大了幾千倍,存取數據的速度提高40多倍。存儲器的集成度的提高是靠不斷縮小器件尺寸達到的。尺寸的縮小,對集成電路的設計和製造技術提出了極為苛刻的要求,可以說是只有一代新工藝的突破,才有一代集成電路。
動態讀寫存儲器DRAM(Dynamic Random Access MeMory)是利用MOS存儲單元分布電容上的電荷來存儲數據位,由於電容電荷會泄漏,為了保持信息不丟失,DRAM需要不斷周期性地對其刷新。由於這種結構的存儲單元所需要的MOS管較少,因此DRAM的集成度高、功耗也小,同時每位的價格最低。DRAM一般都用於大容量系統中。DRAM的發展方向有兩個,一是高集成度、大容量、低成本,二是高速度、專用化。
從1970年Intel公司推出第一塊1K DRAM晶元後,其存儲容量基本上是按每三年翻兩番的速度發展。1995年12月韓國三星公司率先宣布利用0.16μm工藝研製成功集成度達10億以上的1000M位的高速(3lns)同步DRAM。這個領域的競爭非常激烈,為了解決巨額投資和共擔市場風險問題,世界范圍內的各大半導體廠商紛紛聯合,已形成若干合作開發的集團格局。
1996年市場上主推的是4M位和16M位DRAM晶元,1997年以16M位為主,1998年64M位大量上市。64M DRAM的市場佔有率達52%;16M DRAM的市場佔有率為45%。1999年64M DRAM市場佔有率已提高到78%,16M DRAM佔1%。128M DRAM已經普及,明年將出現256M DRAM。
高性能RISC微處理器的時鍾已達到100MHz~700MHz,這種情況下,處理器對存儲器的帶寬要求越來越高。為了適應高速CPU構成高性能系統的需要,DRAM技術在不斷發展。在市場需求的驅動下,出現了一系列新型結構的高速DRAM。例如EDRAM、CDRAM、SDRAM、RDRAM、SLDRAM、DDR DRAM、DRDRAM等。為了提高動態讀寫存儲器訪問速度而採用不同技術實現的DRAM有:
(1) 快速頁面方式FPM DRAM
快速頁面方式FPM(Fast Page Mode)DRAM已經成為一種標准形式。一般DRAM存儲單元的讀寫是先選擇行地址,再選擇列地址,事實上,在大多數情況下,下一個所需要的數據在當前所讀取數據的下一個單元,即其地址是在同一行的下一列,FPM DRAM可以通過保持同一個行地址來選擇不同的列地址實現存儲器的連續訪問。減少了建立行地址的延時時間從而提高連續數據訪問的速度。但是當時鍾頻率高於33MHz時,由於沒有足夠的充電保持時間,將會使讀出的數據不可靠。
(2) 擴展數據輸出動態讀寫存儲器EDO DRAM
在FPM技術的基礎上發展起來的擴展數據輸出動態讀寫存儲器EDODRAM(Extended Data Out DRAM),是在RAM的輸出端加一組鎖存器構成二級內存輸出緩沖單元,用以存儲數據並一直保持到數據被可靠地讀取時為止,這樣就擴展了數據輸出的有效時間。EDODRAM可以在50MHz時鍾下穩定地工作。
由於只要在原DRAM的基礎上集成成本提高並不多的EDO邏輯電路,就可以比較有效地提高動態讀寫存儲器的性能,所以在此之前,EDO DRAM曾成為動態讀寫存儲器設計的主流技術和基本形式。
(3) 突發方式EDO DRAM
在EDO DRAM存儲器的基礎上,又發展了一種可以提供更高有效帶寬的動態讀寫存儲器突發方式EDO DRAM(Burst EDO DRAM)。這種存儲器可以對可能所需的4個數據地址進行預測並自動地預先形成,它把可以穩定工作的頻率提高到66MHz。
(4) 同步動態讀寫存儲器SDRAM
SDRAM(Synchronous DRAM)是通過同步時鍾對控制介面的操作和安排片內隔行突發方式地址發生器來提高存儲器的性能。它僅需要一個首地址就可以對一個存儲塊進行訪問。所有的輸入采樣如輸出有效都在同一個系統時鍾的上升沿。所使用的與CPU同步的時鍾頻率可以高達66MHz~100MHz。它比一般DRAM增加一個可編程方式寄存器。採用SDRAM可大大改善內存條的速度和性能,系統設計者可根據處理器要求,靈活地採用交錯或順序脈沖。
Infineon Technologies(原Siemens半導體)今年已批量供應256Mit SDRAM。其SDRAM用0.2μm技術生產,在100MHz的時鍾頻率下輸出時間為10ns。
(5) 帶有高速緩存的動態讀寫存儲器CDRAM
CDRAM(Cached DRAM)是日本三菱電氣公司開發的專有技術,1992年推出樣品,是通過在DRAM晶元,集成一定數量的高速SRAM作為高速緩沖存儲器Cache和同步控制介面,來提高存儲器的性能。這種晶元用單一+3.3V電源,低壓TTL輸入輸出電平。目前三菱公司可以提供的CDRAM為4Mb和16Mb,其片內Cache為16KB,與128位內部匯流排配合工作,可以實現100MHz的數據訪問。流水線式存取時間為7ns。
(6) 增強型動態讀寫存儲器EDRAM(Enhanced DRAM)
由Ramtron跨國公司推出的帶有高速緩沖存儲器的DRAM產品稱作增強型動態讀寫存儲器EDRAM(Enhanced DRAM),它採用非同步操作方式,單一+5V工作電源,CMOS或TTL輸入輸出電平。由於採用一種改進的DRAM 0.76μm CMOS工藝和可以減小寄生電容和提高晶體管增益的結構技術,其性能大大提高,行訪問時間為35ns,讀/寫訪問時間可以提高到65ns,頁面寫入周期時間為15ns。EDRAM還在片內DRAM存儲矩陣的列解碼器上集成了2K位15ns的靜態RAM高速緩沖存儲器Cache,和後寫寄存器以及另外的控制線,並允許SRAM Cache和DRAM獨立操作。每次可以對一行數據進行高速緩沖。它可以象標準的DRAM對任一個存儲單元用頁面或靜態列訪問模式進行操作,訪問時間只有15ns。當Cache未命中時,EDRAM就把新的一行載入到Cache中,並把選擇的存儲單元數據輸出,這需要花35ns。這種存儲器的突發數據率可以達到267Mbytes/s。
(7) RDRAM(Rambus DRAM)
Rambus DRAM是Rambus公司利用本身研製的一種獨特的介面技術代替頁面方式結構的一種新型動態讀寫存儲器。這種介面在處理機與DRAM之間使用了一種特殊的9位低壓負載發送線,用250MHz同步時鍾工作,位元組寬度地址與數據復用的串列匯流排介面。這種介面又稱作Rambus通道,這種通道嵌入到DRAM中就構成Rambus DRAM,它還可以嵌入到用戶定製的邏輯晶元或微處理機中。它通過使用250MHz時鍾的兩個邊沿可以使突發數據傳輸率達到500MHz。在採用Rambus通道的系統中每個晶元內部都有它自己的控制器,用來處理地址解碼和面頁高速緩存管理。由此一片存儲器子系統的容量可達512K位元組,並含有一個匯流排控制器。不同容量的存儲器有相同的引腳並連接在同一組匯流排上。Rambus公司開發了這種新型結構的DRAM,但是它本身並不生產,而是通過發放許可證的方式轉讓它的技術,已經得到生產許可的半導體公司有NEC、Fujitsu、Toshiba、Hitachi和LG等。
被業界看好的下一代新型DRAM有三種:雙數據傳輸率同步動態讀寫存儲器(DDR SDRAM)、同步鏈動態讀寫存儲器(SLDRAM)和Rambus介面DRAM(RDRAM)。
(1) DDR DRAM(Double Data Rate DRAM)
在同步動態讀寫存儲器SDRAM的基礎上,採用延時鎖定環(Delay-locked Loop)技術提供數據選通信號對數據進行精確定位,在時鍾脈沖的上升沿和下降沿都可傳輸數據(而不是第一代SDRAM僅在時鍾脈沖的下降沿傳輸數據),這樣就在不提高時鍾頻率的情況下,使數據傳輸率提高一倍,故稱作雙數據傳輸率(DDR)DRAM,它實際上是第二代SDRAM。由於DDR DRAM需要新的高速時鍾同步電路和符合JEDEC標準的存儲器模塊,所以主板和晶元組的成本較高,一般只能用於高檔伺服器和工作站上,其價格在中低檔PC機上可能難以接受。
(2) SLDRAM(Synchnonous Link DRAM)
這是由IBM、HP、Apple、NEC、Fujitsu、Hyundai、Micron、TI、Toshiba、Sansung和Siemens等業界大公司聯合制定的一個開放性標准,委託Mosaid Technologies公司設計,所以SLDRAM是一種原本最有希望成為高速DRAM開放性工業標準的動態讀寫存儲器。它是一種在原DDR DRAM基礎上發展的一種高速動態讀寫存儲器。它具有與DRDRAM相同的高數據傳輸率,但是它比其工作頻率要低;另外生產這種存儲器不需要支付專利使用費,使得製造成本較低,所以這種存儲器應該具有市場競爭優勢。但是由於SLDRAM聯盟是一個鬆散的聯合體,眾多成員之間難以協調一致,在研究經費投入上不能達成一致意見,加上Intel公司不支持這種標准,所以這種動態存儲器反而難以形成氣候,敵不過Intel公司鼎立支持的Rambus公司的DRDRAM。SLDRAM可用於通信和消費類電子產品,高檔PC和伺服器。
(3) DRDRAM(Direct Rambus DRAM)
從1996年開始,Rambus公司就在Intel公司的支持下制定新一代RDRAM標准,這就是DRDRAM(Direct RDRAM)。這是一種基於協議的DRAM,與傳統DRAM不同的是其引腳定義會隨命令而變,同一組引腳線可以被定義成地址,也可以被定義成控制線。其引腳數僅為正常DRAM的三分之一。當需要擴展晶元容量時,只需要改變命令,不需要增加硬體引腳。這種晶元可以支持400MHz外頻,再利用上升沿和下降沿兩次傳輸數據,可以使數據傳輸率達到800MHz。同時通過把數據輸出通道從8位擴展成16位,這樣在100MHz時就可以使最大數據輸出率達1.6Gb/s。東芝公司在購買了Rambus公司的高速傳輸介面技術專利後,於1998年9月首先推出72Mb的RDRAM,其中64Mb是數據存儲器,另外8Mb用於糾錯校驗,由此大大提高了數據讀寫可靠性。
Intel公司辦排眾議,堅定地推舉DRDRAM作為下一代高速內存的標准,目前在Intel公司對Micro、Toshiba和Samsung等公司組建DRDRAM的生產線和測試線投入資金。其他眾多廠商也在努力與其抗爭,最近AMD宣布至少今年推出的K7微處理器都不打算採用Rambus DRAM;據說IBM正在考慮放棄對Rambus的支持。當前市場上同樣是64Mb的DRAM,RDRAM就要比其他標準的貴45美元。
由此可見存儲器的發展動向是:大容量化,高速化, 多品種、多功能化,低電壓、低功耗化。
存儲器的工藝發展中有以下趨勢:CHMOS工藝代替NMOS工藝以降低功耗;縮小器件尺寸,外圍電路仍採用ECL結構以提高存取速度同時提高集成度;存儲電容從平面HI-C改為深溝式,保證尺寸減少後的電荷存儲量,以提高可靠性;電路設計中簡化外圍電路結構,注意降低雜訊,運用冗餘技術以提高質量和成品率;工藝中採用了多種新技術;使DRAM的存儲容量穩步上升,為今後繼續開發大容量的新電路奠定基礎。
從電子計算機中的處理器和存儲器可以看出ULSI前進的步伐和幾十年間的巨大變化。
C. 什麼是雲存儲你如何看待雲存儲
雲存儲的幾十年發展歷程,其計算架構模型,也從Scale Up走向Scale Out。但是展望未來數字世界的海量需求,目前流行的模型還能夠持續滿足嗎?本文通過對雲存儲 歷史 的回顧,及對Scale Up和Scale Out兩種擴展模型的詮釋,來揭開雲存儲的未來模式。
1. 雲存儲及其 歷史
簡而言之,雲存儲(cloud storage)就是將數字內容安全的存儲在伺服器上,從而任何連接互聯網的設備可以方便的獲取。首先讓我們簡單回顧一下雲存儲的 歷史 。
雲存儲的早期雛形要回溯到上個世紀的90年代,也就是互聯網泡沫時期(dot-com boom),當時有許多家公司,例如EVault, NetMass, Arkeia和CommVault等等[1]均提供在線數據備份服務,當然它們絕大部分也隨著互聯網泡沫的破碎而煙消雲散了。少數倖存下來的有一家叫Veritas NetBackup最後也被Symantec收購,現在依舊提供Symantec NetBackup的在線存儲服務。
而真正讓大家耳熟能詳的雲存儲是2006年由Amazon提供的AWS S3雲存儲服務,其最具有革命意義的變革是,提出了即買即用(pay-per-use)的價格模型,使得雲存儲的使用像水電一樣可計算衡量。從此雲存儲以S3為標准一路絕塵,我們所熟悉的大廠,比如Netflix, Pinterest, Dropbox也是S3的顧客。尾隨的Microsoft和Google也於2010年分別發布了類似的Azure Blob Storage和Google Storage的存儲服務。
雲存儲真正發展的十幾年中,見證了移動互聯網的崛起,大數據的生機勃發,人工智慧的再次復興,並能夠展望到未來物聯網,無人駕駛及各類機器人自動化的世界。海量數據的產生,存儲,分析,預測及應用,快速以正反饋循環方式,推進著人類 社會 向數字世界大步邁進。所以,為了適應數據存儲新的需求,各家雲存儲產品的應用場景及價格模型,已從單一向多元發展,比如AWS S3就有Standard,Intelligent-Tiering, Standard-IA,One Zone-IA,Glacier和Glacier Deep Archive六類存儲產品來滿足各類使用場景,我會在未來的文章里針對性的細講一下。而本文重點所探討的是,目前雲存儲的基礎架構體系是否能夠適應未來數據存儲的要求和挑戰?為了回答這個問題,讓我們先簡單回顧一下計算機體系架構里的Scale Up和Scale Out擴展模型。
2. Scale Up和Scale Out?
Scale Up又稱為垂直擴展(scale vertically)[2],意為在單節點上添加資源,如CPU,內存和存儲,在縱向上擴展從而獲得更多計算或存儲能力;Scale Up初期能夠快速達到升級目的,操作起來相對比較簡單,但隨著計算或存儲的要求越來越高,硬體資源的添加可能已經達到極限,不僅單節點的造價非常昂貴,維護成本很高,而且更容易留下單點故障的隱患。傳統的RAID(Rendant Array of Inexpensive Disks)存儲就是此種模式。
Scale Out又稱為水平擴展(scale horizontally)[2],意為在分布式環境下,通過添加節點計算或存儲資源,在橫向上滿足更多的計算存儲需求;隨著計算和存儲單位價格的降低和效率的提升,使用低端的商用(commodity)系統,利用分布式技術可以搭建起「超級計算」中心,以及後來衍生出來的私有或公有雲平台解決方案。雖然分布式系統會帶來一定程度上的軟體復雜度和管理困難,但由軟體定義的計算和存儲解決方案,能夠以較低的價格和較高的魯棒性,優雅的解決了海量增長的計算存儲需求,也是目前雲平台的主流技術。但它就一定能夠承載未來的更加海量的需求嗎?雲存儲的未來是什麼?方向是向左還是向右?
3. 未來向左還是向右?
話說天下大勢, 分久必合, 合久必分,事物發展的規律似乎從來就沒有什麼絕對。當下,雲平台內部似乎已完全是Scale Out模式了,但當我們把鏡頭再拉遠一點,從雲平台在全球部署的每一個可用區來看,整體上它又是一個Scale Up模型,不是嗎?單點投入巨大,耗費能源,使用成本高昂。而相反,隨著強大的計算,存儲和帶寬能力能夠進入尋常家庭、工作和生活等邊緣節點,資源閑置或者不均衡使用也變得越來越明顯。
那麼,是否能夠將這些邊緣節點的計算存儲能力結合起來,組成一個真正意義上的Scale Out平台,提供人們日益增長的計算存儲需求?
可否將浪費或者不對等的資源重新組合,提供一個更加節能環保的綠色Scale Out平台?
可否摒棄中心化的單點故障和數據安全隱患,真正做到廉價高效,零數據泄露的Scale Out平台?
答案是應該可以而且必須可以!
縱觀雲存儲平台的發展 歷史 ,從單節點的Scale Up模式走向可用區內部的Scale Out模式,又從內部的Scale Out模式走向整體上相對的Scale Up模式。而未來數字世界的海量計算和存儲需求的滿足,一定需要真正意義上的全球Scale Out模型,那就是把邊緣節點和半中心化節點高效且系統的組織起來,減少浪費,提高效率,節省成本,去除中心。將天空中幾塊為數不多的白雲,變成漫天遍布的朵朵白雲,讓人們自由定價、自由選擇、自由組合。
挑戰雖然巨大,但未來很美好,讓我們一起努力迎接雲存儲的明天!
[1]: History of Online Storage
[2]: Wiki Scalability
文章作者:Bruce Lee(http://PP.IO總架構師)
轉載請註明出處
如果有關於PPIO的交流,可以通過下面的方式聯系我:
加我微信,注意備注來源
wechat:omnigeeker
雲存儲服務平台,很精練吧
網路解釋:雲存儲是在雲計算(cloud computing)概念上延伸和發展出來的一個新的概念,是一種新興的網路存儲技術,是指通過集群應用、網路技術或分布式文件系統等功能,將網路中大量各種不同類型的存儲設備通過應用軟體集合起來協同工作,共同對外提供數據存儲和業務訪問功能的系統。
雲存儲可以簡單的理解為將數據保存在一個第三方空間,隨時取用和處理。雲存儲也可以說是一個以數據存儲和管理為核心的雲計算系統。雲存儲對用戶來講,不只是一個簡單的設備,而是整個雲存儲系統的一種數據訪問服務。
通過集群應用,網路技術等功能把網路中不同類型的存儲設備通過應用軟體集合起來工作。
雲儲存就是企業的公用空間(伺服器),定期有人維護不用自己操心不怕數據丟失,但是數據都會在企業無保密可言,
就是網上的存儲空間,不佔自身內存,要用時聯網下載
雲存儲是指通過集群應用、網格技術或分布式文件系統或類似網格計算等功能聯合起來協同工作,並通過一定的應用軟體或應用介面,對用戶提供一定類型的存儲服務和訪問服務。
雲存儲的優勢樓主有需要的話可以了解一下企業共享辦公系統,可支持手機端、雲端、公司伺服器存儲、為企業獨立搭建維護企業網盤,從而實現文件歸檔存儲、文檔管理、協同辦公等功能。
雲存儲就是將文件內存存儲在雲端的一種方式,不佔用自己本身電腦或者手機的內存,海量存儲輕松搞定,解決了很多的存儲難與存儲傳輸難的問題。
使用呆貓雲盤的幾大好處,企業存儲資產更安全:1、使用呆貓遠程桌面時可直接掛載雲盤,輕松上傳下載文件,支持在線修改文件。
2、項目資源統一集中管理,釋放本地存儲空間;支持彈性擴容,按需使用,降低本地硬體使用成本;
3、呆貓同一賬號內存儲互通,資源可異地共享,減少傳輸成本。
4、呆貓雲盤與渲雲網盤存儲互通,使用渲雲提交渲染任務時,內網同步,文件秒傳,節省傳輸時間。
5、支持高並發讀取資產文件,可同一賬號最多可支持上千台機器同時讀取雲盤文件,提高工作效率。
6、高性能存儲,百萬級IOPS,超高算力助力設計行業發展。
7、雲盤基於域控的安全策略,免受病毒攻擊;提供多副本可靠性機制,即使機器出現故障,也不會引起數據丟失。
把你需要存儲的數據放到網上,不佔用你自己設備的內存,當你需要使用時從網上下載。這之間會產生數據流量。
雲存儲其實我們都經歷過,2013年-2016年蓬勃發展,而後被玩壞的雲盤,就是典型代表,雖然我們控制權益不多,只能上傳下載,離線,共享,基本當作網路硬碟和交流工具使用,但卻解決了人們的燃眉之急。我們現在部分手機上還有雲端保存照片的功能。
實際的雲存儲並不是這么簡單,引用一下網路:
雲存儲是建立在雲計算的基礎上,為雲計算服務。對於我們似乎太深奧,但又息息相關,我們只需要知道它是好東西就行了。不單單能當作個人網路上的儲存空間。
D. 計算機儲存介質的發展史
個人電腦中的硬碟類存儲設備發展史
原始的IBMPC,出現於1981年,當時它還不支持任何形式的固定式存儲器(也就是今天我們說的『硬碟』),因此在它的BIOS里沒有任何關於識別與控制此類設備的代碼。早期的DOS操作系統在目錄總數上的限制也影響到了大容量存儲設備的使用。考慮到最初的CPU僅為4.77MHz的主頻和少得可憐的內存容量(16KB,可擴展到64KB),對那時的PC來說就連軟碟機都顯得有些「奢侈」了。當時,軟碟機和裝在軟盤中的操作系統都還屬於系統中的可選部分,大多數用戶靠的還是磁帶機和記錄在ROM里的Basic程序來操作電腦。在一台PC機里使用固定式硬碟需要滿足以下幾個條件:提供一個獨立的IRQ(中斷請求號)為控制器預留一段I/O介面地址。提供一條DMA通道(這在今天已不再是必須的了)。得到BIOS中低級程序代碼的支持。在匯流排上開出一個物理介面(通過擴展卡或主板板載來實現)。保證操作系統的支持。保障相應的供電和冷卻條件。從DOS2開始,DOS得以在大容量存儲設備中使用「子目錄」這一概念,受此影響,終於開始有廠家推出面向PC機的硬碟設備了。當時它還是一種外置的,使用專用介面卡的特殊設備,電源也是由外部獨立供給的(因為當時PC內置的63.5W電源光對機箱內部原有的設備供電都已經顯得有些功率不足了)。使用它時,需要在PC里找出一個空餘的8bit擴展槽,插上專用介面卡,並調整系統設置為該卡留出專用的IRQ和一定范圍的I/O地址,然後在每次啟動時,都要用軟盤來引導系統時,以便向內存中載入帶有讀寫控制代碼的驅動程序,整個過程煩瑣而復雜。但到了1983年的IBMPCXT(eXTended)問世時,有些機型就已經開始內置10MB的固定式硬碟了。IBM開始在機箱內預設硬碟控制介面,讀寫硬碟所需的程序代碼也正式被作為主板上BIOS的擴展部分而保存到了介面卡的ROM上,不用在啟動時一次次地向內存里載入了。並且,機箱內置的電源功率提高到了135W,這一性能已完全能滿足機箱內置硬碟的供電要求了。XT規格中關於硬碟介面的部分規定如下:使用IRQ5。使用I/O地址320-32F。使用DMA3。相應程序代碼記錄於ROM地址C8000處。使用DOS2.0版本以上的操作系統。受此影響,更多的公司開始生產、銷售類似的驅動器/介面卡套件。這些第三方生產的套件都帶有各自不同的特色,有的提供了更大的容量、有的實現了更高的讀寫速度、還有的在介面控制卡上集成了軟碟機介面以節約主板上有限的擴展槽。進入1984年後,IBMPC/AT(AdvancedTechnology,先進技術)規格中關於硬碟子系統的部分得到了全面更新。程序控制代碼開始被內建於主板搭載的BIOS中,從而不再依靠介面控制卡上所帶的ROM晶元了。系統開始支持新增加的高位IRQ中斷號,廢除了對DMA通道的佔用,並更改了硬碟介面所使用的I/O地址。AT規格中關於硬碟介面規定如下:使用IRQ14。使用I/O介面地址1F0-1F8。不再佔用DMA通道。使用主板BIOS中內建的程序代碼對硬碟介面進行控制。使用DOS2.0版本以上的操作系統。AT兼容機上的硬體設置信息都被保存在一塊CMOS晶元上,所記錄的內容受一塊小型電池的供電來維持。因此即便機箱的電源被切斷,所有設置仍舊會被保存下來。這一技術使PC機的用戶不必再受一大堆跳線和撥動開關的困擾(在早期的電腦上,每件設備所佔用的系統資源都是由用戶手動更改跳線或撥動開關來進行分配的),且CMOS中所記錄的內容可以運行一個簡單的程序方便地進行更改,此舉可算是提高電腦易用性方面的一大進步。原始的AT規格界定了從10MB到112MB共計14種容量的硬碟,在使用那些不合規格的硬碟時,仍需要在介面卡上搭載ROM晶元或是在系統啟動時載入專用的設備驅動程序。在DOS4.0之前的操作系統不支持32MB以上的分區,哪怕是使用容量在100MB以上的硬碟時,也要把它切割成小區方能使用,這是因為「系統中的扇區總數不能超過16位(65,536)」這一傳統限制。想使用大於32MB的分區,就必須使用特殊的分區工具,例如Ontrack』sDiskManager(即便是在今天,新版本DiskManager仍舊受到用戶們的歡迎,它可是解決老主板不支持大容量硬碟的制勝法寶啊),當時有許多硬碟廠家都將DiskManager與自家的產品捆綁銷售。但不幸的是,DiskManager與其他許多磁碟工具都發生了兼容性問題,因為在大多數工具軟體下,用DiskManager所分的區都會被識別成了非DOS(Non-DOS)分區。因此,許多用戶被迫選擇了分割多個32MB以下小分區的辦法來使用大容量硬碟,但這種辦法也有局限性,因為DOS3.3之前的版本根本就不支持擴展分區這一概念……今天的用戶當然不必理會這些限制,因為AT兼容機所支持的硬碟種類已增加為40多種,並且大多數BIOS都會提供一個可由用戶自由設定各種硬碟參數的選項。您只要打開WINDOWS操作系統中的硬碟屬性,就能看到「GENERICIDEDISKTYPE46/47」等字樣(具體顯示46還是47與系統設置有關,在BIOS里把硬碟類型設為USER時顯示為TYPE46,而設為AUTO時系統屬性里則顯示TYPE47),這就是您的硬碟所屬的「固有的硬碟類型」。當然,在WINDOWS環境下,用戶根本用不著在意硬碟到底被設成了什麼類型,因為隨著操作系統本身的發展進步,WINDOWS本身不需要讀取這一參數就能正確地讀寫硬碟了。不過,原始的AT規格中的部分條文在今天依舊是PC機的桎梏,例如一台PC機最多隻能連接2個硬碟、BIOS/操作系統只能識別1024柱面、16磁頭和63扇區/磁軌的限制等等(當然,這些限制現在都已被克服了)。人們已經採用了多種不同的辦法來將那些「不合規格的」物理參數與系統所能支持的邏輯參數之間進行互相轉換。
E. 當前存儲器系統的發展概況
發展趨勢
存儲器的發展都具有更大、更小、更低的趨勢,這在閃速存儲器行業表現得尤為淋漓盡致。隨著半導體製造工藝的發展,主流閃速存儲器廠家採用0�18μm,甚至0.15μm的製造工藝。藉助於先進工藝的優勢,Flash Memory的容量可以更大:NOR技術將出現256Mb的器件,NAND和AND技術已經有1Gb的器件;同時晶元的封裝尺寸更小:從最初DIP封裝,到PSOP、SSOP、TSOP封裝,再到BGA封裝,Flash Memory已經變得非常纖細小巧;先進的工藝技術也決定了存儲器的低電壓的特性,從最初12V的編程電壓,一步步下降到5V、3.3V、2�7V、1.8V單電壓供電。這符合國際上低功耗的潮流,更促進了攜帶型產品的發展。
另一方面,新技術、新工藝也推動Flash Memory的位成本大幅度下降:採用NOR技術的Intel公司的28F128J3價格為25美元,NAND技術和AND技術的Flash Memory將突破1MB 1美元的價位,使其具有了取代傳統磁碟存儲器的潛質。
世界閃速存儲器市場發展十分迅速,其規模接近DRAM市場的1/4,與DRAM和SRAM一起成為存儲器市場的三大產品。Flash Memory的迅猛發展歸因於資金和技術的投入,高性能低成本的新產品不斷涌現,刺激了Flash Memory更廣泛的應用,推動了行業的向前發展。
F. 存儲技術發展歷史
最早的外置存儲器可以追溯到19世紀末。為了解決人口普查的需要,霍列瑞斯首先把穿孔紙帶改造成穿孔卡片。
他把每個人所有的調查項目依次排列於一張卡片,然後根據調查結果在相應項目的位置上打孔。在以後的計算機系統里,用穿孔卡片輸入數據的方法一直沿用到20世紀70年代,數據處理也發展成為電腦的主要功能之一。
2、磁帶
UNIVAC-I第一次採用磁帶機作外存儲器,首先用奇偶校驗方法和雙重運算線路來提高系統的可靠性,並最先進行了自動編程的試驗。此時這個磁帶長達1200英寸、包含8個磁軌,每英寸可存儲128bits,每秒可記錄12800個字元,容量也達到史無前例的184KB。從 此之後,磁帶經歷了迅速發展,後來廣泛應用了錄音、影像領域。
3、軟盤(見過這玩意的一定是80後)
1967年 IBM公司推出世界上第一張「軟盤」,直徑32英寸。隨著技術的發展,軟盤的尺寸一直在減小,容量也在不斷提升,大小從8英寸,減到到5.25英寸軟盤,以及到後來的3.5英寸軟盤,容量卻從最早的81KB到後來的1.44MB。在80-90年代3.5英寸軟盤達到了巔峰。直到CD-ROM、USB存儲設備出現後,軟盤銷量才逐漸下滑。
4、CD
CD也就是我們常說的光碟、光碟,誕生於1982年,最早用於數字音頻存儲。1985年,飛利浦和索尼將其引入PC,當時稱之為CD-ROM(只 讀),後來又發展成CD-R(可讀)。因為聲頻CD的巨大成功,今天這種媒體的用途已經擴大到進行數據儲存,目的是數據存檔和傳遞。
5、磁碟
第一台磁碟驅動器是由IBM於1956年生產,可存儲5MB數據,總共使用了50個24英寸碟片。到1973年,IBM推出第一個現代「溫徹斯特」磁碟驅動器3340,使用了密封組件、潤滑主軸和小質量磁頭。此後磁碟的容量一度提升MB到GB再到TB。
6、DVD
數字多功能光碟,簡稱DVD,是一種光碟存儲器。起源於上世紀60年代,荷蘭飛利浦公司的研究人員開始使用激光光束進行記錄和重放信息的研究。1972年,他們的研究獲得了成功,1978年投放市場。最初的產品就是大家所熟知的激光視盤(LD,Laser Vision Disc)系統。它們的直徑多是120毫米左右。容量目前最大可到17.08GB。
7、快閃記憶體
淺談存儲器的進化歷程
快閃記憶體(Flash Memory)是一種長壽命的非易失性(在斷電情況下仍能保持所存儲的數據信+息)的存儲器。包含U盤、SD卡、CF卡、記憶棒等等種類。在1984年,東芝公司的發明人舛岡富士雄首先提出了快速快閃記憶體存儲器(此處簡稱快閃記憶體)的概念。與傳統電腦內存不同,快閃記憶體的特點是非易失性(也就是所存儲的數據在主機掉電後不會丟失),其記錄速度也非常快。Intel是世界上第一個生產快閃記憶體並將其投放市場的公司。到目前為止快閃記憶體形態多樣,存儲容量也不斷擴展到256GB甚至更高。
隨著存儲器的更新換代,存儲容量越來越大,讀寫速度也越來越快,企業級硬碟單盤容量已經達到10TB以上,目前使用的SSD固態硬碟,讀速度達:3000+MB/s,寫速度達:1700MB/s,用起來美滋滋啊。
G. 簡述儲存設備的發展趨勢
市場由國外企業壟斷,國內廠商奮力追趕
存儲晶元是一個高度壟斷的市場,三星、SK海力士、美光,合計占據全球DRAM市場95%左右的份額,NAND
Flash經過幾十年的發展,已經形成了由三星、鎧俠、西部數據、美光、SK海力士、英特爾六大原廠組成的穩定市場格局。
從中國存儲晶元行業競爭格局來看,市場主要由國外存儲晶元巨頭領導,細分領域也落後於國外及台灣廠商(如NOR
Flash的旺宏/華邦等),但近年來國內廠商奮力追趕,已在部分領域實現突破,逐步縮小與國外原廠的差距。
其中,兆易創新位列NOR
Flash市場前三,聚辰股份在EEPROM晶元領域市佔率全球第三,長江存儲128層3DNAND存儲晶元,直接跳過96層,加速趕超國外廠商先進技術。值得注意的是,兆易創新集團旗下還包含長鑫存儲(CXMT),意味著兆易創新集團同時握有中國NOR
Flash與DRAM的自主研發能力,扮演中國半導體發展的重要角色。
——更多數據來請參考前瞻產業研究院《中國存儲晶元行業市場需求與投資前景預測》。
H. 移動存儲介質的發展趨勢
趨勢一:各種信息安全技術走向融合
在企業數據安全管理領域,一個最重要的趨勢就是與各種安全技術的集成以及與各種安全產品的整合。移動存儲介質的保密管理已經遠遠超越了設備單點安全的范疇,移動存儲介質泄密防護作為企業信息失泄密防護的重要環節,需要結合企業現有組織結構,並能與現有的企業安全產品相整合,特別是與信息防護和控制系統(IPC)的整合,成為全面信息安全解決方案中的一部分。
一些廠家認識到基於軟、硬體的保密防護的必要性、優點和不足,將單點設備安全和移動存儲介質管理系統結合起來,並推出了軟硬體結合的產品,這類產品的出現是技術融合的產物,它綜合了以上兩類產品的優點,實現了移動存儲介質的數據安全、介質訪問控制,介質使用環境安全、數據擺渡安全等多層次保護,對移動存儲介質進行全生命周期管理。這類產品是迄今為止最全面的移動存儲介質保密管理方案。
趨勢二:基於安全晶元的驗證和加密被越來越多的產品所採用
隨著安全移動存儲設備應用環境的復雜化,簡單地依靠桌面操作系統的單向認證方式,無法抵擋假冒身份,數據攔截等惡意的竊密手段。基於安全晶元的身份認證方式,將大大提高移動存儲設備數據訪問的安全性。在安全移動存儲設備晶元中運行獨立的COS操作系統,通過USBKEY等安全通道進行身份認證,並由COS完成數據的動態加密。這種認證和保密技術是SIM卡、網上銀行等應用認證技術的拓展。
趨勢三:介質的分級保護成為產品的必要功能
國家保密部門在保密制度上做出了明確規定,對信息系統提出了分密級保護的要求,並規定不同密級實體之間的訪問規則,比如高密級移動存儲介質不能在低密級計算機上使用,高密級電子文件不能存儲在低密級存儲設備上。為滿足保密部門這些要求,密級標識和基於主客體密級標識的訪問控製成為移動存儲介質保密管理的必備功能。
趨勢四:安全數據擺渡成為熱門技術
傳統的數據擺渡威脅來自於移動存儲介質在內外網之間的交叉使用。近幾年,病毒(木馬)通過移動存儲介質擺渡來竊取用戶文件,逐漸成為信息安全的焦點問題,如何有效地鑒別用戶和病毒(木馬)行為,通過有效的手段來保證移動存儲介質在內外部網路之間進行數據擺渡的安全,成為移動存儲介質保密管理越來越重要的課題。
趨勢五:審計跟蹤趨向多維度、立體化
移動存儲介質的便攜性決定它需要把傳統的終端數據審核功能拓展到受控的環境之外,系統審計跟蹤需要從簡單一維空間發展到多維空間,實現基於身份、時間,地點、設備、不同安全模式等多維跟蹤。人員操作審計,終端操作審計、設備使用審計,文件跟蹤審計等構成了立體化的審計跟蹤體系。
易產生的安全隱患
隱患1:使用人員安全意識不高,將帶有與工作有關的資料、單位機密文件的移動存儲介質隨意外借或者麻痹大意而丟失,被他人將移動存儲介質中的資料悉數竊取。
隱患2:移動存儲介質在內外網之間直接交互使用,在接入互聯網等網路時,容易被黑客利用高科技手段獲取有用的個人或者公司信息,從而導致一些重要數據或信息的泄密,造成不必要的個人或者集體損失。
隱患3:由於移動介質的不規范使用,使其作為媒介將病毒從外網帶入內網成為了可能,如銀行內部發生了計算機病毒攻擊內網導致網路癱瘓、系統崩潰和數據丟失。
隱患4:由於移動介質的方便性,常常隨身攜帶,造成移動介質震動或跌落使其受損,從而造成數據和信息的丟失。
隱患5:目前市場假貨很多,大多數都是擴容產品,實際容量與標識有很大的出入,往往使存儲的資料丟失,所以,在購買時,一定要買正品。