存儲塊數量
① 存儲器存儲容量怎麼算
存儲器的存儲容量的基本單位是位元組(Byte)。但由於目前存儲器的容量都很大,因此常用KB、MB、GB以及TB作為存儲容量的單位。
換算:
1B(byte,位元組)= 8 bit;
1KB(Kilobyte,千位元組)=1024B= 2^10 B;
1MB(Megabyte,兆位元組,百萬位元組,簡稱「兆」)=1024KB= 2^20 B;
1GB(Gigabyte,吉位元組,十億位元組,又稱「千兆」)=1024MB= 2^30 B;
1TB(Terabyte,萬億位元組,太位元組)=1024GB= 2^40 B;
1PB(Petabyte,千萬億位元組,拍位元組)=1024TB= 2^50 B;
1EB(Exabyte,百億億位元組,艾位元組)=1024PB= 2^60 B;
1ZB(Zettabyte,十萬億億位元組,澤位元組)=1024EB= 2^70 B。
(1)存儲塊數量擴展閱讀
Megabyte(MB)=1024KB相當於一則短篇小說的文字內容。
Gigabyte(GB)=1024MB相當於貝多芬第五樂章交響曲的樂譜內容。
Terabyte(TB)=1024GB相當於一家大型醫院中所有的X光圖片資訊量。
Petabyte(PB)=1024TB相當於50%的全美學術研究圖書館藏書資訊內容。
Exabyte (EB)=1024PB;5EB相當於至今全世界人類所講過的話語。
Zettabyte(ZB)=1024EB如同全世界海灘上的沙子數量總和。
Yottabyte(YB)=1024ZB相當於7000位人類體內的微細胞總和。
② 存儲容量的存貯容量的計算
每一千個位元組稱為1KB,注意,這里的「千」不是我們通常意義上的1000,而是指1024。即:1KB=1024B。但如果不要求嚴格計算的話,也可以忽略地認為1K就是1000。 4)每1024個KB就是1MB(同樣這里的K是指1024),即:1MB=1024KB=1024×1024B=1,048,576B這是准確的計算。如果不精確要求的話,也可認為1MB=1,000KB=1,000,000B
另外需要注意的是,存儲產品生產商會直接以1GB=1000MB,1MB=1000KB ,1KB=1000B的計算方式統計產品的容量,這就是為何買回的存儲設備容量達不到標稱容量的主要原因(如320G的硬碟只有300G左右)
每1024MB就是1GB,即1GB=1024MB,至於等於多少位元組,自己算吧。我們搞清楚了,常聽人說什麼一張軟盤是1.44MB、一張CD光碟是650MB、一塊硬碟是120GB是什麼意思了。打個比方,一篇10萬漢字的小說,如果我們把存到磁碟上,需要佔用多少空間呢?100,000漢字=200,000B=200,000B÷1024≈195.3KB≈195.3KB÷1024≈0.19MB
硬碟計算:750GB SATA實際容量為667(698.5)GB(少於的部分用於操作系統); CBR影響系數:是指CBR(恆定碼流)正誤差給存儲容量帶來的影響系數。 存儲設備採用RAID5+1的方式布置,每台存儲需要損耗2塊硬碟,如果IPSAN的硬碟為500GB的側每台存儲有效容量為6.316TB;如果IPSAN的硬碟為750GB的側每台存儲有效容量為9.119TB 存儲模式與硬碟數量關系: 模式1:部署JBOD盤,採用750G硬碟(有效容量667GB),單機16個有效盤位總容量為10.672TB,不考慮存儲數據可靠性為最經濟模式。 模式2:部署RAID5但不配熱備盤,採用750G硬碟(有效容量667GB),單機15個有效盤位總容量為9.771TB,不考慮RAID5重建對存儲性能影響,這是最經濟的模式。 模式3:部署RAID5且配熱備盤,採用750G硬碟(有效容量667GB),單機14個有效盤位總容量為9.119TB,不考慮RAID5重建對存儲性能影響(允許在壞掉一個硬碟後短時間內再壞掉一個硬碟)。 根據各布點區域監控點的數量可具體計算出所需的存儲容量。(方案存儲數據)方案中我們IP SAN存儲,可以根據需要隨時增加存儲設備,並進行統一管理。
③ 塊存儲、文件存儲、對象存儲這三者的本質差別是什麼
一、概念及區別
針對不同的應用場景,選擇的分布式存儲方案也會不同,因此有了對象存儲、塊存儲、文件系統存儲。這三者的主要區別在於它們的存儲介面:
1. 對象存儲:
也就是通常意義的鍵值存儲,其介面就是簡單的GET,PUT,DEL和其他擴展,
2. 塊存儲:
這種介面通常以QEMU Driver或者Kernel Mole的方式存在,這種介面需要實現Linux的BlockDevice的介面或者QEMU提供的BlockDriver介面,如Sheepdog,AWS的EBS,青雲的雲硬碟和阿里雲的盤古系統,還有Ceph的RBD(RBD是Ceph面向塊存儲的介面)
3. 文件存儲:
通常意義是支持POSIX介面,它跟傳統的文件系統如Ext4是一個類型的,但區別在於分布式存儲提供了並行化的能力,如Ceph的CephFS(CephFS是Ceph面向文件存儲的介面),但是有時候又會把GFS,HDFS這種非POSIX介面的類文件存儲介面歸入此類。
二、IO特點
按照這三種介面和其應用場景,很容易了解這三種類型的IO特點,括弧里代表了它在非分布式情況下的對應:1. 對象存儲(鍵值資料庫):
介面簡單,一個對象我們可以看成一個文件,只能全寫全讀,通常以大文件為主,要求足夠的IO帶寬。
2. 塊存儲(硬碟):
它的IO特點與傳統的硬碟是一致的,一個硬碟應該是能面向通用需求的,即能應付大文件讀寫,也能處理好小文件讀寫。但是硬碟的特點是容量大,熱點明顯。因此塊存儲主要可以應付熱點問題。另外,塊存儲要求的延遲是最低的。
3. 文件存儲(文件系統):
支持文件存儲的介面的系統設計跟傳統本地文件系統如Ext4這種的特點和難點是一致的,它比塊存儲具有更豐富的介面,需要考慮目錄、文件屬性等支持,實現一個支持並行化的文件存儲應該是最困難的。但像HDFS、GFS這種自己定義標準的系統,可以通過根據實現來定義介面,會容易一點。
因此,這三種介面分別以非分布式情況下的鍵值資料庫、硬碟和文件系統的IO特點來對應即可。至於冷熱、快慢、大小文件而言更接近於業務。但是因為存儲系統是通用化實現,通常來說,需要盡量滿足各種需求,而介面定義已經一定意義上就砍去了一些需求,如對象存儲會以冷存儲更多,大文件為主。
④ 塊儲存,對象存儲,文件存儲的區別和聯系
通常來講,磁碟陣列都是基於Block塊的存儲,而所有的NAS產品都是文件級存儲。
1. 塊存儲:DAS SAN
a) DAS(Direct Attach Storage): 是直接連接於主機伺服器的一種存儲方式,每台伺服器有獨立的存儲設備,每台主機伺服器的存儲設備無法互通,需要跨主機存取資料室,必須經過相對復雜的設定,若主機分屬不同的操作系統,則更復雜。
應用:單一網路環境下且數據交換量不大,性能要求不高的環境,技術實現較早。
b) SAN(Storage Area Network): 是一種高速(光纖)網路聯接專業主機伺服器的一種存儲方式,此系統會位於主機群的後端,它使用高速I/O聯接方式,如:SCSI,ESCON及Fibre-Channels.特點是,代價高、性能好。但是由於SAN系統的價格較高,且可擴展性較差,已不能滿足成千上萬個CPU規模的系統。
應用:對網速要求高、對數據可靠性和安全性要求高、對數據共享的性能要求高的應用環境中。
2. 文件存儲
通常NAS產品都是文件級存儲。
NAS(Network Attached Storage):是一套網路存儲設備,通常直接連在網路上並提供資料存取服務,一套NAS儲存設備就如同一個提供數據文件服務的系統,特點是性價比高。
它採用NFS或CIFS命令集訪問數據,以文件為傳輸協議,可擴展性好、價格便宜、用戶易管理。目前在集群計算中應用較多的NFS文件系統,但由於NAS的協議開銷高、帶寬低、延遲大,不利於在高性能集群中應用。
3. 對象存儲:
總體上講,對象存儲同時兼具SAN高級直接訪問磁碟特點及NAS的分布式共享特點。
核心是將數據通路(數據讀或寫)和控制通路(元數據)分離,並且基於對象存儲設備(OSD),構建存儲系統,每個對象存儲設備具備一定的職能,能夠自動管理其上的數據分布。
對象儲存結構組成部分(對象、對象存儲設備、元數據伺服器、對象存儲系統的客戶端)
3.1 對象
一個對象實際就是文件的數據和一組屬性信息的組合。
3.2 對象存儲設備(OSD)
OSD具有一定的智能,它有自己的CPU、內存、網路和磁碟系統。
OSD提供三個主要功能:包括數據存儲和安全訪問
(1)數據存儲 (2)智能分布 (3)每個對象元數據的管理
3.3 元數據伺服器(Metadata Server , MDS)
MDS控制Client與OSD對象的交互,主要提供以下幾個功能:
(1) 對象存儲訪問
允許Client直接訪問對象,OSD接收到請求時先驗證該能力,再訪問。
(2) 文件和目錄訪問管理
MDS在存儲系統上構建一個文件結構,限額控制、包括目錄、文件的創建、訪問控制等
(3) Client Cache 一致性
為提高性能,在對象存儲系統設計時通常支持Client的Cache。因此帶來了Cache一致性的問題,當Cache文件發生改變時,將通知Client刷新Cache,以防Cache不一致引發的問題。
對象存儲:
一個文件包含了屬性(術語叫matadata元數據,例如該文件的大小、修改時間、存儲路徑等)以及內容(簡稱數據)。
以往的文件系統,存儲過程將文件按文件系統的最小塊來打散,再寫進硬碟,過程中沒有區分元數據(metadata)和數據。而在每個塊最後才會告知下一個塊的地址,因此只能一個一個讀,速度慢。
而對象存儲則將元數據獨立出來,控制節點叫元數據伺服器(伺服器+對象存儲管理軟體),裡面主要存儲對象的屬性(主要是對象的數據被打散存放到了那幾台分布式伺服器中的信息),而其他負責存儲數據的分布式伺服器叫做OSD,主要負責存儲文件的數據部分。當用戶訪問對象時,會先訪問元數據伺服器,元數據伺服器只負責反饋對象存儲在那些OSD。假設反饋文件A存儲在B,C,D三台OSD,那麼用戶就會再次訪問三台OSD伺服器去讀取數據。
這時三台OSD同時對外傳輸數據,因此傳輸的速度就加快了。OSD伺服器數量越多,這種讀寫速度的提升就越大。
另一方面,對象存儲軟體有專門的文件系統,所以OSD對外又相當於文件伺服器,那麼就不存在文件共享方面的困難了,也解決了文件共享方面的問題。
因此對象存儲的出現,很好的結合了塊存儲與文件存儲的優點。
為什麼還要使用塊存儲和文件存儲:
1.有一類應用是需要存儲直接裸盤映射的,比如資料庫。因為資料庫需要存儲裸盤映射給自己後,再根據自己的資料庫文件系統來對了裸盤進行格式化,因此不能採用其他已經被格式化為某種文件系統的存儲。此類更適合塊存儲。
2.對象存儲的成本比普通的文件存儲還是較高,需要購買專門的對象存儲軟體以及大容量硬碟。如果對數據量要求不是海量,只是為了作文件共享的時候,直接用文件存儲的形式就好了,性價比高。
⑤ 對象存儲、文件存儲和塊存儲有什麼區別
區別如下:
1、速度不同
塊存儲:低延遲(10ms),熱點突出;
文件存儲:不同技術各有不同;
對象存儲:100ms-1s,冷數據;
2、可分步性不同
塊存儲:異地不現實;
文件存儲:可分布式,但有瓶頸;
對象存儲:分步並發能力高;
3、文件大小不同
塊存儲:大小都可以,熱點突出;
文件存儲:適合大文件;
對象存儲:適合各種大小;
4、介面不同
塊存儲:Driver,kernel mole ;
文件存儲:POSIX;
對象存儲:Restful API ;
5、典型技術不同
塊存儲:SAN;
文件存儲:HDFS,GFS;
對象存儲:Swift,Amazon S3;
6、適合場景不同
塊存儲:銀行;
文件存儲:數據中心;
對象存儲:網路媒體文件存儲;
(5)存儲塊數量擴展閱讀:
文件存儲的優缺點:
優點
(1)、造價低:隨便一台機器就可以,另外普通的乙太網就可以,根本不需要專用的SAN網路,所以造價低。
(2)、方便文件共享。
缺點
(1)、讀寫速率低,傳輸速率慢:乙太網,上傳下載速度較慢,另外所有讀寫都要1台伺服器裡面的硬碟來承受,相比起磁碟陣列動不動就十幾上百塊硬碟同時讀寫,速率慢了許多。
⑥ 設有一頁式存儲管理系統,向用戶所提供的邏輯地址空間最大為16頁,每頁2048B,主存共有8個存儲塊。
2的4次方=16,所以頁號佔4位,頁長為2048=2的11次方,所以頁內地址佔11位,邏輯地址15位
存儲塊有8個,每個存儲塊對應2048B大小的頁框,所以主存空間為16KB
⑦ stm32的嵌入式快閃記憶體:大容量產品主存儲塊最大為64k*64位,每個存儲塊劃分為256個2k 位元組的頁,這兩句話
按照存儲單元的元[位]來講,這兩種說法是相等的:
64K * 64bits = 64 * 4 *2K * 8bits = 256個2K位元組;
也就是說,總的存儲容量還是沒變的。
我的理解是這樣的:
前者側重頁外,後者側重頁內,兩種說法是和存儲器的組織形式有關的:
主存儲塊的最大數目 = 64K * 64位,而每個單獨的頁(也就是存儲晶元)的構成形式是2K*8位,那麼就需要進行擴展:
首先應進行位擴展,即2K * 8位擴展為2K * 64位,則需要8個存儲晶元,3根片選線,11根地址線;
然後進行字擴展,即2K 擴展為 64K,此時需要32個位擴展後的存儲晶元,5根地址線;
如此共需要存儲晶元數量為:32 * 8 = 256個,也就是存儲塊內共需要256個頁,19根地址線。
⑧ fpga器件中的存儲器塊有何作用
3.2 FPGA器件中的存儲器塊有何作用?
FPGA器件內通常有片內存儲器,這些片內存儲器速度快,讀操作的時間一般為3~4 ns,寫操作的時間大約為5 ns,或更短,用這些片內存儲器可實現RAM、ROM或FIFO等功能,非常靈活,為實現數字信號處理(DSP)、數據加密或數據壓縮等復雜數字邏輯的設計提供了便利;採用ROM查表方式可以完成數值運算、波形信號發生器等功能,是FPGA設計中一種常用的設計方法。
⑨ 存儲容量為64M、20000數據塊什麼意思
第一個實驗數據流為50 個大小 為20000 的數據塊,記為 stream01. 第二個實驗數據流 為100 個大小為10000 的數據塊,記為stream02. 第三個 實驗數據流為 200 個大小為 5000 的數據塊, 記為 stream03. 第四個實驗數據流為20 個大小為40000 據塊,記為stream04.分類學習演算法 採用決策樹(DT),並基於Weka 包實現,參數取其默認值,各基礎分類器 的權重採用第一種確定策略. 實驗環境是:Intel 奔騰雙 CPU,內存大小2G,Java heap space JVM Xms64m-Xmx512m,操作系統為windowXP. 實驗結果與分析進行實驗時, 實驗數據流 stream01、 stream02、 stream03 在訓練窗口中樣本塊數為5,stream04 驗證IMDWE 在不同正類比例 下的執行情況,我們分別取了9 從構建集成分類器的平均執行時間來看,實驗比較結果表明(圖2):在正類比例 歐陽震諍:一種不平衡數據流集成分類模型範圍內,IMDWE 集成分類器構建分類器的執行時間比 WE 集成分類器少;對於 stream01,平均執行時間最多 減少36 2%,最少減少28 4%;對於stream02,平均執行 時間最多減少51 2%;對於 stream03,平均執行時間最 多減少45 7%;對於 stream04,平均執行時間最多減少 36 2%. 時,此時IMDWE平均執行時間出 現增加的趨勢,主要是由於訓練窗口中樣本個數出現 明顯增加(n ),從而導致訓練時間的增加.實驗採用Gmean 評價 IMDWE 的整體分類性能. Gmean值相比WE Gmean值都出現了明顯的提升, IMDWE的整體分類性能要明顯優於WE 的整體分 類性能. 尤其對於stream01,IMDWE 的整體分類性能提 升明顯,最大提升為 12 4%, 最小為 10 4%; 而對於 stream02、 stream04, IMDWE 的整體分類性能提升在 8%到8% 之間; 對於 stream03, 提升度在 3%之間.從提升整個正類的分類精度來看,從圖 可以看出,相比 WE,IMDWE 對於提高正類的分類精度是明顯 的,尤其對於 stream01,recall 值最大提升達到 26. 7%, 最小也在22%以上,而最小的提升出現在 stream03,相 對提升度在 FValue值來看,從 可以看出,相比WE,IMDWE 對於不同的 現了不同的結果,但是對於stream01,在 的范圍內,FValue值提升都在10 8%以上,最大達 到11 8%;對於stream02,在 的范圍內,FValue 值提升最大在 9%,最小在 4%;而對於 stream03 與stream04,只有在 附近才出提升,而其他 值都出現降低,此時主要是IMDWE precision值出現了降低(圖6) 結論目前多數數據流分類器的設計是基於數據流中類 的分布是大致平衡這一假設的,而某些實際應用中對 於少數類的分類性能是重點關注的. 本文基於權重集 成分類器,綜合利用抽樣技術,提出了一種處理不平衡 數據流的集成分類模型———IMDWE 集成分類器模型. 實驗驗證表明:IMDWE 集成分類器的整體分類性能優 於WE 集成分類器,能明顯提高少數類的分類精度,並 且構建模型的演算法復雜度更低,更適合高速數據流的 分類挖掘. 從實驗中可以看出,相比 WE 集成分類器,IMDWE 集成分類器在提升少數類的Fvalue 值時對於不同的正 類比例 出現了不穩定性,這主要是由於precision 的降低過快造成的.因此根據應用問題中正負類樣本 比例的不同、數據流流速(塊大小)的不同,如何選取適 值變得非常重要,這也是我們下一步研究的方向.
⑩ 解釋一下主存儲器的組成和塊數如何計算
算出每個存取塊的bit大小
然後用總的bit大小除以每個存取快的大小 即為所需快數