存儲系統的設計原則
① 分布式存儲系統架構設計,應該遵循什麼樣的原則
分布式存儲分很多類型啊,對稱/非對稱 並行IO/串列IO,不同需求有不同架構思路。沒有設計目標不要談原則。
② 記錄存儲系統的設計原則是什麼
1:1存儲的設計原則:
1、存取頻率相近的,放一張表;相差很多的,分成兩個表,尤其要考慮讀的頻率
2、列表查詢,冗餘所有在列表項需要展示的內容,在一張表中,避免join
3、長欄位,考慮性能,單列
4、如果語義上有很大差別,可以通過ORM的方式,在domain層分裂成多個對象
5、開始的時候,不要用update來更新單個或者少量欄位。開發速度優於運行速度。 直到性能出現瓶頸的預警時,才考慮優化為update.
6、重要欄位password,必須加密傳輸,減少更新
7、有些時候添加新功能產生的1:1欄位,可能會用新的
8.資料庫記錄的id,除了唯一標識記錄這一個用途之外, 不允許做任何業務含義。 例如根據id來排序神馬的,這都是扯蛋的設計。
③ 1. 簡述存儲系統層次結構的基本思想
制約計算機存儲器設計的問題歸納起來有三個:容量多大?速度多快?價格多貴?
容量多大的問題似乎沒有限制,不管容量多大,總要開發出應用來使用它。速度多快的問題在某種意義上更容易回答。為了獲得多大的性能,存儲器速度必須能夠跟上處理器的速度,即當處理器執行指令時,我們不想使它停下來等待指令或操作數。最後一個問題也必須考慮,對於實用的系統,存儲器的價格相對於其他部件必須是合理的。
正如人們所預料的,在存儲器的3個關鍵特性即價格、容量和存取時間之間需要進行權衡。任何時候,都有各種技術可用來實現存儲系統。在這個技術領域中,存在如下關系:
存取時間越短,每位的價格就越高;
容量越大,每位的價格就越低;
容量越大,存取時間就越長;
很顯然,擺在設計者面前的難題是,不僅需要大容量,而且需要低的每位價格,因此希望採用提供大容量存儲器的技術。但為了滿足性能需求,設計者又必須使用昂貴、容量較小和存取時間快的存儲器。
解決這個難題的方法是採用存儲器層次結構,而不只是依賴單一的存儲部件或技術。下圖給出了一個通用存儲層次結構,圖中從上到下,出現下列情況:
每位價格降低;
容量增大;
存取時間增大;
處理器訪問存儲器的頻度降低;
因此,容量較小、價格較貴、速度較快的存儲器可作為容量較大、速度較慢的存儲器的補充。這種組織方式成功的關鍵是最後一項,即處理器訪問存儲器的頻度降低。
條件四有效的基礎是訪問局部性原理。在程序執行的過程中,處理器訪問存儲器中的指令和數據傾向於成簇(塊)。程序通常通常包含很多迭代循環和子程序,一旦進入了一個循環和子程序,則需重復訪問一小組指令。同樣,對於表和數組的操作,包含存取一簇簇的數據。在一長段時間內,使用的簇是變動的;而在一小段時間內,處理器主要訪問存儲器中的固定簇。
因此,通過分層結構組織數據,有可能使存取較低層的百分比低於存取高層存儲器的百分比。考慮剛才給出的二級存儲器的例子,讓第二級的存儲器包含所有程序的指令和數據,當前的簇臨時放在第一級,第一級的某些簇會不時地交換回第二級,為將要進入第一級的簇騰出空間。然而,平均來說,多數的訪問是對第一級中的指令和數據。
這個原則可以應用到二級以上的存儲器。考察圖所示的分層結構,速度較快、容量較小且價格最貴的存儲器是處理器的內部寄存器。下跳兩層是主存儲器,它是計算機中主要的內存系統。主存儲器常用速度更快,容量更小的高速緩存來擴充。
(很多體系結構或組成原理相關的書籍上都有的。回答比較粗糙,建議你參考William Stalling的計算機組織與體系結構,這本書上有對該問題的完整的論述。)
④ SRAM存儲器的設計理念
此設計,來源於數字電子技術中的:D 觸發器。
⑤ 計算機的存儲器系統設計是如何實現容量大、速度快和成本低的要求
存儲器容量越大,速度就越慢,所以速度和容量是一個矛盾,為了解決這一個矛盾,就把存儲器分成幾級,主存,外存,高速緩存,組成多級結構的存儲系統
⑥ 存儲器的原理是什麼
存儲器講述工作原理及作用
介紹
存儲器(Memory)是現代信息技術中用於保存信息的記憶設備。其概念很廣,有很多層次,在數字系統中,只要能保存二進制數據的都可以是存儲器;在集成電路中,一個沒有實物形式的具有存儲功能的電路也叫存儲器,如RAM、FIFO等;在系統中,具有實物形式的存儲設備也叫存儲器,如內存條、TF卡等。計算機中全部信息,包括輸入的原始數據、計算機程序、中間運行結果和最終運行結果都保存在存儲器中。它根據控制器指定的位置存入和取出信息。有了存儲器,計算機才有記憶功能,才能保證正常工作。計算機中的存儲器按用途存儲器可分為主存儲器(內存)和輔助存儲器(外存),也有分為外部存儲器和內部存儲器的分類方法。外存通常是磁性介質或光碟等,能長期保存信息。內存指主板上的存儲部件,用來存放當前正在執行的數據和程序,但僅用於暫時存放程序和數據,關閉電源或斷電,數據會丟失。
2.按存取方式分類
(1)隨機存儲器(RAM):如果存儲器中任何存儲單元的內容都能被隨機存取,且存取時間與存儲單元的物理位置無關,則這種存儲器稱為隨機存儲器(RAM)。RAM主要用來存放各種輸入/輸出的程序、數據、中間運算結果以及存放與外界交換的信息和做堆棧用。隨機存儲器主要充當高速緩沖存儲器和主存儲器。
(2)串列訪問存儲器(SAS):如果存儲器只能按某種順序來存取,也就是說,存取時間與存儲單元的物理位置有關,則這種存儲器稱為串列訪問存儲器。串列存儲器又可分為順序存取存儲器(SAM)和直接存取存儲器(DAM)。順序存取存儲器是完全的串列訪問存儲器,如磁帶,信息以順序的方式從存儲介質的始端開始寫入(或讀出);直接存取存儲器是部分串列訪問存儲器,如磁碟存儲器,它介於順序存取和隨機存取之間。
(3)只讀存儲器(ROM):只讀存儲器是一種對其內容只能讀不能寫入的存儲器,即預先一次寫入的存儲器。通常用來存放固定不變的信息。如經常用作微程序控制存儲器。目前已有可重寫的只讀存儲器。常見的有掩模ROM(MROM),可擦除可編程ROM(EPROM),電可擦除可編程ROM(EEPROM).ROM的電路比RAM的簡單、集成度高,成本低,且是一種非易失性存儲器,計算機常把一些管理、監控程序、成熟的用戶程序放在ROM中。
3.按信息的可保存性分類
非永久記憶的存儲器:斷電後信息就消失的存儲器,如半導體讀/寫存儲器RAM。
永久性記憶的存儲器:斷電後仍能保存信息的存儲器,如磁性材料做成的存儲器以及半導體ROM。
4.按在計算機系統中的作用分
根據存儲器在計算機系統中所起的作用,可分為主存儲器、輔助存儲器、高速緩沖存儲器、控制存儲器等。為了解決對存儲器要求容量大,速度快,成本低三者之間的矛盾,目前通常採用多級存儲器體系結構,即使用高速緩沖存儲器、主存儲器和外存儲器。
能力影響
從寫命令轉換到讀命令,在某個時間訪問某個地址,以及刷新數據等操作都要求數據匯流排在一定時間內保持休止狀態,這樣就不能充分利用存儲器通道。此外,寬並行匯流排和DRAM內核預取都經常導致不必要的大數據量存取。在指定的時間段內,存儲器控制器能存取的有用數據稱為有效數據速率,這很大程度上取決於系統的特定應用。有效數據速率隨著時間而變化,常低於峰值數據速率。在某些系統中,有效數據速率可下降到峰值速率的10%以下。
通常,這些系統受益於那些能產生更高有效數據速率的存儲器技術的變化。在CPU方面存在類似的現象,最近幾年諸如AMD和 TRANSMETA等公司已經指出,在測量基於CPU的系統的性能時,時鍾頻率不是唯一的要素。存儲器技術已經很成熟,峰值速率和有效數據速率或許並不比以前匹配的更好。盡管峰值速率依然是存儲器技術最重要的參數之一,但其他結構參數也可以極大地影響存儲器系統的性能。
影響有效數據速率的參數
有幾類影響有效數據速率的參數,其一是導致數據匯流排進入若干周期的停止狀態。在這類參數中,匯流排轉換、行周期時間、CAS延時以及RAS到CAS的延時(tRCD)引發系統結構中的大部分延遲問題。
匯流排轉換本身會在數據通道上產生非常長的停止時間。以GDDR3系統為例,該系統對存儲器的開放頁不斷寫入數據。在這期間,存儲器系統的有效數據速率與其峰值速率相當。不過,假設100個時鍾周期中,存儲器控制器從讀轉換到寫。由於這個轉換需要6個時鍾周期,有效的數據速率下降到峰值速率的 94%。在這100個時鍾周期中,如果存儲器控制器將匯流排從寫轉換到讀的話,將會丟失更多的時鍾周期。這種存儲器技術在從寫轉換到讀時需要15個空閑周期,這會將有效數據速率進一步降低到峰值速率的79%。表1顯示出針幾種高性能存儲器技術類似的計算結果。
顯然,所有的存儲器技術並不相同。需要很多匯流排轉換的系統設計師可以選用諸如XDR、RDRAM或者DDR2這些更高效的技術來提升性能。另一方面,如果系統能將處理事務分組成非常長的讀寫序列,那麼匯流排轉換對有效帶寬的影響最小。不過,其他的增加延遲現象,例如庫(bank)沖突會降低有效帶寬,對性能產生負面影響。
DRAM技術要求庫的頁或行在存取之前開放。一旦開放,在一個最小周期時間,即行周期時間(tRC)結束之前,同一個庫中的不同頁不能開放。對存儲器開放庫的不同頁存取被稱為分頁遺漏,這會導致與任何tRC間隔未滿足部分相關的延遲。對於還沒有開放足夠周期以滿足tRC間隙的庫而言,分頁遺漏被稱為庫沖突。而tRC決定了庫沖突延遲時間的長短,在給定的DRAM上可用的庫數量直接影響庫沖突產生的頻率。
大多數存儲器技術有4個或者8個庫,在數十個時鍾周期具有tRC值。在隨機負載情況下,那些具有8個庫的內核比具有4個庫的內核所發生的庫沖突更少。盡管tRC與庫數量之間的相互影響很復雜,但是其累計影響可用多種方法量化。
存儲器讀事務處理
考慮三種簡單的存儲器讀事務處理情況。第一種情況,存儲器控制器發出每個事務處理,該事務處理與前一個事務處理產生一個庫沖突。控制器必須在打開一個頁和打開後續頁之間等待一個tRC時間,這樣增加了與頁循環相關的最大延遲時間。在這種情況下的有效數據速率很大程度上決定於I/O,並主要受限於DRAM內核電路。最大的庫沖突頻率將有效帶寬削減到當前最高端存儲器技術峰值的20%到30%。
在第二種情況下,每個事務處理都以隨機產生的地址為目標。此時,產生庫沖突的機會取決於很多因素,包括tRC和存儲器內核中庫數量之間的相互作用。tRC值越小,開放頁循環地越快,導致庫沖突的損失越小。此外,存儲器技術具有的庫越多,隨機地址存取庫沖突的機率就越小。
第三種情況,每個事務處理就是一次頁命中,在開放頁中定址不同的列地址。控制器不必訪問關閉頁,允許完全利用匯流排,這樣就得到一種理想的情況,即有效數據速率等於峰值速率。
第一種和第三種情況都涉及到簡單的計算,隨機情況受其他的特性影響,這些特性沒有包括在DRAM或者存儲器介面中。存儲器控制器仲裁和排隊會極大地改善庫沖突頻率,因為更有可能出現不產生沖突的事務處理,而不是那些導致庫沖突的事務處理。
然而,增加存儲器隊列深度未必增加不同存儲器技術之間的相對有效數據速率。例如,即使增加存儲器控制隊列深度,XDR的有效數據速率也比 GDDR3高20%。存在這種增量主要是因為XDR具有更高的庫數量以及更低的tRC值。一般而言,更短的tRC間隔、更多的庫數量以及更大的控制器隊列能產生更高的有效帶寬。
實際上,很多效率限制現象是與行存取粒度相關的問題。tRC約束本質上要求存儲器控制器從新開放的行中存取一定量的數據,以確保數據管線保持充滿。事實上,為保持數據匯流排無中斷地運行,在開放一個行之後,只須讀取很少量的數據,即使不需要額外的數據。
另外一種減少存儲器系統有效帶寬的主要特性被歸類到列存取粒度范疇,它規定了每次讀寫操作必須傳輸的數據量。與之相反,行存取粒度規定每個行激活(一般指每個RAS的CAS操作)需要多少單獨的讀寫操作。列存取粒度對有效數據速率具有不易於量化的巨大影響。因為它規定一個讀或寫操作中需要傳輸的最小數據量,列存取粒度給那些一次只需要很少數據量的系統帶來了問題。例如,一個需要來自兩列各8位元組的16位元組存取粒度系統,必須讀取總共32位元組以存取兩個位置。因為只需要32個位元組中的16個位元組,系統的有效數據速率降低到峰值速率的50%。匯流排帶寬和脈沖時間長度這兩個結構參數規定了存儲器系統的存取粒度。
匯流排帶寬是指連接存儲器控制器和存儲器件之間的數據線數量。它設定最小的存取粒度,因為對於一個指定的存儲器事務處理,每條數據線必須至少傳遞一個數據位。而脈沖時間長度則規定對於指定的事務處理,每條數據線必須傳遞的位數量。每個事務處理中的每條數據線只傳一個數據位的存儲技術,其脈沖時間長度為1。總的列存取粒度很簡單:列存取粒度=匯流排寬度×脈沖時間長度。
很多系統架構僅僅通過增加DRAM器件和存儲匯流排帶寬就能增加存儲系統的可用帶寬。畢竟,如果4個400MHz數據速率的連接可實現 1.6GHz的總峰值帶寬,那麼8個連接將得到3.2GHz。增加一個DRAM器件,電路板上的連線以及ASIC的管腳就會增多,總峰值帶寬相應地倍增。
首要的是,架構師希望完全利用峰值帶寬,這已經達到他們通過物理設計存儲器匯流排所能達到的最大值。具有256位甚或512位存儲匯流排的圖形控制器已並不鮮見,這種控制器需要1,000個,甚至更多的管腳。封裝設計師、ASIC底層規劃工程師以及電路板設計工程師不能找到採用便宜的、商業上可行的方法來對這么多信號進行布線的矽片區域。僅僅增加匯流排寬度來獲得更高的峰值數據速率,會導致因為列存取粒度限制而降低有效帶寬。
假設某個特定存儲技術的脈沖時間長度等於1,對於一個存儲器處理,512位寬系統的存取粒度為512位(或者64位元組)。如果控制器只需要一小段數據,那麼剩下的數據就被浪費掉,這就降低了系統的有效數據速率。例如,只需要存儲系統32位元組數據的控制器將浪費剩餘的32位元組,進而導致有效的數據速率等於50%的峰值速率。這些計算都假定脈沖時間長度為1。隨著存儲器介面數據速率增加的趨勢,大多數新技術的最低脈沖時間長度都大於1。
選擇技巧
存儲器的類型將決定整個嵌入式系統的操作和性能,因此存儲器的選擇是一個非常重要的決策。無論系統是採用電池供電還是由市電供電,應用需求將決定存儲器的類型(易失性或非易失性)以及使用目的(存儲代碼、數據或者兩者兼有)。另外,在選擇過程中,存儲器的尺寸和成本也是需要考慮的重要因素。對於較小的系統,微控制器自帶的存儲器就有可能滿足系統要求,而較大的系統可能要求增加外部存儲器。為嵌入式系統選擇存儲器類型時,需要考慮一些設計參數,包括微控制器的選擇、電壓范圍、電池壽命、讀寫速度、存儲器尺寸、存儲器的特性、擦除/寫入的耐久性以及系統總成本。
選擇存儲器時應遵循的基本原則
1、內部存儲器與外部存儲器
一般情況下,當確定了存儲程序代碼和數據所需要的存儲空間之後,設計工程師將決定是採用內部存儲器還是外部存儲器。通常情況下,內部存儲器的性價比最高但靈活性最低,因此設計工程師必須確定對存儲的需求將來是否會增長,以及是否有某種途徑可以升級到代碼空間更大的微控制器。基於成本考慮,人們通常選擇能滿足應用要求的存儲器容量最小的微控制器,因此在預測代碼規模的時候要必須特別小心,因為代碼規模增大可能要求更換微控制器。目前市場上存在各種規模的外部存儲器器件,我們很容易通過增加存儲器來適應代碼規模的增加。有時這意味著以封裝尺寸相同但容量更大的存儲器替代現有的存儲器,或者在匯流排上增加存儲器。即使微控制器帶有內部存儲器,也可以通過增加外部串列EEPROM或快閃記憶體來滿足系統對非易失性存儲器的需求。
2、引導存儲器
在較大的微控制器系統或基於處理器的系統中,設計工程師可以利用引導代碼進行初始化。應用本身通常決定了是否需要引導代碼,以及是否需要專門的引導存儲器。例如,如果沒有外部的定址匯流排或串列引導介面,通常使用內部存儲器,而不需要專門的引導器件。但在一些沒有內部程序存儲器的系統中,初始化是操作代碼的一部分,因此所有代碼都將駐留在同一個外部程序存儲器中。某些微控制器既有內部存儲器也有外部定址匯流排,在這種情況下,引導代碼將駐留在內部存儲器中,而操作代碼在外部存儲器中。這很可能是最安全的方法,因為改變操作代碼時不會出現意外地修改引導代碼。在所有情況下,引導存儲器都必須是非易失性存儲器。
可以使用任何類型的存儲器來滿足嵌入式系統的要求,但終端應用和總成本要求通常是影響我們做出決策的主要因素。有時,把幾個類型的存儲器結合起來使用能更好地滿足應用系統的要求。例如,一些PDA設計同時使用易失性存儲器和非易失性存儲器作為程序存儲器和數據存儲器。把永久的程序保存在非易失性ROM中,而把由用戶下載的程序和數據存儲在有電池支持的易失性DRAM中。不管選擇哪種存儲器類型,在確定將被用於最終應用系統的存儲器之前,設計工程師必須仔細折中考慮各種設計因素。
⑦ 數據存儲原則根據數據分布希么方式
(1)編程模型
MapRece是Google開發的java、Python、C++編程模型,它是一種簡化的分布式編程模型和高效的任務調度模型,用於大規模數據集(大於1TB)的並行運算。嚴格的編程模型使雲計算環境下的編程十分簡單。MapRece模式的思想是將要執行的問題分解成Map(映射)和Rece(化簡)的方式,先通過Map程序將數據切割成不相關的區塊,分配(調度)給大量計算機處理,達到分布式運算的效果,再通過Rece程序將結果匯整輸出。
(2) 海量數據分布存儲技術
雲計算系統由大量伺服器組成,同時為大量用戶服務,因此雲計算系統採用分布式存儲的方式存儲數據,用冗餘存儲的方式保證數據的可靠性。雲計算系統中廣泛使用的數據存儲系統是Google的GFS和Hadoop團隊開發的GFS的開源實現HDFS。
GFS即Google文件系統(Google File System),是一個可擴展的分布式文件系統,用於大型的、分布式的、對大量數據進行訪問的應用。GFS的設計思想不同於傳統的文件系統,是針對大規模數據處理和Google應用特性而設計的。它運行於廉價的普通硬體上,但可以提供容錯功能。它可以給大量的用戶提供總體性能較高的服務。
⑧ 設計層次化存儲系統的理論依據是什麼
計算機系統中存儲層次可分為高速緩沖存儲器、主存儲器、輔助存儲器三級
高速緩沖存儲器用來改善主存儲器與中央處理器的速度匹配問題
輔助存儲器用於擴大存儲空,即硬碟,光碟等,容量大,但存取數據慢,計算機都是先把輔存中要讀的東西放到主存後處理,然後在依據情況是否寫回。
主存即為內存,斷電信息丟失,但存取數據塊,他的容量大小直接影響計算機運行速度。
⑨ 關於存儲周期設定原則
存儲周期,連續啟動兩次讀或寫操作所需間隔的最小時間 體現主存的速度(納秒ns) 名詞解釋 存儲器的兩個基本操作為讀出與寫入。
(memory cycle time):連續啟動兩次讀或寫操作所需間隔的最小時間體現主存的速度(納秒ns)。
存儲周期,通常用訪問周期T(又稱存取周期等)表示,該概念與存取時間是不同的。
存儲系統的存儲周期與命中率H的關系非常大。
命中率:可以簡單地定義為在M1存儲器中訪問到的概率,它一般用模擬實驗的方法得到。
選擇一組有代表性的程序,在程序執行過程中分別統計對M1存儲器的訪問次數N1和對M2存儲器的訪問次數N2,然後代入下面的關系式計算。
整個存儲系統的訪問周期可以用M1和M2兩個存儲器的訪問周期T1,T2和命中率H來表示:
T=H·T1+(1-H)·T2(3-2)
當命中率H→筿1時,T→T1,即存儲系統的訪問周期T接近於速度比較快的M1存儲器的訪問周期T1。
⑩ 在操作系統中,什麼是分級的存儲體系結構,它主要解決什麼問題呢
計算機存儲系統的設計主要考慮容量、速度和成本三個問題。容量是存儲系統的基礎,都希望配置盡可能大的存儲系統;同時要求存儲系統的讀寫速度能與處理器的速度相匹配;此外成本也應該在一個合適的范圍之內。但這三個目標不可能同時達到最優。一般情況下,存儲設備讀寫速度越快,平均單位容量的價格越高,存儲容量越小;反之,存儲設備讀寫速度越慢,平均單位容量的價格越低,存儲容量越大。為了在這三者之間取得平衡,就採用分級的存儲體系結構,由寄存器、高速緩存、主內存、硬碟存儲器、磁帶機和光碟存儲器等構成。操作系統經常訪問較小、較貴而快速的存儲設備,以較大、較便宜而讀寫速度較慢的存儲設備作後盾。在整體上通過對訪問頻率的控制來提高存儲系統的效能。