權重存儲器
㈠ 人腦是怎麼存儲記憶的,相當於電腦的多大內存的
根據此前的研究,有科學家認為人腦的存儲容量大約為1TB,不過也有科學家認為應該有100TB。
人腦雖然不是自然界中最大的,但卻是最發達的。在所有哺乳動物中,人腦占身體的比例最大。人腦雖然只佔了身體重量的2%,卻消耗著20%的能量。在人類的進化史中,人類的腦容量一直在增加,現在已經接近1500毫升了。
記憶是智力的基石,一個記憶力強的人,智力通常也比較強。可以肯定,人腦的記憶潛能很大,只要是智力正常的人,通過長期反復的學習,多學多用,一定能成為一個博學多識的人。
如果將一個圖書館中的內容都裝進腦中,用處也不大,因為數據太多反而會拖累讀取速度,我們需要的是在理解的基礎上建立更有效的神經連接通路。
㈡ CACHE替換演算法有哪幾種,分別簡要說明
其代表演算法有:①Hybrid演算法:演算法對Cache中的每一個對象賦予一個效用函數,將效用最小的對象替換出Cache;②LowestRelativeValue演算法:將效用值最低的對象替換出Cache;③(LCNR)演算法:該演算法使用一個關於文檔訪問頻次、傳輸時間和大小的推理函數來確定替換文檔;④Bolot等人提出了一種基於文檔傳輸時間代價、大小、和上次訪問時間的權重推理函數來確定文檔替換;⑤SizeAdjustLRU(SLRU)演算法:對緩存的對象按代價與大小的比率進行排序,並選取比率最小的對象進行替換
擴展知識:
Cache是一種根據程序局部性原則,通過小容量速度快的存儲器緩存部分數據,以減少處理器對慢速大容量存儲器的訪問次數,從而提升處理器取指效率的機制。Cache替換演算法是指當Cache缺失發生後,Cache按某種機制選中高速緩存中的某個地址進行數據更新。Cache替換演算法對Cache的命中率有較大的影響。目前主流的Cache替換演算法有偽隨機、先進先出(FIFO——First In First Out)和最近最少使用(LRU——Least Recently Used)等。相較於偽隨機和先進先出演算法,LRU演算法更符合程序局部性原則(當前執行的程序代碼,在不久後會再次訪問該代碼段),Cache的命中率更高,但其硬體資源消耗非常大。
傳統的LRU演算法對Cache的每一路進行統計,在需要替換時,將最近最少被使用的那一路替換。由於傳統LRU演算法的數據使用頻率統計為向上計數,故其計數器計數位寬較大,且需要額外的機制來處理計數溢出的情況。
㈢ Android系統內存管理
部分內容出至林學森的Android內核設計思想。
Android官網內存管理
部分出至 https://www.jianshu.com/p/94d1cd553c44
Android本質是Linux所以先從Linux說起。
Linux的內存管理為系統中所有的task提供可靠的內存分配、釋放和保護機制。
核心:
虛擬內存
內存分配與釋放
內存保護
將外存儲器的部分空間作為內存的擴展,如從硬碟劃出4GB大小。
當內存資源不足時,系統按照一定演算法自動條形優先順序低的數據塊,並把他們存儲到硬碟中。
後續如果需要用到硬碟中的這些數據塊,系統將產生「缺頁」指令,然後把他們交換回內存中。
這些都是由操作系統內核自動完成的,對上層應用」完全透明「。
每個進程的邏輯地址和物理地址都不是直接對應的,任何進程都沒辦法訪問到它管轄范圍外的內存空間——即刻意產生的內存越界與非法訪問,操作系統也會馬上阻止並強行關閉程序,從而有力的保障應用程序和操作系統的安全和穩定。
一旦發現系統的可用內存達到臨界值,機會按照優先順序順序,匆匆低到高逐步殺掉進程,回收內存。
存儲位置:/proc/<PID>/oom_score
優先順序策略:
進程消耗的內存
進程佔用的CPU時間
oom_adj(OOM權重)
Android平台運行的前提是可用內存是浪費的內存。它試圖在任何時候使用所有可用的內存。例如,系統會在APP關閉後將其保存在內存中,以便用戶可以快速切換回它們。出於這個原因,Android設備通常運行時只有很少的空閑內存。在重要系統進程和許多用戶應用程序之間正確分配內存內對存管理是至關重要。
Android有兩種主要的機制來處理低內存的情況:內核交換守護進程(kernel swap daemon)和低內存殺手(low-memory killer)。
當用戶在APP之間切換時,Android會在最近使用的(LRU)緩存中保留不在前台的APP,即用戶看不到的APP,或運行類似音樂播放的前台服務。如果用戶稍後返回APP,系統將重用該進程,從而使APP切換更快。
如果你的APP有一個緩存進程,並且它保留了當前不需要的內存,那麼即使用戶不使用它,你的APP也會影響系統的整體性能。由於系統內存不足,它會從最近使用最少的進程開始殺死LRU緩存中的進程。該系統還負責處理佔用最多內存的進程,並可以終止這些進程以釋放RAM。
當系統開始終止LRU緩存中的進程時,它主要是自底向上工作的。系統還考慮哪些進程消耗更多的內存,從而在終止時為系統提供更多的內存增益。你在LRU列表中消耗的內存越少,你就越有可能留在列表中並能夠快速恢復。
為了滿足RAM的所有需求,Android嘗試共享RAM來跨進程通信。它可以做到以下方式:
Android設備包含三種不同類型的內存:RAM、zRAM和storage。
注意:CPU和GPU都訪問同一個RAM。
內存被拆分成頁。通常每頁有4KB的內存。
頁面被認為是空閑的或已使用的。
空閑頁是未使用的RAM。
已使用頁是系統正在積極使用的RAM,分為以下類別:
干凈的頁面(Clean pages)包含一個文件(或文件的一部分)的一份精確副本存在存儲器上。當一個干凈的頁面不再包含一個精確的文件副本(例如,來自應用程序操作的結果)時,它就變成了臟頁。可以刪除干凈的頁,因為它們始終可以使用存儲中的數據重新生成;不能刪除臟頁(Dirty pages),否則數據將丟失。
內核跟蹤系統中的所有內存頁。
當確定一個應用程序正在使用多少內存時,系統必須考慮shared pages。APP訪問相同的服務或庫將可能共享內存頁。例如,Google Play Services 和一個游戲APP可能共享一個位置服務。這使得很難確定有多少內存屬於這個服務相對於每個APP。
當操作系統想要知道所有進程使用了多少內存時,PSS非常有用,因為頁面不會被多次計數。PSS需要很長時間來計算,因為系統需要確定哪些頁面是共享的,以及被有多少進程。RSS不區分共享頁面和非共享頁面(使計算速度更快),更適合於跟蹤內存分配的更改。
內核交換守護進程(kswapd)是Linux內核的一部分,它將使用過的內存轉換為空閑內存。當設備上的空閑內存不足時,守護進程將變為活動狀態。Linux內核保持低和高的可用內存閾值。當空閑內存低於低閾值時,kswapd開始回收內存。當空閑內存達到高閾值,kswapd將停止回收內存。
kswapd可以通過刪除干凈的頁面來回收干凈的頁面,因為它們有存儲器支持並且沒有被修改。如果進程試圖定址已刪除的干凈頁,則系統會將該頁從存儲器復制到RAM。此操作稱為請求分頁。
kswapd將緩存的私有臟頁(private dirty pages)和匿名臟頁(anonymous dirty pages)移動到zRAM進行壓縮。這樣做可以釋放RAM中的可用內存(空閑頁)。如果進程試圖觸摸zRAM中臟頁,則該頁將被解壓縮並移回RAM。如果與壓縮頁關聯的進程被終止,則該頁將從zRAM中刪除。
如果可用內存量低於某個閾值,系統將開始終止進程。
lmkd實現源碼要在system/core/lmkd/lmkd.c。
lmkd會創建名為lmkd的socket,節點位於/dev/socket/lmkd,該socket用於跟上層framework交互。
小結:
LMK_TARGET: AMS.updateConfiguration() 的過程中調用 updateOomLevels() 方法, 分別向/sys/mole/lowmemorykiller/parameters目錄下的minfree和adj節點寫入相應信息;
LMK_PROCPRIO: AMS.applyOomAdjLocked() 的過程中調用 setOomAdj() 向/proc/<pid>/oom_score_adj寫入oom_score_adj後直接返回;
LMK_PROCREMOVE: AMS.handleAppDiedLocked 或者 AMS.() 的過程,調用remove(),目前不做任何事,直接返回;
為了進一步幫助平衡系統內存並避免終止APP進程,可以Activity類中實現ComponentCallbacks2介面。提供的onTrimMemory()回調方法允許APP在前台或後台偵聽與內存相關的事件,然後釋放對象以響應應用程序生命周期或表明系統需要回收內存的系統事件。
onTrimMemory()回調是在Android 4.0(API級別14)中添加的。
對於早期版本,可以使用onLowMemory(),它大致相當於TRIM_MEMORY_COMPLETE事件。
一個專門的驅動。(Linux Kernel 4.12 已移除交給kswapd處理)。
很多時候,kswapd無法為系統釋放足夠的內存。在這種情況下,系統使用onTrimMemory()通知APP內存不足,應該減少其分配。如果這還不夠,內核將開始終止進程以釋放內存,它使用低內存殺手(LMK)來完成這個任務。
為了決定要終止哪個進程,LMK使用一個名為oom_adj_score的「out of memory」分數來確定運行進程的優先順序,高分的進程首先被終止。
後台應用程序首先被終止,系統進程最後被終止。
下表列出了從高到低的LMK評分類別。第一排得分最高的項目將首先被殺死:
Android Runtime(ART)和Dalvik虛擬機使用分頁(Paging)和內存映射(mmapping)來管理內存。應用程序通過分配新對象或觸摸已映射頁面來修改內存都將保留在RAM中,並且不能被調出。應用程序釋放內存的唯一方式是垃圾收集器。
㈣ 存算一體原理
存算一體晶元主流研究方向:
根據存儲器介質的不同,目前存算一體晶元的主流研發集中在傳統易失性存儲器,如SRAM、DRAM,以及非易失性存儲器,如RRAM,PCM,MRAM與快閃記憶體等,其中比較成熟的是以SRAM和MRAM為代表的通用近存計算架構。
通用近存計算架構:
採用同構眾核的架構,每個存儲計算核(MPU)包含計算引擎(Processing Engine, PE)、緩存(Cache)、控制(CTRL)與輸入輸出(Inout/Output, I/O)等,這里緩存可以是SRAM、MRAM或類似的高速隨機存儲器。
(1) SRAM存算一體
由於SRAM是二值存儲器,二值MAC運算等效於XNOR累加運算,可以用於二值神經網路運算。
(2) DRAM存算一體
基於DRAM的存算一體設計主要利用DRAM單元之間的電荷共享機制[33,34]。
(3) RRAM/PCM/Flash多值存算一體
基於RRAM/PCM/Flah的多值存算一體方案的基本原理是利用存儲單元的多值特性,通過器件本徵的物理電氣行為(例如基爾霍夫定律與歐姆定律)來實現多值MAC運算。每個存儲單元可以看作一個可變電導/電阻,用來存儲網路權重,當在每一行施加電流/電壓(激勵)時,每一列即可得到MAC運算的電壓/電流值。
(4) RRAM/PCM/MRAM二值存算一體
基於RRAM/PCM/MRAM的二值存算一體主要有兩種方案。第一種方案是利用輔助外圍電路,跟上述SRAM存算一體類似,第二種方案是直接利用存儲單元實現布爾邏輯計算。
㈤ 聯想存儲的特點是
聯想存儲器的特點是
聯想存儲器的特點是:
①除有存儲功能外,還具有信息處理功能。它能根據送來內容的特徵查找存儲單元。
②對各個存儲單元並行進行查找,因而能顯著提高查找速度。這些特點與人腦的「聯想」功能有所相似,因而被稱為聯想存儲器。
存儲器中所存的信息可用地址和數值(內容)兩個參數描述。如要對兩個存儲單元中的內容作某種運算,並將結果存入其中一個單元,則選用按地址存取的存儲器比較適宜。如果根據某些內容特徵來查找存儲單元,則使用聯想存儲器能更快地得到結果。而且存儲空間的使用比較節省,修改記錄時所花費的系統開銷也較小。聯想存儲器用在大型資料庫的實時檢索和更新,以及通用計算機的虛擬存儲和控制系統等方面。
聯想存儲器的組成。聯想存儲體中的每個存儲單元都含有存儲、比較、讀寫、控制等電路。查找變數被存放在比較數寄存器中。屏蔽寄存器用來屏蔽比較數寄存器的部分內容,而將未屏蔽部分作為查找變數送入聯想存儲體。查找時,每個存儲單元將它的內容與送來的查找變數比較。如果相等,則響應寄存器中的對應位被置1。如不相等,則置0。這樣,查找結果就被存入響應寄存器中。滿足查找要求的存儲單元稱為響應單元。查找是並行進行的,因而響應單元可能不止一個,這稱為多重響應。這時,如要寫入信息,則可將信息先送入比較數寄存器,並經與屏蔽寄存器配合再送至聯想存儲體,並行寫入這些響應單元。有時也可根據單元的地址寫入信息。如要讀出信息,則必須將這些單元逐一分解,確定地址順序讀出,這稱為多重響應分解,由多重響應分解器完成。字選擇寄存器用來選擇參加查找操作的存儲單元,起字間屏蔽的作用。「比較」是聯想存儲器最基本的邏輯操作,對於給定的查找變數能完成多種比較操作。
例如:全等、不等;小於、大於;不大於、不小於;僅大於、僅小於;區間內、區間外和最大值、最小值等。這些操作可在全等比較的基礎上通過相應的演算法來實現,也可以在存儲單元內增加相應的邏輯線路來承擔。