linux的內存管理

① linux進程內存管理

對於包含MMU的處理器而言，Linux系統提供了復雜的存儲管理系統，使得進程所能訪問的內存達到4GB。在Linux系統中，進程的4GB內存空間被分為兩個部分——用戶空間與內核空間。用戶空間的地址一般分布為0~3GB(即PAGE_OFFSET，在Ox86中它等於OxC0000000），這樣，剩下的3~4GB為內核空間，用戶進程通常只能訪問用戶空間的虛擬地址，不能訪問內核空間的虛擬地址。用戶進程只有通過系統調用（代表用戶進程在內核態執行）等方式才可以訪問到內核空間。
每個進程的用戶空間都是完全獨立、互不相乾的，用戶進程各自有不同的頁表。而內核空間是由內核負責映射，它並不會跟著進程改變，是固定的。內核空間的虛擬地址到物理地址映射是被所有進程共享的，內核的虛擬空間獨立於其他程序。
Linux中1GB的內核地址空間又被劃分為物理內存映射區、虛擬內存分配區、高端頁面映射區、專用頁面映射區和系統保留映射區這幾個區域。
對於x86系統而言，一般情況下，物理內存映射區最大長度為896MB，系統的物理內存被順序映射在內核空間的這個區域中。當系統物理內存大於896MB時，超過物理內存映射區的那部分內存稱為高端內存（而未超過物理內存映射區的內存通常被稱為常規內存），內核在存取高端內存時必須將它們映射到高端頁面映射區。Linux保留內核空間最頂部FIXADDR_TOP~4GB的區域作為保留區。
當系統物理內存超過4GB時，必須使用CPU的擴展分頁(PAE）模式所提供的64位頁目錄項才能存取到4GB以上的物理內存，這需要CPU的支持。加入了PAE功能的Intel Pentium Pro及以後的CPU允許內存最大可配置到64GB，它們具備36位物理地址空間定址能力。
由此可見，對於32位的x86而言，在3~4GB之間的內核空間中，從低地址到高地址依次為:物理內存映射區→隔離帶→vmalloc虛擬內存分配器區→隔離帶→高端內存映射區→專用頁面映射區→保留區。

② Linux 內核的內存管理 - 概念

Concepts overview — The Linux Kernel documentation

Linux中的內存管理是一個復雜的系統，經過多年的發展，它包含越來越多的功能，以支持從 MMU-less microcontrollers 到 supercomputers 的各種系統。
沒有MMU內存管理的系統被稱為 nommu ，它值得寫一份專門的文檔進行描述。
盡管有些概念是相同的，這里我們假設MMU可用，CPU可以將虛擬地址轉換為物理地址。

計算機系統中的物理內存是有限資源，即便支持內存熱插拔，其可以安裝的內存也有限的。物理內存不一定必須是連續的；它可以作為一組不同的地址范圍被訪問。此外，不同的CPU架構，甚至同架構的不同實現對如何定義這些地址范圍都是不同的。

這使得直接處理物理內存異常復雜，為了避免這種復雜性，開發了 虛擬內存 （virtual memory） 的概念。

虛擬內存從應用軟體中抽象出物理內存的細節，只允許在物理內存中保留需要的信息 （demand paging） ，並提供一種機制來保護和控制進程之間的數據共享。

通過虛擬內存，每次內存訪問都訪問一個 虛擬地址 。當CPU對從系統內存讀取（或寫入）的指令進行解碼時，它將該指令中編碼的虛擬地址轉換為內存控制器可以理解的物理地址。

物理內存被切分為 頁幀 page frames 或 頁 pages 。頁的大小是基於架構的。一些架構允許從幾個支持的值中選擇頁大小；此選擇在內核編譯時設置到內核配置。

每個物理內存頁都可以映射為一個或多個 虛擬頁（virtual pages） 。映射關系描述在 頁表（page tables） 中，頁表將程序使用的虛擬地址轉換為物理內存地址。頁表以層次結構組織。

最底層的表包含軟體使用的實際內存頁的物理地址。較高層的表包含較低層表頁的物理地址。頂層表的指針駐留在寄存器中。
當CPU進行地址轉換的時候，它使用寄存器訪問頂級頁表。

虛擬地址的高位，用於頂級頁表的條目索引。然後，通過該條目訪問下級，下級的虛擬地址位又作為其下下級頁表的索引。虛擬地址的最低位定義實際頁內的偏移量。

地址轉換需要多次內存訪問，而內存訪問相對於CPU速度來說比較慢。為了避免在地址轉換上花費寶貴的處理器周期，CPU維護著一個稱為 TLB （Translation Lookaside Buffer）的用於地址轉換緩存（cache）。通常TLB是非常稀缺的資源，需要大內存工作應用程序會因為TLB未命中而影響性能。

很多現代CPU架構允許頁表的高層直接映射到內存頁。例如，x86架構，可以通過二級、三級頁表的條目映射2M甚至1G內存頁。在Linux中，這些內存頁稱為 大頁 （Huge） 。大頁的使用顯著降低了TLB的壓力，提高了TLB命中率，從而提高了系統的整體性能。

Linux提供兩種機制開啟使用大頁映射物理內存。

第一個是 HugeTLB 文件系統，即 hugetlbfs 。它是一個偽文件系統，使用RAM作為其存儲。在此文件系統中創建的文件，數據駐留在內存中，並使用大頁進行映射。
關於 HugeTLB Pages

另一個被稱為 THP (Transparent HugePages) ，後出的開啟大頁映射物理內存的機制。
與 hugetlbfs 不同，hugetlbfs要求用戶和/或系統管理員配置系統內存的哪些部分應該並可以被大頁映射；THP透明地管理這些映射並獲取名稱。
關於 Transparent Hugepage Support

通常，硬體對不同物理內存范圍的訪問方式有所限制。某些情況下，設備不能對所有可定址內存執行DMA。在其他情況下，物理內存的大小超過虛擬內存的最大可定址大小，需要採取特殊措施來訪問部分內存。還有些情況，物理內存的尺寸超過了虛擬內存的最大可定址尺寸，需要採取特殊措施來訪問部分內存。

Linux根據內存頁的使用情況，將其組合為多個 zones 。比如， ZONE_DMA 包含設備用於DMA的內存， ZONE_HIGHMEM 包含未永久映射到內核地址空間的內存， ZONE_NORMAL 包含正常定址內存頁。
內存zones的實際層次架構取決於硬體，因為並非所有架構都定義了所有的zones，不同平台對DMA的要求也不同。

多處理器機器很多基於 NUMA （Non-Uniform Memory Access system - 非統一內存訪問系統 ）架構。 在這樣的系統中，根據與處理器的「距離」，內存被安排成具有不同訪問延遲的 banks 。每個 bank 被稱為一個 node ，Linux為每個 node 構造一個獨立的內存管理子系統。 Node 有自己的zones集合、free&used頁面列表，以及各種統計計數器。
What is NUMA?
NUMA Memory Policy

物理內存易失，將數據放入內存的常見情況是讀取文件。讀取文件時，數據會放入 頁面緩存（page cache） ，可以在再次讀取時避免耗時的磁碟訪問。同樣，寫文件時，數據也會被放入 頁面緩存 ，並最終進入存儲設備。被寫入的頁被標記為 臟頁（dirty page） ，當Linux決定將其重用時，它會將更新的數據同步到設備上的文件。

匿名內存 anonymous memory 或 匿名映射 anonymous mappings 表示沒有後置文件系統的內存。這些映射是為程序的stack和heap隱式創建的，或調用mmap（2）顯式創建的。通常，匿名映射只定義允許程序訪問的虛擬內存區域。讀，會創建一個頁表條目，該條目引用一個填充有零的特殊物理頁。寫，則分配一個常規物理頁來保存寫入數據。該頁將被標記為臟頁，如果內核決定重用該頁，則臟頁將被交換出去 swapped out 。

縱貫整個系統生命周期，物理頁可用於存儲不同類型的數據。它可以是內核內部數據結構、設備驅動DMA緩沖區、讀取自文件系統的數據、用戶空間進程分配的內存等。
根據內存頁使用情況，Linux內存管理會區別處理。可以隨時釋放的頁面稱為 可回收（reclaimable） 頁面，因為它們把數據緩存到了其他地方（比如，硬碟），或者被swap out到硬碟上。
可回收頁最值得注意的是 頁面緩存 和 匿名頁面 。

在大多數情況下，存放內部內核數據的頁，和用作DMA緩沖區的頁無法重用，它們將保持現狀直到用戶釋放。這樣的被稱為 不可回收頁（unreclaimable） 。
然而，在特定情況下，即便是內核數據結構佔用的頁面也會被回收。
例如，文件系統元數據的緩存（in-memory）可以從存儲設備中重新讀取，因此，當系統存在內存壓力時，可以從主內存中丟棄它們。

釋放可回收物理內存頁並重新調整其用途的過程稱為 (surprise!) reclaim 。
Linux支持非同步或同步回收頁，取決於系統的狀態。
當系統負載不高時，大部分內存是空閑的，可以立即從空閑頁得到分配。
當系統負載提升後，空閑頁減少，當達到某個閾值（ low watermark ）時，內存分配請求將喚醒 kswapd 守護進程。它將以非同步的方式掃描內存頁。如果內存頁中的數據在其他地方也有，則釋放這些內存頁；或者退出內存到後置存儲設備（關聯 臟頁 ）。

隨著內存使用量進一步增加，並達到另一個閾值- min watermark -將觸發回收。這種情況下，分配將暫停，直到回收到足夠的內存頁。

當系統運行時，任務分配並釋放內存，內存變得碎片化。
雖然使用虛擬內存可以將分散的物理頁表示為虛擬連續范圍，但有時需要分配大的連續的物理內存。這種需求可能會提升。例如，當設備驅動需要一個大的DMA緩沖區時，或當THP分配一個大頁時。
內存地址壓縮（compaction ） 解決了碎片問題。
該機制將佔用的頁從內存zone的下部移動到上部的空閑頁。壓縮掃描完成後，zone開始處的空閑頁就並在一起了，分配較大的連續物理內存就可行了。

與 reclaim 類似， compaction 可以在 kcompactd守護進程中非同步進行，也可以作為內存分配請求的結果同步進行。

在存在負載的機器上，內存可能會耗盡，內核無法回收到足夠的內存以繼續運行。
為了保障系統的其餘部分，引入了 OOM killer 。

OOM killer 選擇犧牲一個任務來保障系統的總體健康。選定的任務被killed，以期望在它退出後釋放足夠的內存以繼續正常的操作。

③ 內存管理：一文讀懂Linux內存組織結構及頁面布局

1、內存是什麼？

1) 內存又稱主存，是 CPU 能直接定址的存儲森鄭空間，由半導體器件製成；

2) 內存的特點是存取速率快，斷電一般不保存數據，非持久化設備；

2、內存的作用

1) 暫時存放 cpu 的運算數據

2) 硬碟等外部存儲器交換的數據

3) 保障 cpu 計算機的穩定性和高性能

1、linux 內存地址空間 Linux 內存管理全貌

2、內存地址——用戶態&內核態

3、內存地址——MMU 地址轉換

4、內存地址——分段機制

1) 段選擇符

更多Linux內核視頻教程文檔資料免費領取後台私信【 內核 】自行獲取。

內核學習網站：

Linux內核源碼/內存調優/文件系統/進程管理/設備驅動/網路協議棧-學習視頻教程-騰訊課堂

2) 分段實現

5、內存地址——分頁機制（32 位）

6、用戶態地址空間

7、內核態地址空間

8、進程內存空間

內存管理演算法 ——對討厭自己管理內存的人來說是天賜的禮物

1、內存碎片

1) 基本原理

2) 如何避免內存碎片

2、夥伴系統演算法——組織結構

1) 概念

2) 外部碎片

3、夥伴系統演算法——申請和回收

1) 申請演算法

2) 回收演算法

3) 條件

4、如何分配 4M 以上內存？

1) 為何限制大旦春盯塊內存分配

2) 內核中獲取 4M 以上大內存的方法

5、夥伴系統——反碎片機制

1) 不可移動頁

2) 可回收頁

6、slab 演算法——基本原理

1) 基本概念

2) 內部碎片

7、slab 分配器的結構

詳細參考：

經典|圖解Linux內存性能優化核心思想

8、slab 高速緩存

1) 普通高速緩存

2) 專用高速緩存

9、內核態內存池

1) 基本原理

2) 內核 API

10、用戶態內存池

1) C++ 實例

11、DMA 內存

1) 什麼是 DMA

2) DMA 信號

out of memory 的時代過去了嗎？no，內存再充足也不可任性使用。

1、內存的使用場景

2、用戶態內存分配函數

a) 如果當前連續內存塊足夠 realloc 的話，只是將 p 所指向的空間擴大，並返回模和 p 的指針地址。這個時候 q 和 p 指向的地址是一樣的

b) 如果當前連續內存塊不夠長度，再找一個足夠長的地方，分配一塊新的內存，q，並將 p 指向的內容 到 q，返回 q。並將 p 所指向的內存空間刪除

3、內核態內存分配函數

4、malloc 申請內存

5、缺頁異常

6、用戶進程訪問內存分析

7、共享內存

1) 原理

2) shm 介面

1、C 內存泄露

2、C 野指針

3、C 資源訪問沖突

4、STL 迭代器失效

錯誤示例：刪除當前迭代器，迭代器會失效

正確示例：迭代器 erase 時，需保存下一個迭代器

5、C++ 11 智能指針

（1）原理分析：

（2）數據結構：

（3）使用方法：

6、C++ 11 更小更快更安全

六、 如何查看內存

可以通過 cat /proc/slabinfo 命令查看

可以通過 /proc/sys/vm/drop_caches來釋放

④ Linux存儲管理方式

這種方式中，將用戶程序的地址空間，注意，是 用戶程序的地址空間 分為若干個固定大小的區域，成為「頁」或「頁面」。我們可以知道，這也頁其實是不存在的，只是一種劃分內存空間的方法。也就是說，這種方式將用戶的程序 「肢解」 了，分成很多個小的部分，每個部分稱為一個「頁」。

將邏輯地址的前n位作為頁號，後面32-n位作為頁內偏移量。

由於進程的最後一頁經常裝不滿一個塊，從而形成了不可利用的碎片，稱之為 「頁內碎片」 。

作用：實現頁號到物理號的地址映射。

頁表是記錄邏輯空間（虛擬內存）中每一頁在內存中對應的物理塊號。但並非每一頁邏輯空間都會實際對應著一個物理塊，只有實際駐留在物理內存空間中的頁才會對應著物理塊。

系統會為每一個進程建立一張頁表，頁表是需要一直駐留在物理內存中的（多級頁表除外），另外頁表的起址和長度存放在 PCB（Process Control Block）進程式控制制結構體中。

可以在頁表的表項中設置相關的許可權控制欄位，例如設置存取控制欄位，用於保護該存儲塊的讀寫；若存取控制欄位為2位，則可以設置讀/寫、只讀和只執行等存取方式。

物理塊是實實在在存在於內存中的：

由於執行頻率高，要求效率比較高，需要使用硬體實現。

在系統中設置一個 頁表寄存器(PTR) ,其中存放頁表在內存的起始地址和頁表的長度。平時進程未執行的時候，頁表的起始地址和頁表長度放在本進程的PCB中。當調度程序調度到某個進程的時候，才將這兩個數據裝入 頁表寄存器 。

變換過程：

快表的變換機構

為了提高地址變換速度，可在地址變換機構中增設一個具有並行查詢能力的特殊高速緩沖寄存器，又稱為"聯想寄存器"或者「快表」。俗稱TLB。

快表與頁表的功能類似，其實就是將一部分頁表存到 CPU 內部的高速緩沖存儲器 Cache。CPU 定址時先到快表查詢相應的頁表項形成物理地址，如果查詢不到，則到內存中查詢，並將對應頁表項調入到快表中。但，如果快表的存儲空間已滿，則需要通過演算法找到一個暫時不再需要的頁表項，將它換出內存。

由於成本的關系，快表不可能做得很大，通常只存放 16~512 個頁表項，這對中、小型作業來說，已有可能把全部頁表項放在快表中；但對於大型作業而言，則只能將其一部分頁表項放入其中。由於對程序和數據的訪問往往帶有局限性，因此，據統計，從快表中能找到所需頁表項的概率可達 90% 以上。這樣，由於增加了地址變換機構而造成的速度損失可減少到 10% 以下，達到了可接受的程度。

我們可以採用這樣兩個方法來解決這一問題：

① 對於頁表所需的內存空間，可採用離散分配方式，以解決難以找到一塊連續的大內存空間的問題；

② 只將當前需要的部分頁表項調入內存，其餘的頁表項仍駐留在磁碟上，需要時再調入。

二級頁表的頁表項：

過程：

在採用兩級頁表結構的情況下，對於正在運行的進程，必須將其外層頁表調入內存，而對於內頁表則只需調入一頁或幾頁。為了表徵某頁的頁表是否已經調入內存，還應在外層頁表項中增設一個狀態位 S，其值若為 0，表示該頁表分頁不在內存中，否則說明其分頁已調入內存。進程運行時，地址變換機構根據邏輯地址中的 P1去查找外層頁表；若所找到的頁表項中的狀態位為 0，則產生一個中斷信號，請求 OS 將該頁表分頁調入內存。

多級頁表和二級頁表類似。多級頁表和二級頁表是為了節省物理內存空間。使得頁表可以在內存中離散存儲。（單級頁表為了隨機訪問必須連續存儲，如果虛擬內存空間很大，就需要很多頁表項，就需要很大的連續內存空間，但是多級頁表不需要。）

為什麼引入分段存儲管理？

引入效果：

它將用戶程序的地址空間分為若干個大小不同的的段，每個段可以定義一組完整的信息。

段號表示段名，每個段都從0開始編址，並且採用一段連續的地址空間。

在該地址結構中，允許一個作業最長有64K個段，每個段的最大長度為64KB。

在分段式存儲管理系統中，為每一個分段分配一個連續的分區。進程的各個段，可以離散地裝入內存中不同的分區中。

作用：實現從邏輯地址到物理內存區的映射。

為了保證程序能夠正常運行，就必須能夠從物理內存中找出每個邏輯段所對應的位置。為此在系統中會為每一個進程建立一張 段表 。每個段在表中有一個表項，其中記錄了該段在內存中的起始地址和段的長度。一般將段表保存在內存中。

在配置了段表之後，執行的過程可以通過查找段表，找到每一個段所對應的內存區。

為了實現進程從邏輯地址到物理地址的變換功能，在系統設置了段表寄存器，用於存放段表的起始地址和段表長度TL。

在進行地址變換時，系統將邏輯地址中的段號與段表長度TL 進行比較。若 S > TL，表示段號太大，是訪問越界，於是產生越界中斷信號。若未越界，則根據段表的始址和該段的段號，計算出該段對應段表項的位置，從中讀出該段在內存的起始地址。然後，再檢查段內地址 d 是否超過該段的段長 SL。若超過，即 d>SL，同樣發出越界中斷信號。若未越界，則將該段的基址 d 與段內地址相加，即可得到要訪問的內存。

分頁和分段系統相似之處：兩者都採用離散分配方式，且都是通過地址映射機構實現地址變換。

但在概念上兩者完全不同，主要表現在下述三個方面：

分頁系統以頁面作為內存分配的基本單位，能有效地提高內存利用率，而分段系統以段作為內存分配的基本單位，它能夠更好地滿足用戶多方面的需要。

段頁式地址結構由段號、段內頁號及頁內地址三部分所組成

段頁式系統的基本原理是分段和分頁原理的結合，即先將用戶程序分成若干個段，再把每個段分成若干個頁，並為每一個段賦予一個段名。如下圖展示了一個作業地址空間的結構。該作業有三個段：主程序段、子程序段和數據段；頁面大小為 4 KB：

在段頁式系統中，為了實現從邏輯地址到物理地址的變換，系統中需要同時配置段表和頁表。段表的內容與分段系統略有不同，它不再是內存始址和段長，而是頁表始址和頁表長度。下圖展示出了利用段表和頁表進行從用戶地址空間到物理(內存)空間的映射。

在段頁式系統中，為了便於實現地址變換，須配置一個段表寄存器，其中存放段表始址和段長 TL。進行地址變換時，首先利用段號 S，將它與段長 TL 進行比較。若 S < TL，表示未越界，於是利用段表始址和段號來求出該段所對應的段表項在段表中的位置，從中得到該段的頁表始址，並利用邏輯地址中的段內頁號 P 來獲得對應頁的頁表項位置，從中讀出該貝所在的物理塊號 b，再利用塊號 b 和頁內地址來構成物理地址。

在段頁式系統中，為了獲得一條指令或數據，須三次訪問內存。第一次訪問是訪問內存中的段表，從中取得頁表始址；第二次訪問是訪問內存中的頁表，從中取出該頁所在的物理塊號，並將該塊號與頁內地址一起形成指令或數據的物理地址；第三次訪問才是真正從第二次訪問所得的地址中取出指令或數據。

顯然，這使訪問內存的次數增加了近兩倍。為了提高執行速度，在地址變換機構中增設一個高速緩沖寄存器。每次訪問它時，都須同時利用段號和頁號去檢索高速緩存，若找到匹配的表項，便可從中得到相應頁的物理塊號，用來與頁內地址一起形成物理地址：若未找到匹配表項，則仍需第三次訪問內存。

參考鏈接：