linux進程的地址空間

Ⅰ linux進程地址空間劃分

Linux 64位系統在理論上擁有16位十六進製表示的巨大內存地址空間，即從0x0000000000000000到0xFFFFFFFFFFFFFFFF。然而，Linux僅實際使用了其中的256T空間，其餘部分未被使用。

在Linux 64位操作中，實際使用的是低47位地址，高17位用於擴展，只能取全0或全1值。這樣，可用的地址空間被分為兩部分：用戶空間（0x0000000000000000至0x00007FFFFFFFFFFF）和內核空間（0xFFFF800000000000至0xFFFFFFFFFFFFFFFF），剩餘部分未被利用。

用戶空間主要包含以下部分：代碼段、數據段、BSS段、堆和棧。

代碼段用於存放程序執行代碼，即CPU執行的機器指令。

數據段存放已初始化且初值不為0的全局變數和靜態局部變數，屬於靜態內存分配，可讀可寫。

BSS段包括未初始化全局變數和靜態局部變數的空間。

堆（heap）是動態分配內存的區域，當進程讀取文件時，若文件未在內存中，會通過缺頁中斷獲取物理內存，通過磁碟調頁將文件數據讀入內存，實現文件的讀取。

文件在兩個進程間共享時，即使它們映射到同一文件，虛擬地址空間也可能不同。若進程A先讀取文件，則會獲取物理內存，通過磁碟調頁將文件數據讀入內存。進程B在訪問文件時，若文件數據不在內存中，則會查找緩存區，如果緩存中有文件數據，則建立映射關系，實現進程間通信。

棧（stack）用於存儲函數調用時的局部變數。

以數組s和指針p3為例，數組s的內容是在運行時賦值，而指針p3指向的常量區字元串內容在編譯時已賦值。

使用malloc函數分配內存時，虛擬內存的分配情況如下：

當malloc分配的內存小於128k時，使用brk分配內存，將_edata向高地址移動，只分配虛擬空間，不對應物理內存。第一次讀/寫數據時，會觸發內核缺頁中斷，內核分配物理內存，建立虛擬地址空間映射關系。若分配的內存不被訪問，對應的物理內存不會被分配。

brk分配的內存需要等待高地址內存釋放後才能釋放，可能導致內存碎片。

當malloc分配的內存大於128k時，使用mmap分配內存，在堆和棧之間尋找空閑內存分配，對應獨立內存且初始化為0。mmap分配的內存可以直接通過free釋放。

當最高地址空間的空閑內存超過128k時，Linux執行內存緊縮操作，釋放部分內存。

當進程訪問未建立映射關系的虛擬內存時，邏輯地址轉換為物理地址，發現當前頁不在內存中，處理器自動觸發缺頁異常。

Ⅱ Linux關於地址空間和MMAP映射有何特點

Linux採用
虛擬
內存技術，系統中的所有進程之間以虛擬方式共享內存。對每個進程來說，它們好像都可以訪問整個系統的所有物理內存。更重要的是，即使單獨一個進程，它擁有的地址空間也可以遠遠大於系統物理內存。
進程地址空間由每個進程中的線性地址區組成，每個進程都有一個32位或64位的平坦（flat）空間，空間的具體大小取決於體系結構。「平坦」指地址空間范圍是一個獨立的連續區間。通常情況下，每個進程都有唯一的這種平坦空間，而且每個進程的地址空間之間彼此互不相干。兩個不同的進程可以在它們各自地址空間的相同地址內存存放不同的數據。但是進程之間也可以選擇共享地址空間，我們稱這樣的進程為線程。
在地址空間中，我們更為關心的是進程有權訪問的虛擬內存地址區間，比如08048000~0804c000。這些可被訪問的合法地址區間被成為內存區域（memory area），通過內核，進程可以給自己的地址空間動態地添加或減少內存區域。
進程只能訪問有效范圍內的內存地址。每個內存區域也具有相應進程必須遵循的特定訪問屬性，如只讀、只寫、可執行等屬性。如果一個進程訪問了不在有效范圍中的地址，或以不正確的方式訪問有效地址，那麼內核就會終止該進程，並返回「段錯誤」信息。
?
內存區域可以包含各種內存對象，如下：
?
可執行文件代碼的內存映射，成為代碼段（text section）。
?
可執行文件的已初始化全局變數的內存映射，成為數據段（data section）。
?
包含未初始化全局變數的零頁（也就是bss段）的內存映射。零頁是指頁面中的數據全部為0。
?
用於進程用戶空間棧的零頁的內存映射。
?
每一個諸如C庫或動態鏈接程序等共享庫的代碼段、數據段和bss也會被載入進程的地址空間。
?
任何內存映射文件。
?
任何共享內存段。
?
任何匿名的內存映射，比如由malloc（）分配的內存。
進程地址空間的任何有效地址都只能位於唯一的區域，這些內存區域不能相互覆蓋。可以看到，在執行的進程中，每個不同的內存片斷都對應一個獨立的內存區域：棧、對象代碼、全局變數、被映射的文件等等。
內核使用內存描述符表示進程的地址空間。內存描述符由mm_struct結構體表示，定義在文件中，該結構包含了和進程地址空間有關的全部信息。
VMA
內存區域由vm_area_struct結構體描述，定義在文件中，內存區域在內核中也經常被稱作虛擬內存區域或者VMA。
VMA標志是一種位標志，它定義在vm_area_struct結構中（該結構中的vm_flags子域）。和物理頁的訪問許可權不同，VMA標志反映了內核處理頁面索需要遵守的行為准則，而不是硬體要求。VM_IO標志內存區域中包含對設備I/O空間的映射。該標志通常在設備驅動程序執行 mmap()函數進行I/O空間映射時才被設置，同時該標志也表示該內存區域不能被包含在任何進程的存放轉存（core mp）中。VM_RESERVED標志內存區域不能被換出，它也是在設備驅動程序進行映射時被設置。
vm_area_struct結構體中的vm_ops域指向與指定內存區域相關的操作函數表，內核使用表中的方法操作VMA。
mmap()和do_mmap()：創建地址區間
內核使用do_mmap()函數創建一個新的線性地址區間。但是說給函數創建一個新VMA並不非常准確，因為如果創建的地址區間和一個已經存在的地址區間相鄰，並且它們具有相同的訪問許可權的話，那麼兩個區間將合並為一個。如果不能合並，那麼就確實需要創建一個新的VMA了。但無論哪種情況，do_mmap()函數都會將一個地址區間加入到進程的地址空間中——無論是擴展已經存在的內存區域還是創建一個新的區域。
do_mmap()函數聲明在文件中，原型如下：
unsigned long do_mmap(struct file *file, unsigned long addr,
unsigned long len, unsigned long prot,
unsigned long flag, unsigned long offset)
在用戶空間可以通過mmap()函數調用獲取內核函數do_mmap()的功能。mmap()系統調用原型如下：
void *mmap2(void *start, size_t length,
int prot, int flags,
int fd, off_t pgoff)
do_munmap()函數從特定的進程地址空間中刪除指定地址區間，該函數在文件中聲明：
int do_munmap(struct mm_struct *mm, unsigned long start, size_t len)
系統調用munmap()給用戶空間程序提供了一種從自身地址空間中刪除指定地址區間的方法，它和系統調用mmap()的作用相反：
int munmap(void *start, size_t length)
mmap設備操作
對於驅動程序來說，內存映射可以提供給用戶程序直接訪問設備內存的能力。映射一個設備，意味著使用戶空間的一段地址關聯到設備內存上。無論何時，只要程序在分配的地址范圍內進行讀取或者寫入，實際上就是對設備的訪問。
並不是所有的設備都能進行mmap抽象。例如，串口設備和其他面向流的設備就無法實現這種抽象。mmap的另一個限制是映射都是以 PAGE_SIZE為單位的。內核只能在頁表一級處理虛擬地址；因此，被映射的區域必須是PAGE_SIZE的整數倍，而且必須位於起始於 PAGE_SIZE整數倍地址的物理內存內。如果區域的大小不是頁大小的整數倍，內核就通過生成一個稍微大一些的區域來容納它。
mmap方法是file_operations結構中的一員，並且在執行mmap系統調用時就會調用該方法。在調用實際方法之前，內核會完成很多工作，而且該方法的原型與系統調用的原型由很大區別。關於Linux命令的介紹，看看《linux就該這么學》，具體關於這一章地址3w(dot)linuxprobe/chapter-02(dot)html
文件操作聲明如下：
int (*mmap) (struct file * filp, struct vm_area_struct *vma);
其中vma參數包含了用於訪問設備的虛擬地址區間的信息。大部分工作已經由內核完成了，要實現mmap，驅動程序只要為這一地址范圍構造合適的頁表即可，如果需要的話，就用一個新的操作集替換vma->vm_ops。
有兩種建立頁表的方法：使用remap_page_range函數可一次建立所有的頁表，或者通過nopage VMA方法每次建立一個頁表。
構造用於映射一段物理地址的新頁表的工作是由remap_page_range完

Ⅲ 如何查看Linux內存中的程序所有堆的地址

linux 下面查看內存有多種渠道，比如通過命令 ps ,top,free 等，比如通過/proc系統，一般需要比較詳細和精確地知道整機內存/某個進程內存的使用情況，最好通過/proc 系統，下面介紹/proc系統下內存相關的幾個文件

單個進程的內存查看 cat /proc/[pid] 下面有幾個文件： maps , smaps, status

maps 文件可以查看某個進程的代碼段、棧區、堆區、動態庫、內核區對應的虛擬地址，如果你還不了解linux進程的內存空間，可以參考這里。

下圖是maps文件內存示例

Develop>cat /proc/self/maps
00400000-0040b000 r-xp 00000000 fd:00 48 /mnt/cf/orig/root/bin/cat
0060a000-0060b000 r--p 0000a000 fd:00 48 /mnt/cf/orig/root/bin/cat
0060b000-0060c000 rw-p 0000b000 fd:00 48 /mnt/cf/orig/root/bin/cat 代碼段
0060c000-0062d000 rw-p 00000000 00:00 0 [heap] 堆區
7f1fff43b000-7f1fff5d4000 r-xp 00000000 fd:00 861 /mnt/cf/orig/root/lib64/libc-2.15.so
7f1fff5d4000-7f1fff7d3000 ---p 00199000 fd:00 861 /mnt/cf/orig/root/lib64/libc-2.15.so
7f1fff7d3000-7f1fff7d7000 r--p 00198000 fd:00 861 /mnt/cf/orig/root/lib64/libc-2.15.so
7f1fff7d7000-7f1fff7d9000 rw-p 0019c000 fd:00 861 /mnt/cf/orig/root/lib64/libc-2.15.so
7f1fff7d9000-7f1fff7dd000 rw-p 00000000 00:00 0
7f1fff7dd000-7f1fff7fe000 r-xp 00000000 fd:00 2554 /mnt/cf/orig/root/lib64/ld-2.15.so
7f1fff9f9000-7f1fff9fd000 rw-p 00000000 00:00 0
7f1fff9fd000-7f1fff9fe000 r--p 00020000 fd:00 2554 /mnt/cf/orig/root/lib64/ld-2.15.so
7f1fff9fe000-7f1fff9ff000 rw-p 00021000 fd:00 2554 /mnt/cf/orig/root/lib64/ld-2.15.so
7f1fff9ff000-7f1fffa00000 rw-p 00000000 00:00 0
7fff443de000-7fff443ff000 rw-p 00000000 00:00 0 [stack] 用戶態棧區
7fff443ff000-7fff44400000 r-xp 00000000 00:00 0 [vdso]
ffffffffff600000-ffffffffff601000 r-xp 00000000 00:00 0 [vsyscall] 內核區

有時候可以通過不斷查看某個進程的maps文件，通過查看其虛擬內存（堆區）是否不停增長來簡單判斷進程是否發生了內存溢出。

maps文件只能顯示簡單的分區，smap文件可以顯示每個分區的更詳細的內存佔用數據

下圖是smaps文件內存示例, 實際顯示內容會將每一個區都顯示出來，下面我只拷貝了代碼段和堆區，

每一個區顯示的內容項目是一樣的，smaps文件各項含義可以參考這里

Develop>cat /proc/self/smaps
00400000-0040b000 r-xp 00000000 fd:00 48 /mnt/cf/orig/root/bin/cat
Size: 44 kB 虛擬內存大小
Rss: 28 kB 實際使用物理內存大小
Pss: 28 kB
Shared_Clean: 0 kB 頁面被改，則是dirty,否則是clean,頁面引用計數>1,是shared,否則是private
Shared_Dirty: 0 kB
Private_Clean: 28 kB
Private_Dirty: 0 kB
Referenced: 28 kB
Anonymous: 0 kB
AnonHugePages: 0 kB
Swap: 0 kB 處於交換區的頁面大小
KernelPageSize: 4 kB 操作系統一個頁面大小
MMUPageSize: 4 kB 體系結構MMU一個頁面大小
Locked: 0 kB

0060c000-0062d000 rw-p 00000000 00:00 0 [heap]
Size: 132 kB
Rss: 8 kB
Pss: 8 kB
Shared_Clean: 0 kB
Shared_Dirty: 0 kB
Private_Clean: 0 kB
Private_Dirty: 8 kB
Referenced: 8 kB
Anonymous: 8 kB
AnonHugePages: 0 kB
Swap: 0 kB
KernelPageSize: 4 kB
MMUPageSize: 4 kB
Locked: 0 kB

下圖是status文件內存示例, 加粗部分是內存相關的統計，

Develop>cat /proc/24475/status
Name: netio 可執行程序的名字
State: R (running) 任務狀態，運行/睡眠/僵死
Tgid: 24475 線程組號
Pid: 24475 進程id
PPid: 19635 父進程id
TracerPid: 0
Uid: 0 0 0 0
Gid: 0 0 0 0
FDSize: 256 該進程最大文件描述符個數
Groups: 0
VmPeak: 6330708 kB 內存使用峰值
VmSize: 268876 kB 進程虛擬地址空間大小
VmLck: 0 kB 進程鎖住的物理內存大小，鎖住的物理內存無法交換到硬碟

VmHWM: 16656 kB
VmRSS: 11420 kB 進程正在使用的物理內存大小
VmData: 230844 kB 進程數據段大小
VmStk: 136 kB 進程用戶態棧大小
VmExe: 760 kB 進程代碼段大小
VmLib: 7772 kB 進程使用的庫映射到虛擬內存空間的大小
VmPTE: 120 kB 進程頁表大小
VmSwap: 0 kB
Threads: 5
SigQ: 0/63346
SigPnd: 0000000000000000
ShdPnd: 0000000000000000
SigBlk: 0000000000000000
SigIgn: 0000000001000000
SigCgt: 0000000180000000
CapInh: 0000000000000000
CapPrm: ffffffffffffffff
CapEff: ffffffffffffffff
CapBnd: ffffffffffffffff
Cpus_allowed: 01
Cpus_allowed_list: 0
Mems_allowed: 01
Mems_allowed_list: 0
voluntary_ctxt_switches: 201
nonvoluntary_ctxt_switches: 909

可以看到，linux下內存佔用是一個比較復雜的概念，不能

簡單通過一個單一指標就判斷某個程序「內存消耗」大小，原因有下面2點：

進程所申請的內存不一定真正會被用到（malloc或mmap的實現）
真正用到了的內存也不一定是只有該進程自己在用 (比如動態共享庫)

關於內存的使用分析及本文幾個命令的說明也可以參考這里

下面是查看整機內存使用情況的文件 /proc/meminfo

Develop>cat /proc/meminfo
MemTotal: 8112280 kB 所有可用RAM大小 （即物理內存減去一些預留位和內核的二進制代碼大小）
MemFree: 4188636 kB LowFree與HighFree的總和，被系統留著未使用的內存
Buffers: 34728 kB 用來給文件做緩沖大小
Cached: 289740 kB 被高速緩沖存儲器（cache memory）用的內存的大小
（等於 diskcache minus SwapCache ）
SwapCached: 0 kB 被高速緩沖存儲器（cache memory）用的交換空間的大小
已經被交換出來的內存，但仍然被存放在swapfile中。
用來在需要的時候很快的被替換而不需要再次打開I/O埠
Active: 435240 kB 在活躍使用中的緩沖或高速緩沖存儲器頁面文件的大小，
除非非常必要否則不會被移作他用
Inactive: 231512 kB 在不經常使用中的緩沖或高速緩沖存儲器頁面文件的大小，可能被用於其他途徑.
Active(anon): 361252 kB
Inactive(anon): 120688 kB
Active(file): 73988 kB
Inactive(file): 110824 kB
Unevictable: 0 kB
Mlocked: 0 kB
SwapTotal: 0 kB 交換空間的總大小
SwapFree: 0 kB 未被使用交換空間的大小
Dirty: 0 kB 等待被寫回到磁碟的內存大小
Writeback: 0 kB 正在被寫回到磁碟的內存大小
AnonPages: 348408 kB 未映射頁的內存大小
Mapped: 33600 kB 已經被設備和文件等映射的大小
Shmem: 133536 kB
Slab: 55984 kB 內核數據結構緩存的大小，可以減少申請和釋放內存帶來的消耗
SReclaimable: 25028 kB 可收回Slab的大小
SUnreclaim: 30956 kB 不可收回Slab的大小（SUnreclaim+SReclaimable＝Slab）
KernelStack: 1896 kB 內核棧區大小
PageTables: 8156 kB 管理內存分頁頁面的索引表的大小
NFS_Unstable: 0 kB 不穩定頁表的大小
Bounce: 0 kB
WritebackTmp: 0 kB
CommitLimit: 2483276 kB
Committed_AS: 1804104 kB
VmallocTotal: 34359738367 kB 可以vmalloc虛擬內存大小
VmallocUsed: 565680 kB 已經被使用的虛擬內存大小
VmallocChunk: 34359162876 kB
HardwareCorrupted: 0 kB
HugePages_Total: 1536 大頁面數目
HugePages_Free: 0 空閑大頁面數目
HugePages_Rsvd: 0
HugePages_Surp: 0
Hugepagesize: 2048 kB 大頁面一頁大小
DirectMap4k: 10240 kB
DirectMap2M: 8302592 kB