閱碼場用戶程磊對《Linux內核深度解析》推薦如下：

1.語言淺顯易懂，內容深入淺出。

2.邏輯清晰，條理分明，逐步深入，層層遞進。

3.基于較新的4.12內核版本，很多經典內核書籍雖然寫的都非常好，但是都是基于2.6內核，很多在2.6之后引入的新技術并沒有講到，而本書對這些新技術都有非常詳細的講解。

3.1 內存管理概述

內存管理子系統的架構如圖 3.1 所示，分為用戶空間、內核空間和硬件 3 個層面。

圖3.1 內存管理架構

3.1.1．用戶空間

應用程序使用 malloc()申請內存，使用 free()釋放內存。

malloc()和 free()是 glibc 庫的內存分配器 ptmalloc 提供的接口，ptmalloc 使用系統調用brk 或 mmap 向內核以頁為單位申請內存，然后劃分成小內存塊分配給應用程序。

用戶空間的內存分配器，除了 glibc 庫的 ptmalloc，還有谷歌公司的 tcmalloc 和 FreeBSD的 jemalloc。

3.1.2．內核空間

（1）內核空間的基本功能。

虛擬內存管理負責從進程的虛擬地址空間分配虛擬頁，sys_brk 用來擴大或收縮堆，sys_mmap 用來在內存映射區域分配虛擬頁，sys_munmap 用來釋放虛擬頁。

內核使用延遲分配物理內存的策略，進程第一次訪問虛擬頁的時候，觸發頁錯誤異常，頁錯誤異常處理程序從頁分配器申請物理頁，在進程的頁表中把虛擬頁映射到物理頁。

頁分配器負責分配物理頁，當前使用的頁分配器是伙伴分配器。

內核空間提供了把頁劃分成小內存塊分配的塊分配器，提供分配內存的接口 kmalloc()和釋放內存的接口 kfree()，支持 3 種塊分配器：SLAB 分配器、SLUB 分配器和 SLOB分配器。

在內核初始化的過程中，頁分配器還沒準備好，需要使用臨時的引導內存分配器分配內存。

（2）內核空間的擴展功能。

不連續頁分配器提供了分配內存的接口 vmalloc 和釋放內存的接口 vfree，在內存碎片化的時候，申請連續物理頁的成功率很低，可以申請不連續的物理頁，映射到連續的虛擬頁，即虛擬地址連續而物理地址不連續。

每處理器內存分配器用來為每處理器變量分配內存。

連續內存分配器（Contiguous Memory Allocator，CMA）用來給驅動程序預留一段連續的內存，當驅動程序不用的時候，可以給進程使用；當驅動程序需要使用的時候，把進程占用的內存通過回收或遷移的方式讓出來，給驅動程序使用。

內存控制組用來控制進程占用的內存資源。

當內存碎片化的時候，找不到連續的物理頁，內存碎片整理（“memory compaction”的意譯，直譯為“內存緊縮”）通過遷移的方式得到連續的物理頁。

在內存不足的時候，頁回收負責回收物理頁，對于沒有后備存儲設備支持的匿名頁，把數據換出到交換區，然后釋放物理頁；對于有后備存儲設備支持的文件頁，把數據寫回存儲設備，然后釋放物理頁。如果頁回收失敗，使用最后一招：內存耗盡殺手（OOM killer，Out-of-Memory killer），選擇進程殺掉。

3.1.3．硬件層面

處理器包含一個稱為內存管理單元（Memory Management Unit，MMU）的部件，負責把虛擬地址轉換成物理地址。

內存管理單元包含一個稱為頁表緩存（Translation Lookaside Buffer，TLB）的部件，保存最近使用過的頁表映射，避免每次把虛擬地址轉換成物理地址都需要查詢內存中的頁表。

為了解決處理器的執行速度和內存的訪問速度不匹配的問題，在處理器和內存之間增加了緩存。緩存通常分為一級緩存和二級緩存，為了支持并行地取指令和取數據，一級緩存分為數據緩存和指令緩存。

3.2 虛擬地址空間布局

3.2.1 虛擬地址空間劃分

因為目前應用程序沒有那么大的內存需求，所以 ARM64 處理器不支持完全的 64 位虛擬地址，實際支持情況如下。

圖3.2 ARM64內核/用戶虛擬地址空間劃分

（1）虛擬地址的最大寬度是 48 位，如圖 3.2 所示。內核虛擬地址在 64 位地址空間的頂部，高 16 位是全 1，范圍是[0xFFFF 0000 00000000，0xFFFF FFFF FFFF FFFF]；用戶虛擬地址在 64 位地址空間的底部，高 16 位是全 0，范圍是[0x0000 0000 0000 0000，0x0000 FFFF FFFF FFFF]；高 16 位是全 1 或全 0 的地址稱為規范的地址，兩者之間是不規范的地址，不允許使用。

（2）如果處理器實現了 ARMv8.2 標準的大虛擬地址（Large Virtual Address，LVA）支持，并且頁長度是 64KB，那么虛擬地址的最大寬度是 52 位。

（3）可以為虛擬地址配置比最大寬度小的寬度，并且可以為內核虛擬地址和用戶虛擬地址配置不同的寬度。轉換控制寄存器（Translation Control Register）TCR_EL1 的字段 T0SZ 定義了必須是全 0 的最高位的數量，字段 T1SZ 定義了必須是全 1 的最高位的數量，用戶虛擬地址的寬度是（64-TCR_EL1.T0SZ），內核虛擬地址的寬度是（64-TCR_EL1.T1SZ）。

在編譯 ARM64 架構的 Linux 內核時，可以選擇虛擬地址寬度。

（1）如果選擇頁長度 4KB，默認的虛擬地址寬度是 39 位。

（2）如果選擇頁長度 16KB，默認的虛擬地址寬度是 47 位。

（3）如果選擇頁長度 64KB，默認的虛擬地址寬度是 42 位。

（4）可以選擇 48 位虛擬地址。

在 ARM64 架構的 Linux 內核中，內核虛擬地址和用戶虛擬地址的寬度相同。

所有進程共享內核虛擬地址空間，每個進程有獨立的用戶虛擬地址空間，同一個線程組的用戶線程共享用戶虛擬地址空間，內核線程沒有用戶虛擬地址空間。

3.2.2 用戶虛擬地址空間布局

進程的用戶虛擬地址空間的起始地址是 0，長度是 TASK_SIZE，由每種處理器架構定義自己的宏 TASK_SIZE。ARM64 架構定義的宏 TASK_SIZE 如下所示。

（1）32 位用戶空間程序：TASK_SIZE 的值是TASK_SIZE_32，即0x100000000，等于4GB。

（2）64 位用戶空間程序：TASK_SIZE 的值是 TASK_SIZE_64，即 2VA_BITS字節，VA_BITS是編譯內核時選擇的虛擬地址位數。

arch/arm64/include/asm/memory.h #define VA_BITS (CONFIG_ARM64_VA_BITS) #define TASK_SIZE_64 (UL(1) << VA_BITS) #ifdef CONFIG_COMPAT /* 支持執行32位用戶空間程序 */ #define TASK_SIZE_32 UL(0x100000000) /* test_thread_flag(TIF_32BIT)判斷用戶空間程序是不是32位 */ #define TASK_SIZE (test_thread_flag(TIF_32BIT) ?   TASK_SIZE_32 : TASK_SIZE_64) #define TASK_SIZE_OF(tsk) (test_tsk_thread_flag(tsk, TIF_32BIT) ?   TASK_SIZE_32 : TASK_SIZE_64) #else #define TASK_SIZE TASK_SIZE_64 #endif /* CONFIG_COMPAT */

進程的用戶虛擬地址空間包含以下區域。

（1）代碼段、數據段和未初始化數據段。

（2）動態庫的代碼段、數據段和未初始化數據段。

（3）存放動態生成的數據的堆。

（4）存放局部變量和實現函數調用的棧。

（5）存放在棧底部的環境變量和參數字符串。

（6）把文件區間映射到虛擬地址空間的內存映射區域。

內核使用內存描述符 mm_struct 描述進程的用戶虛擬地址空間，內存描述符的主要成員如表 3.1 所示。

進程描述符（task_struct）中和內存描述符相關的成員如表 3.2 所示。

如果進程不屬于線程組，那么進程描述符和內存描述符的關系如圖 3.3 所示，進程描述符的成員 mm 和 active_mm 都指向同一個內存描述符，內存描述符的成員 mm_users 是 1、成員 mm_count 是 1。

如果兩個進程屬于同一個線程組，那么進程描述符和內存描述符的關系如圖 3.4 所示，每個進程的進程描述符的成員 mm 和 active_mm 都指向同一個內存描述符，內存描述符的成員 mm_users 是 2、成員 mm_count 是 1。

內核線程的進程描述符和內存描述符的關系如圖 3.5 所示，內核線程沒有用戶虛擬地址空間，當內核線程沒有運行的時候，進程描述符的成員 mm 和 active_mm 都是空指針；當內核線程運行的時候，借用上一個進程的內存描述符，在被借用進程的用戶虛擬地址空間的上方運行，進程描述符的成員 active_mm 指向借用的內存描述符，假設被借用的內存描述符所屬的進程不屬于線程組，那么內存描述符的成員 mm_users 不變，仍然是 1，成員mm_count 加 1 變成 2。

為了使緩沖區溢出攻擊更加困難，內核支持為內存映射區域、棧和堆選擇隨機的起始地址。進程是否使用虛擬地址空間隨機化的功能，由以下兩個因素共同決定。

（1）進程描述符的成員 personality（個性化）是否設置 ADDR_NO_RANDOMIZE。

（2）全局變量 randomize_va_space：0 表示關閉虛擬地址空間隨機化，1 表示使內存映射區域和棧的起始地址隨機化，2 表示使內存映射區域、棧和堆的起始地址隨機化。可以通過文件“/proc/sys/kernel/randomize_va_space”修改。

mm/memory.c int randomize_va_space __read_mostly = #ifdef CONFIG_COMPAT_BRK  1; #else  2; #endif

為了使舊的應用程序（基于 libc5）正常運行，默認打開配置宏 CONFIG_COMPAT_BRK，禁止堆隨機化。所以默認配置是使內存映射區域和棧的起始地址隨機化。

棧通常自頂向下增長，當前只有惠普公司的 PA-RISC 處理器的棧是自底向上增長。棧的起始地址是 STACK_TOP，默認啟用棧隨機化，需要把起始地址減去一個隨機值。STACK_TOP是每種處理器架構自定義的宏，ARM64 架構定義的 STACK_TOP 如下所示：如果是 64 位用戶空間程序，STACK_TOP 的值是 TASK_SIZE_64；如果是 32 位用戶空間程序，STACK_TOP的值是異常向量的基準地址 0xFFFF0000。

arch/arm64/include/asm/processor.h #define STACK_TOP_MAX TASK_SIZE_64 #ifdef CONFIG_COMPAT /* 支持執行32位用戶空間程序 */ #define AARCH32_VECTORS_BASE 0xffff0000 #define STACK_TOP (test_thread_flag(TIF_32BIT) ?   AARCH32_VECTORS_BASE : STACK_TOP_MAX) #else #define STACK_TOP STACK_TOP_MAX #endif /* CONFIG_COMPAT */

內存映射區域的起始地址是內存描述符的成員 mmap_base。如圖 3.6 所示，用戶虛擬

地址空間有兩種布局，區別是內存映射區域的起始位置和增長方向不同。

（1）傳統布局：內存映射區域自底向上增長，起始地址是 TASK_UNMAPPED_BASE，每種處理器架構都要定義這個宏，ARM64 架構定義為 TASK_SIZE/4。默認啟用內存映射區域隨機化，需要把起始地址加上一個隨機值。傳統布局的缺點是堆的最大長度受到限制，在 32 位系統中影響比較大，但是在 64 位系統中這不是問題。

（2）新布局：內存映射區域自頂向下增長，起始地址是（STACK_TOP ? 棧的最大長度? 間隙）。默認啟用內存映射區域隨機化，需要把起始地址減去一個隨機值。當進程調用 execve 以裝載 ELF 文件的時候，函數 load_elf_binary 將會創建進程的用戶虛擬地址空間。函數 load_elf_binary 創建用戶虛擬地址空間的過程如圖 3.7 所示。

如果沒有給進程描述符的成員 personality 設置標志位ADDR_NO_RANDOMIZE（該標志位表示禁止虛擬地址空間隨機化），并且全局變量 randomize_va_space 是非零值，那么給進程設置標志 PF_RANDOMIZE，允許虛擬地址空間隨機化。

各種處理器架構自定義的函數 arch_pick_mmap_layout 負責選擇內存映射區域的布局。ARM64 架構定義的函數 arch_pick_mmap_layout 如下：

arch/arm64/mm/mmap.c1 void arch_pick_mmap_layout(struct mm_struct *mm) 2 { 3 unsigned long random_factor = 0UL; 4 5 if (current->flags & PF_RANDOMIZE) 6 random_factor = arch_mmap_rnd(); 7 8if(mmap_is_legacy()){9 mm->mmap_base = TASK_UNMAPPED_BASE + random_factor; 10 mm->get_unmapped_area = arch_get_unmapped_area; 11 } else { 12 mm->mmap_base = mmap_base(random_factor); 13 mm->get_unmapped_area = arch_get_unmapped_area_topdown; 14 } 15 } 16 17 static int mmap_is_legacy(void) 18 { 19 if (current->personality & ADDR_COMPAT_LAYOUT) 20 return 1; 21 22 if (rlimit(RLIMIT_STACK) == RLIM_INFINITY) 23 return 1; 24 25 return sysctl_legacy_va_layout; 26 }

第 8～10 行代碼，如果給進程描述符的成員 personality 設置標志位 ADDR_COMPAT_LAYOUT 表示使用傳統的虛擬地址空間布局，或者用戶棧可以無限增長，或者通過文件“/proc/sys/vm/legacy_va_layout”指定，那么使用傳統的自底向上增長的布局，內存映射區域的起始地址是 TASK_UNMAPPED_BASE 加上隨機值，分配未映射區域的函數是arch_get_unmapped_area。

第 11～13 行代碼，如果使用自頂向下增長的布局，那么分配未映射區域的函數是 arch_get_unmapped_area_topdown，內存映射區域的起始地址的計算方法如下：

arch/arm64/include/asm/elf.h #ifdef CONFIG_COMPAT #define STACK_RND_MASK (test_thread_flag(TIF_32BIT) ?   0x7ff >> (PAGE_SHIFT - 12) :   0x3ffff >> (PAGE_SHIFT - 12)) #else #define STACK_RND_MASK (0x3ffff >> (PAGE_SHIFT - 12)) #endif arch/arm64/mm/mmap.c #define MIN_GAP (SZ_128M + ((STACK_RND_MASK << PAGE_SHIFT) + 1)) #define MAX_GAP (STACK_TOP/6*5) static unsigned long mmap_base(unsigned long rnd) {  unsigned long gap = rlimit(RLIMIT_STACK);  if (gap < MIN_GAP)  gap = MIN_GAP;  else if (gap > MAX_GAP)  gap = MAX_GAP;  return PAGE_ALIGN(STACK_TOP - gap - rnd); }

先計算內存映射區域的起始地址和棧頂的間隙：初始值取用戶棧的最大長度，限定不能小于“128MB + 棧的最大隨機偏移值 + 1”，確保用戶棧最大可以達到 128MB；限定不能超過 STACK_TOP 的 5/6。內存映射區域的起始地址等于“STACK_TOP?間隙?隨機值”，然后向下對齊到頁長度。

回到函數load_elf_binary：函數 setup_arg_pages 把棧頂設置為 STACK_TOP 減去隨機120 3.2 虛擬地址空間布局值，然后把環境變量和參數從臨時棧移到最終的用戶棧；函數 set_brk 設置堆的起始地址，如果啟用堆隨機化，把堆的起始地址加上隨機值。

fs/binfmt_elf.c static int load_elf_binary(struct linux_binprm *bprm) {  …  retval = setup_arg_pages(bprm, randomize_stack_top(STACK_TOP),  executable_stack);  …  retval = set_brk(elf_bss, elf_brk, bss_prot);  …  if ((current->flags & PF_RANDOMIZE) && (randomize_va_space > 1)) {  current->mm->brk = current->mm->start_brk = arch_randomize_brk(current->mm);  }  … }

3.2.3 內核地址空間布局

ARM64 處理器架構的內核地址空間布局如圖 3.8 所示。

（1）線性映射區域的范圍是[PAGE_OFFSET,]，起始位置是 PAGE_OFFSET =(0xFFFF FFFF FFFF FFFF << (VA_BITS-1))，長度是內核虛擬地址空間的一半。稱為線性映射區域的原因是虛擬地址和物理地址是線性關系：

虛擬地址 =（（物理地址 ? PHYS_OFFSET）+ PAGE_OFFSET），其中 PHYS_OFFSET是內存的起始物理地址。

（2）vmemmap 區域的范圍是 [VMEMMAP_START, PAGE_OFFSET)，長度是

VMEMMAP_SIZE =（線性映射區域的長度 / 頁長度 * page 結構體的長度上限）。

內核使用 page 結構體描述一個物理頁，內存的所有物理頁對應一個 page 結構體數組。如果內存的物理地址空間不連續，存在很多空洞，稱為稀疏內存。vmemmap 區域是稀疏內存的 page 結構體數組的虛擬地址空間。

（3）PCI I/O 區域的范圍是[PCI_IO_START, PCI_IO_END)，長度是 16MB，結束地址是PCI_IO_END = (VMEMMAP_START ? 2MB)。

外圍組件互聯（Peripheral Component Interconnect，PCI）是一種總線標準，PCI I/O 區域是 PCI 設備的 I/O 地址空間。

（4）固定映射區域的范圍是[FIXADDR_START, FIXADDR_TOP)，長度是FIXADDR_SIZE，結束地址是 FIXADDR_TOP = (PCI_IO_START ? 2MB)。

固定地址是編譯時的特殊虛擬地址，編譯的時候是一個常量，在內核初始化的時候映射到物理地址。

（5）vmalloc 區域的范圍是[VMALLOC_START, VMALLOC_END），起始地址是VMALLOC_START，等于內核模塊區域的結束地址，結束地址是 VMALLOC_END = (PAGE_OFFSET ?PUD_SIZE ? VMEMMAP_SIZE ? 64KB)，其中 PUD_SIZE 是頁上級目錄表項映射的地址空間的長度。

vmalloc 區域是函數 vmalloc 使用的虛擬地址空間，內核使用 vmalloc 分配虛擬地址連續但物理地址不連續的內存。內核鏡像在 vmalloc 區域，起始虛擬地址是(KIMAGE_VADDR + TEXT_OFFSET) ，其中 KIMAGE_VADDR 是內核鏡像的虛擬地址的基準值，等于內核模塊區域的結束地址MODULES_END；TEXT_OFFSET 是內存中的內核鏡像相對內存起始位置的偏移。

（6）內核模塊區域的范圍是[MODULES_VADDR, MODULES_END)，長度是 128MB，起始地址是 MODULES_VADDR =（內核虛擬地址空間的起始地址 + KASAN 影子區域的長度）。

內核模塊區域是內核模塊使用的虛擬地址空間。

（7）KASAN 影子區域的起始地址是內核虛擬地址空間的起始地址，長度是內核虛擬地址空間長度的 1/8。

內核地址消毒劑（Kernel Address SANitizer，KASAN）是一個動態的內存錯誤檢查工具。它為發現釋放后使用和越界訪問這兩類缺陷提供了快速和綜合的解決方案。

3.3 物理地址空間

物理地址是處理器在系統總線上看到的地址。使用精簡指令集（Reduced Instruction SetComputer，RISC）的處理器通常只實現一個物理地址空間，外圍設備和物理內存使用統一的物理地址空間。有些處理器架構把分配給外圍設備的物理地址區域稱為設備內存。

處理器通過外圍設備控制器的寄存器訪問外圍設備，寄存器分為控制寄存器、狀態寄存器和數據寄存器三大類，外圍設備的寄存器通常被連續地編址。處理器對外圍設備寄存器的編址方式有兩種。

（1）I/O 映射方式（I/O-mapped）：英特爾的 x86 處理器為外圍設備專門實現了一個單獨的地址空間，稱為“I/O 地址空間”或“I/O 端口空間”，處理器通過專門的 I/O 指令（如x86 的 in 和 out 指令）來訪問這一空間中的地址單元。

（2）內存映射方式（memory-mapped）：使用精簡指令集的處理器通常只實現一個物理地址空間，外圍設備和物理內存使用統一的物理地址空間，處理器可以像訪問一個內存單元那樣訪問外圍設備，不需要提供專門的 I/O 指令。

程序只能通過虛擬地址訪問外設寄存器，內核提供了以下函數來把外設寄存器的物理地址映射到虛擬地址空間。

（1）函數 ioremap()把外設寄存器的物理地址映射到內核虛擬地址空間。

void * ioremap(unsigned long phys_addr, unsigned long size, unsigned long flags);

（2）函數 io_remap_pfn_range()把外設寄存器的物理地址映射到進程的用戶虛擬地址空間。

int io_remap_pfn_range(struct vm_area_struct *vma, unsigned long addr,unsigned long pfn, unsigned long size, pgprot_t prot);

除了 SPARC 處理器以外，在其他處理器架構中函數 io_remap_pfn_range()和函數 remap_pfn_range()等價。函數 remap_pfn_range()用于把內存的物理頁映射到進程的用戶虛擬地址空間。

內核提供了函數 iounmap()，它用來刪除函數 ioremap()創建的映射。

void iounmap(void *addr);

ARM64 架構的實現

ARM64 架構定義了兩種內存類型。

（1）正常內存（Normal Memory）：包括物理內存和只讀存儲器（ROM）。

（2）設備內存（Device Memory）：指分配給外圍設備寄存器的物理地址區域。

對于正常內存，可以設置共享屬性和緩存屬性。共享屬性用來定義一個位置是否可以被多個核共享，分為不可共享、內部共享和外部共享。不可共享是指只被處理器的一個核使用，內部共享是指一個處理器的所有核共享或者多個處理器共享，外部共享是指處理器和其他觀察者（比如圖形處理單元或 DMA 控制器）共享。緩存屬性用來定義訪問時是否通過處理器的緩存。

設備內存的共享屬性總是外部共享，緩存屬性總是不可緩存（即必須繞過處理器的緩存）。

ARM64 架構根據 3 種屬性把設備內存分為 4 種類型。

（1）Device-nGnRnE，這種類型限制最嚴格。

（2）Device-nGnRE。

（3）Device-nGRE。

（4）Device-GRE，這種類型限制最少。

3 種屬性分別如下。

（1）聚集屬性：G 表示聚集（Gathering），nG 表示不聚集（non Gathering）。聚集屬性決定對內存區域的多個訪問是否可以被合并為一個總線事務。如果地址被標記為“不聚集”，那么必須按照程序里面的地址和長度訪問。如果地址被標記為“聚集”，處理器可以把兩個“寫一個字節”的訪問合并成一個“寫兩個字節”的訪問，可以把對相同內存位置的多個訪問合并，例如讀相同位置兩次，處理器只需要讀一次，為兩條指令返回相同的結果。

（2）重排序屬性：R 表示重排序（Re-ordering），nR 表示不重排序（non Re-ordering）。這個屬性決定對相同設備的多個訪問是否可以重新排序。如果地址被標記為“不重排序”，那么對同一個塊的訪問總是按照程序順序執行。

（3）早期寫確認屬性：E 表示早期寫確認（Early Write Acknowledgement），nE 表示不執行早期寫確認（non Early Write Acknowledgement）。

這個屬性決定是否允許處理器和從屬設備之間的中間寫緩沖區發送“寫完成”確認。如果地址被標記為“不執行早期寫確認”，那么必須由外圍設備發送“寫完成”確認。如果地址被標記為“早期寫確認”，那么允許寫緩沖區在外圍設備收到數據之前發送“寫完成”確認。

物理地址寬度

目前 ARM64 處理器支持的最大物理地址寬度是 48 位，如果實現了 ARMv8.2 標準的大物理地址（Large Physical Address，LPA）支持，并且頁長度是 64KB，那么物理地址的最大寬度是 52 位。

可以使用寄存器 TCR_EL1（Translation Control Register for Exception Level 1，異常級別 1 的轉換控制寄存器）的字段 IPS（Intermediate Physical Address Size，中間物理地址長度）控制物理地址的寬度，IPS 字段的長度是 3 位，IPS 字段的值和物理地址寬度的對應關系如表 3.3 所示。

審核編輯 ：李倩