Linux核心頁表管理-那些鮮為人知的秘密
1.開場白
環境:
處理器架構:arm64
核心原始碼:linux-5。11
ubuntu版本:20。04。1
程式碼閱讀工具:vim+ctags+cscope
通用作業系統,通常都會開啟mmu來支援虛擬記憶體管理,而頁表管理是在虛擬記憶體管理中尤為重要,本文主要以回答幾個頁表管理中關鍵性問題來解析Linux核心頁表管理,看一看頁表管理中那些鮮為人知的秘密。
2.頁表的作用是什麼?
1)地址轉換
將虛擬地址轉換為物理地址
2)許可權管理
管理cpu對物理頁的訪問,如讀寫執行許可權
3)隔離地址空間
隔離各個程序的地址空間,使其互不影響,提供系統的安全性
開啟mmu後,對沒有頁表對映的虛擬記憶體訪問或者有頁表對映但是沒有訪問許可權都會發生處理器異常,核心選擇殺死程序或者panic;透過頁表給一段記憶體設定使用者態不可訪問, 這樣可以做到使用者態的使用者程序不能訪問核心地址空間的內容;而由於使用者程序各有一套自己的頁表,所以彼此看不到對方的地址空間,更別提訪問,造成每個程序都認為自己擁有所有虛擬記憶體的錯覺;透過頁表給一段記憶體設定只讀屬性,那麼就不容許修改這段記憶體內容,從而保護了這段記憶體不被改寫;對應使用者程序地址空間對映的物理記憶體,核心可以很方便的進行頁面遷移和頁面交換,而對使用虛擬地址的使用者程序來說是透明的;透過頁表,很容易實現記憶體共享,使得一份共享庫很多程序都可以對映到自己地址空間使用;透過頁表,可以小記憶體載入大應用程式執行,在執行時按需載入和對映。。。
3.頁表的存放在哪?
頁表存放在物理記憶體中
,開啟mmu之後,如果需要修改頁表,需要將頁表所在的物理地址對映到虛擬地址才能訪問頁表(如核心初始化後會將物理記憶體線性對映,這樣透過物理地址和虛擬地址的偏移就可以獲得頁表物理地址對應的虛擬地址)。
4. 頁表項中存放是虛是實?
頁表基地址暫存器和各級頁表項中存放的都是物理地址
,而不是虛擬地址。
5. 開啟mmu後地址轉換過程?
虛擬地址轉換物理地址的過程:開啟mmu後,cpu訪問的都是虛擬地址,當cpu訪問一個虛擬地址的時候,會透過cpu內部的mmu來查詢物理地址,mmu首先透過虛擬地址在tlb中查詢,如果找到相應表項,直接獲得物理地址;如果tlb沒有找到,就會透過虛擬地址從頁表基地址暫存器儲存的頁表基地址開始查詢多級頁表,最終查詢到找到相應表項,會將表項快取到tlb中,然後從表項中獲得物理地址。
6. Linux核心為何使用多級頁表?
1)使用一級頁表結構優劣:
優勢:
只需要2次訪問記憶體(一次訪問頁表,一次訪問資料),效率高,實現簡單
劣勢:
需要連續的大塊記憶體存放每個程序的頁表(如32位系統每個程序需要4M頁表),浪費記憶體,虛擬記憶體越大頁表越大,記憶體碎片化的時候很難分配到連續大塊記憶體,大多數虛擬記憶體並沒有使用。
2)使用多級頁表結構優劣:
優勢:
1.節省記憶體
2.可以按需分配各級頁表
3.可以離散儲存頁表
劣勢:
需要遍歷多級頁表,需要多次訪問記憶體,實現複雜度高點
3)Linux核心綜合考慮:
典型的以時間換空間,可以將各級頁表放到物理記憶體的任何地方,無論是硬體遍歷還是核心遍歷,比一級頁表更復雜,但是為了節省記憶體,核心選擇多級頁表結構。
7.減小多級頁表遍歷的最佳化?
1)mmu中新增tlb
來快取最近訪問的頁表表項,根據程式的時間和空間的區域性性原理,tlb能有很高的命中率。
2)使用巨型頁
減少訪存次數(如使用1G或2M巨型頁),可以減少tlb miss和缺頁異常。
8. 硬體做了哪些事情?
遍歷頁表,將va轉換為pa,頁面許可權管理
涉及到的硬體為:
mmu
->功能:查詢tlb或者遍歷頁表
tlb
->功能:快取最近轉換的頁表條目
頁表基地址暫存器
如ttbr0_el1 ttbr1_el1
->功能:存放頁表基地址(物理地址)作為mmu遍歷多級頁表的起點
mmu進行多級頁表遍歷時當發現虛擬地址的最高bit為1時使用 ttbr1_el1作為遍歷起點,最高bit為0時使用 ttbr0_el1作為遍歷起點。
9. 軟體做了哪些事情?
1)應用程式
訪問虛擬記憶體即可如執行指令、讀寫記憶體, 沒有許可權管理頁表
不管虛擬記憶體如何轉換為物理記憶體,對應用來說透明。
2)Linux核心
填寫頁表,將頁表基地址告訴mmu
核心初始化建立核心頁表,實現缺頁異常等機制為使用者任務按需分配並對映頁表。
當然,核心也可以遍歷頁表,如缺頁異常時遍歷程序頁表。
10. 核心中涉及到的頁表基地址?
核心:
idmap_pg_dir 恆等對映頁表(va=pa 對映2M)
init_pg_dir 粗粒度核心頁表
swapper_pg_dir 主核心頁表
使用者:
tsk->mm->pgd 使用者程序fork的時候分配私有的pgd頁,用於儲存pgd表項(僅僅分配了第一級頁表)。
11. 頁表填寫/切換時機
1)核心頁表填充
核心初始化過程:
物理地址 -> 恆等對映(建立恆等對映頁表和粗粒度核心頁表) ->開啟mmu -> paging_init(建立細粒度的核心頁表和記憶體線性對映) -> 。。。
恆等對映階段:
將恆等對映頁表idmap_pg_dir 地址儲存到ttbr0_el1
將 粗粒度核心頁表init_pg_dir 地址儲存到ttbr1_el1
paging_init階段:
將核心主頁表swapper_pg_dir 地址儲存到ttbr1_el1
paging_init之後丟棄idmap_pg_dir 和init_pg_dir 頁表的使用。
2)使用者頁表填充
訪問時缺頁填充:
使用者程序訪問已經申請的虛擬記憶體時,發生缺頁,缺頁處理程式中為程序分配各級頁表等物理頁並建立頁表對映關係。
程序切換時切換程序頁表:
switch_mm的時候切換tsk->mm->pgd到ttbr0_el1以及asid 到ttbr1_el1,從而完成了程序地址空間切換。
12.頁表遍歷過程
下面以arm64處理器架構多級頁表遍歷作為結束(使用4級頁表,頁大小為4K):
Linux核心中 可以將頁表擴充套件到5級,分別是頁全域性目錄(Page Global Directory, PGD), 頁4級目錄(Page 4th Directory, P4D), 頁上級目錄(Page Upper Directory, PUD),頁中間目錄(Page Middle Directory, PMD),直接頁表(Page Table, PT),而支援arm64的linux使用4級頁表結構分別是 pgd, pud, pmd, pt ,arm64手冊中將他們分別叫做L0,L1,L2,L3級轉換表,所以一下使用L0-L3表示各級頁表。
tlb miss時,mmu會進行多級頁表遍歷遍歷過程如下:
1。mmu根據虛擬地址的最高位判斷使用哪個頁表基地址暫存器作為起點:當最高位為0時,使用ttbr0_el1作為起點(訪問的是使用者空間地址);當最高位為1時,使用ttbr1_el1作為起點(訪問的是核心空間地址) mmu從相應的頁表基地址暫存器中獲得L0轉換表基地址。
2。找到L0級轉換表,然後從虛擬地址中獲得L0索引,透過L0索引找到相應的表項(arm64中稱為L0表描述符,核心中叫做PGD表項),從表項中獲得L1轉換表基地址。
3。找到L1級轉換表,然後從虛擬地址中獲得L1索引,透過L1索引找到相應的表項(arm64中稱為L1表描述符,核心中叫做PUD表項),從表項中獲得L2轉換表基地址。
4。找到L2級轉換表,然後從虛擬地址中獲得L2索引,透過L2索引找到相應的表項(arm64中稱為L2表描述符,核心中叫做PUD表項),從表項中獲得L3轉換表基地址。
5。找到L3級轉換表,然後從虛擬地址中獲得L3索引,透過L3索引找到頁表項(arm64中稱為頁描述符,核心中叫做頁表項)。
6。從頁表項中取出物理頁幀號然後加上物理地址偏移(VA[11,0])獲得最終的物理地址。
更多核心乾貨請關注微信公眾號:
Linux核心遠航者