如何讀懂HugePages的原理

如何讀懂HugePages的原理，針對這個問題，這篇文章詳細介紹了相對應的分析和解答，希望可以幫助更多想解決這個問題的小伙伴找到更簡單易行的方法。

在介紹 HugePages 之前，我們先來回顧一下 Linux 下 虛擬內存 與 物理內存 之間的關系。

• 物理內存：也就是安裝在計算機中的內存條，比如安裝了 2GB 大小的內存條，那么物理內存地址的范圍就是 0 ~ 2GB。

• 虛擬內存：虛擬的內存地址。由于 CPU 只能使用物理內存地址，所以需要將虛擬內存地址轉換為物理內存地址才能被 CPU 使用，這個轉換過程由  MMU(Memory Management Unit，內存管理單元) 來完成。在 32 位的操作系統中，虛擬內存空間大小為 0 ~ 4GB。

我們通過 圖1 來描述虛擬內存地址轉換成物理內存地址的過程：

如 圖1 所示，頁表 保存的是虛擬內存地址與物理內存地址的映射關系，MMU 從 頁表 中找到虛擬內存地址所映射的物理內存地址，然后把物理內存地址提交給  CPU，這個過程與 Hash 算法相似。

內存映射是以內存頁作為單位的，通常情況下，一個內存頁的大小為 4KB(如圖1所示)，所以稱為 分頁機制。

一、內存映射

我們來看看在 64 位的 Linux 系統中(英特爾 x64 CPU)，虛擬內存地址轉換成物理內存地址的過程，如圖2：

從圖2可以看出，Linux 只使用了 64 位虛擬內存地址的前 48 位(0 ~ 47位)，并且 Linux 把這 48 位虛擬內存地址分為 5  個部分，如下：

• PGD索引：39 ~ 47 位(共9個位)，指定在 頁全局目錄(PGD，Page Global Directory)中的索引。

• PUD索引：30 ~ 38 位(共9個位)，指定在 頁上級目錄(PUD，Page Upper Directory)中的索引。

• PMD索引：21 ~ 29 位(共9個位)，指定在 頁中間目錄(PMD，Page Middle Directory)中的索引。

• PTE索引：12 ~ 20 位(共9個位)，指定在 頁表(PT，Page Table)中的索引。

• 偏移量：0 ~ 11 位(共12個位)，指定在物理內存頁中的偏移量。

把 圖1 中的 頁表 分為 4 級：頁全局目錄、頁上級目錄、頁中間目錄 和 頁表 目的是為了減少內存消耗(思考下為什么可以減少內存消耗)。

注意：頁全局目錄、頁上級目錄、頁中間目錄 和 頁表 都占用一個 4KB 大小的物理內存頁，由于 64 位內存地址占用 8 個字節，所以一個 4KB  大小的物理內存頁可以容納 512 個 64 位內存地址。

另外，CPU 有個名為 CR3 的寄存器，用于保存 頁全局目錄 的起始物理內存地址(如圖2所示)。所以，虛擬內存地址轉換成物理內存地址的過程如下：

• 從 CR3 寄存器中獲取 頁全局目錄 的物理內存地址，然后以虛擬內存地址的 39 ~ 47 位作為索引，從 頁全局目錄 中讀取到 頁上級目錄  的物理內存地址。

• 以虛擬內存地址的 30 ~ 38 位作為索引，從 頁上級目錄 中讀取到 頁中間目錄 的物理內存地址。

• 以虛擬內存地址的 21 ~ 29 位作為索引，從 頁中間目錄 中讀取到 頁表 的物理內存地址。

• 以虛擬內存地址的 12 ~ 20 位作為索引，從 頁表 中讀取到 物理內存頁 的物理內存地址。

• 以虛擬內存地址的 0 ~ 11 位作為 物理內存頁 的偏移量，得到最終的物理內存地址。

二、HugePages 原理

上面介紹了以 4KB 的內存頁作為內存映射的單位，但有些場景我們希望使用更大的內存頁作為映射單位(如  2MB)。使用更大的內存頁作為映射單位有如下好處：

• 減少 TLB(Translation Lookaside Buffer) 的失效情況。

• 減少 頁表 的內存消耗。

• 減少 PageFault(缺頁中斷)的次數。

Tips：TLB 是一塊高速緩存，TLB 緩存虛擬內存地址與其映射的物理內存地址。MMU 首先從 TLB  查找內存映射的關系，如果找到就不用回溯查找頁表。否則，只能根據虛擬內存地址，去頁表中查找其映射的物理內存地址。

因為映射的內存頁越大，所需要的 頁表 就越小(很容易理解);頁表 越小，TLB 失效的情況就越少。

使用大于 4KB 的內存頁作為內存映射單位的機制叫 HugePages，目前 Linux 常用的 HugePages 大小為 2MB 和 1GB，我們以  2MB 大小的內存頁作為例子。

要映射更大的內存頁，只需要增加偏移量部分，如 圖3 所示：

如 圖3 所示，現在把偏移量部分擴展到 21 位(頁表部分被覆蓋了，21 位能夠表示的大小范圍為 0 ~ 2MB)，所以 頁中間目錄 直接指向映射的  物理內存頁地址。

這樣，就可以減少 頁表 部分的內存消耗。由于內存映射關系變少，所以 TLB 失效的情況也會減少。

三、HugePages 使用

了解了 HugePages 的原理后，我們來介紹一下怎么使用 HugePages。

HugePages 的使用不像普通內存申請那么簡單，而是需要借助 Hugetlb文件系統 來創建，下面將會介紹 HugePages 的使用步驟：

1. 掛載 Hugetlb 文件系統

Hugetlb 文件系統是專門為 HugePages 而創造的，我們可以通過以下命令來掛載一個 Hugetlb 文件系統：

$ mkdir /mnt/huge $ mount none /mnt/huge -t hugetlbfs

執行完上面的命令后，我們就在 /mnt/huge 目錄下掛載了 Hugetlb 文件系統。

2. 聲明可用 HugePages 數量

要使用 HugePages，首先要向內核聲明可以使用的 HugePages 數量。/proc/sys/vm/nr_hugepages  文件保存了內核可以使用的 HugePages 數量，我們可以使用以下命令設置新的可用 HugePages 數量：

$ echo 20 > /proc/sys/vm/nr_hugepages

上面命令設置了可用的 HugePages 數量為 20 個(也就是 20 個 2MB 的內存頁)。

3. 編寫申請 HugePages 的代碼

要使用 HugePages，必須使用 mmap 系統調用把虛擬內存映射到 Hugetlb 文件系統中的文件，如下代碼：

#include <fcntl.h> #include <sys/mman.h> #include <errno.h> #include <stdio.h>  #define MAP_LENGTH (10*1024*1024) // 10MB  int main() {     int fd;     void * addr;      // 1. 創建一個 Hugetlb 文件系統的文件     fd = open("/mnt/huge/hugepage1", O_CREAT|O_RDWR);     if (fd < 0) {         perror("open()");         return -1;     }      // 2. 把虛擬內存映射到 Hugetlb 文件系統的文件中     addr = mmap(0, MAP_LENGTH, PROT_READ|PROT_WRITE, MAP_SHARED, fd, 0);     if (addr == MAP_FAILED) {         perror("mmap()");         close(fd);         unlink("/mnt/huge/hugepage1");         return -1;     }      strcpy(addr, "This is HugePages example...");     printf("%s\n", addr);      // 3. 使用完成后，解除映射關系     munmap(addr, MAP_LENGTH);     close(fd); 35    unlink("/mnt/huge/hugepage1"); 36 37    return 0; 38 }

編譯上面的代碼并且執行，如果沒有問題，將會輸出以下信息：

This is HugePages example...

關于如何讀懂HugePages的原理問題的解答就分享到這里了，希望以上內容可以對大家有一定的幫助，如果你還有很多疑惑沒有解開，可以關注億速云行業資訊頻道了解更多相關知識。