EPT NPT 二级地址翻译:虚拟化下 GPA 到 HPA 的 4x4 级页表遍历开销与 TLB 放大效应
更新时间:2026-10-03。物理机上的地址翻译是「一层」:CR3 指向四级页表,虚拟地址走完 4 次查表得到物理页帧号,TLB(Translation Lookaside Buffer,地址翻译后备缓冲)命中时这一步被完全省掉,背景见 TLB 与页表遍历缓存。可一旦把操作系统塞进虚拟机,事情变成了「两层」:客户机里的虚拟地址先被客户机页表翻译成客户机物理地址(GPA,Guest Physical Address),GPA 还要再被宿主机管的第二张页表翻译成宿主机物理地址(HPA,Host Physical Address)才能真正落到 DRAM 上。Intel 把第二张页表叫 EPT(Extended Page Tables,扩展页表),AMD 叫 NPT(Nested Page Tables,嵌套页表),本篇统一用「EPT NPT 二级地址翻译」指代这套机制。它是现代虚拟化性能的隐形税:一切顺利时几乎免费,TLB 一未命中,单次访存的翻译成本从 4 次内存读暴涨到 24 次。上游铺垫见 TLB 两级 STLB 设计 与 CPU 微架构总览,下游缓解手段衔接 大页与 TLB 压力。
本文要回答的问题
- 为什么虚拟化需要第二张页表?只靠客户机自己的页表行不行?
- 一次 TLB 未命中在二级翻译下最坏要访问多少次内存?4x4 的乘法从哪来?
- 什么是 TLB 放大效应?它对虚拟机的真实负载有多大影响?
- EPT 页表项的权限位怎么与客户机页表叠加?写内存为什么比读更贵?
- 硬件和软件各有哪些手段把 24 次 walk 的开冲压回去?
一、为什么需要第二张页表:从「一层」到「两层」
没有 EPT/NPT 的时代,虚拟化靠影子页表(shadow page table):虚拟机监视器(VMM)为每个虚拟机手工维护一份「GVA 直接到 HPA」的合并页表,客户机每次改自己的页表(invlpg、写页表项、切 CR3)都会触发陷入(trap)到 VMM,由 VMM 同步影子页表。这条路线的痛点是陷入太频繁——进程切换、fork、页回收都会引发批量同步,CPU 时间的相当比例烧在 VMM 里跑页表维护代码。
EPT/NPT 的思路相反:让硬件自己走两层表。客户机照常维护自己的页表(GVA 到 GPA),VMM 维护另一张 EPT 页表(GPA 到 HPA),CPU 的页表遍历器(page walker)在 TLB 未命中时自动把两层走完,客户机对页表的任何修改都不再需要陷入。VMM 从「页表保姆」降级为「EPT 表的低频维护者」,陷入次数断崖式下降——代价就是本篇的主角:walk 的开销从加法变成了乘法。
先钉死三层地址空间的术语,后面所有讨论都在这三层之间穿梭:
| 地址 | 全称 | 谁定义 | 翻译到哪 |
|---|---|---|---|
| GVA | 客户机虚拟地址 | 客户机进程 | 经客户机页表到 GPA |
| GPA | 客户机物理地址 | 客户机 OS(其实是虚拟的) | 经 EPT/NPT 到 HPA |
| HPA | 宿主机物理地址 | VMM 或宿主机 OS | 直接送到 DRAM |

上图是整个二级翻译的舞台。最关键的一条边是 TLB 到 HPA 的那条「直达」:TLB 缓存的从来是最终结果 GVA 到 HPA,中间那两层表格只在未命中时才被遍历。所以二级翻译的全部开销都集中在「TLB 未命中率」上——命中率掉一个百分点,代价是物理机的六倍,这就是后面要算的放大效应。
二、4x4 的乘法:一次 walk 最坏 24 次内存访问
物理机上一次四级页表遍历要读 4 次内存:PML4 项、PDPT 项、PD 项、PT 项,逐级取出下一级表的基地址,最后得到页帧号。二级翻译下,这个过程嵌套了。
关键点在于:客户机页表的每一级基地址本身都是 GPA。客户机 CR3 里存的是 GPA,PML4 项里存的下一级表地址也是 GPA。要读客户机页表的任何一级,先得把这个 GPA 翻译成 HPA——翻译一个 GPA 又要走 EPT 四级页表,读 4 次内存。于是第一层每下一级,就要先付出第二层一整趟 4 次读的代价。
算总账(4KB 页、四级页表、客户机访问的页面在客户机页表里也是四级):
- 第一层走 4 级,每一级的「读表项」动作都要先翻译该级表的 GPA 基地址:4 级乘 4 次 EPT 读 = 16 次。
- 第一层走完得到最终 GPA 页帧,这个 GPA 也要翻译:再走 EPT 四级 = 4 次。
- 但注意,逐级翻译 GPA 时 EPT 自身每一级读出的表项是 HPA(EPT 表里存的已经是真实物理地址),不需要再嵌套。
- 合计:16 + 4 = 20 次内存读,再加上访问目标数据本身的最后 1 次 = 21 次。如果把 EPT 遍历途中每级「取下一级 EPT 表」也算进嵌套结构(EPT 表自身的 GPA 无需翻译,所以不加),教科书口径通常写「4 层客户机页表每层引发一次 EPT walk,共 4x4 = 16 次页表读,加上最终 GPA 翻译 4 次和数据访问,最坏约 20 余次」,常简记为 24 次内存访问量级——物理机 4 次 walk 的 6 倍。

上图把一次完整嵌套 walk 的拉链结构画了出来:客户机页表每下一级,就嵌进一趟 EPT 四级遍历,五趟 EPT walk 串成一条链。这张链每一环都是一次潜在的缓存未命中——20 来次内存读如果全部打到 DRAM,按每次约 80 纳秒算,单次 TLB 未命中的翻译延迟可达 1.6 微秒量级,而一个物理机上 walk 全命中缓存时不过一两百纳秒。
真实硬件当然不至于每次都走满:EPT 页表和客户机页表的上层表项很大概率在缓存或页表遍历缓存(paging-structure cache)里,细节见 TLB 与页表遍历缓存。但最坏情况决定了尾延迟,高负载虚拟化环境里 P99 毛刺常常就是它。
三、TLB 放大效应:未命中率的小数点被乘了六倍
「放大效应」这个词值得单独算一笔账。定义放大系数为「同样负载下,虚拟机 TLB 未命中平均开销除以物理机 TLB 未命中平均开销」。
物理机上,一次 STLB(二级 TLB)未命中的平均代价大约是 20 到 40 个周期——页表上层在缓存里时更便宜。虚拟机上,同样一次未命中要走嵌套 walk,平均代价 120 到 240 个周期,放大 6 倍。再叠加一个更隐蔽的因素:虚拟化负载的 TLB 未命中率本身往往更高。原因有三:
- 同一块 TLB 要同时服务宿主机、VMM 和多个虚拟机的地址空间,等效容量被摊薄。
- 客户机物理内存通常被 VMM 用气球驱动(ballooning)、内存去重(KSM)等机制反复复用,GPA 空间碎,映射更离散。
- 多虚拟机混部时上下文切换更频繁,TLB 被刷新的次数更多(vPID 能缓解,见第五节)。
两个因素相乘:未命中率可能从物理机的 1% 涨到 3%,单次未命中代价再乘 6,翻译开销对总 IPC 的侵蚀就从「几乎看不见」变成「百分之十几」。这正是为什么虚拟化基准测试里,内存密集型负载(数据库、图计算、大堆 Java 应用)的虚拟化损耗普遍在 10% 到 25%,而计算密集型负载常常低于 5%。

上图中两个因素的乘法关系是放大效应的全部本质:任何一个单独存在都不致命,叠在一起才成为虚拟化内存负载的主要税项。实测方法上,可以用 PMU 计数器直接观测:Intel 的 DTLB_LOAD_MISSES.WALK_DURATION 类事件在虚拟机里跑出来的 walk 总周期数,除以未命中次数,如果均值远超物理机基线,就是放大效应在账单上签字,计数器用法见 PMU 性能计数器编程。
四、权限叠加与脏位:写为什么比读更贵
二级翻译不只是地址的两次映射,权限位也要叠加。最终访问是否被允许,等于「客户机页表权限」与「EPT 权限」的交集:任一层说不行就是不行。EPT 页表项有自己独立的三位权限——读、写、执行,与客户机页表的 R/W、U/S、NX 完全正交。这就带来了 VMM 拦截客户机访存的标准玩法:把某段 GPA 的 EPT 权限收成只读,客户机写它就触发 EPT violation 陷入 VMM——内存热迁移时的脏页追踪、设备模拟(MMIO 区域直接给 EPT 打一个「不存在」标记)全靠这个机制。
脏位(dirty bit)的处理更能体现两层的摩擦。客户机页表项有 A 位(accessed)和 D 位(dirty),EPT 也有(如果开启 A/D 特性)。一次写访问成功,硬件要同时置位两层页的 A 位与客户机页的 D 位——每位置位都是一次「读改写」内存事务。早期 EPT 不支持硬件 A/D 置位时,VMM 只能靠把页打成只读来追踪脏页,写一次陷入一次;现代 CPU 支持后,置位由 walker 顺手完成,但这也意味着一次 TLB 未命中引发的 walk 里可能夹着若干次写事务,写比读更难被乱序引擎隐藏——store 必须进入 store buffer 按序退休,见 store buffer 与写合并。
| 场景 | 读访问 | 写访问 |
|---|---|---|
| TLB 命中 | 一次数据读 | 一次数据写 |
| TLB 未命中加 A/D 置位 | 20 余次读 | 20 余次读加 2 到 4 次置位写 |
| EPT 权限被 VMM 收紧 | 读可能正常 | 写触发 EPT violation 陷入 VMM,数千周期 |
| 客户机换 CR3 | 刷客户机相关 TLB | 同左,vPID 可豁免部分 |

上图是权限判定的汇合点。注意陷出分支的存在改变了「页表项语义」:在虚拟化里,一个页表项不再只是翻译信息,还是 VMM 下钩子的锚点。性能分析时如果发现虚拟机的 EPT violation 计数很高,往往不是 bug,而是热迁移或设备模拟在进行中——要结合 VMM 侧的日志一起看。
五、把开销压回去:大页、vPID、页表遍历缓存与合并 TLB
硬件和软件手里各有几张牌,按见效程度排。
第一张牌,大页。2MB 大页让页表少一级(走到 PD 项就停),1GB 大页少两级。更关键的是 TLB 覆盖:一个 2MB 大页的 TLB 项顶 512 个 4KB 项。虚拟化下客户机和宿主机最好同时用大页——客户机用 2MB 但 EPT 侧 GPA 被拆成 4KB 映射时,walk 级数和 TLB 覆盖的改善都会打折扣。实战见 大页与 TLB 压力。
第二张牌,vPID 与 PCID。VPID(Virtual Processor ID)给每个虚拟机的 TLB 项打上标签,虚拟机切换时不用全刷 TLB;PCID 在客户机内部做同样的事。两者叠加能把「切换引起的未命中率上升」这个放大因素砍掉大半。
第三张牌,页表遍历缓存感知 EPT。现代 Intel 核的 paging-structure cache 会同时缓存客户机页表和 EPT 的上层表项,嵌套 walk 里那 20 来次读大部分被拦在缓存层,真实平均 walk 长度远小于最坏值。这也是为什么「4x4 = 24 次」是上限而非常态。
第四张牌,软件侧的内存布局。让虚拟机的 GPA 空间尽量连续、避免气球驱动在热路径上频繁收放内存、EPT 上层表项常驻(不要被 VMM 的内存回收踢出去),都能直接降低未命中率这个被乘数。
| 手段 | 作用点 | 大致效果 |
|---|---|---|
| 客户机加宿主机双大页 | 未命中率和 walk 级数 | 未命中率可降一个数量级 |
| vPID 加 PCID | 切换时的 TLB 刷新 | 切换后未命中尖峰基本消除 |
| 页表遍历缓存 | 单次 walk 长度 | 平均 walk 读次数远小于 20 |
| GPA 空间整理 | 未命中率 | 视碎片程度而定 |
这一篇在知识体系里的位置
本篇是微架构模块「地址翻译线」的虚拟化专题。上游是单层翻译的两篇基础文:TLB 与页表遍历缓存(walk 的缓存层次)与 TLB 两级 STLB 设计(TLB 自身的组织结构)。同线相邻的缓解手段是 大页与 TLB 压力,观测手段见 PMU 性能计数器编程。内存访问延迟的 DRAM 侧背景见 DRAM 行缓冲命中策略,乱序引擎对 walk 延迟的隐藏能力受 MSHR 未命中状态寄存器 数量制约。全景地图见 CPU 微架构总览。
总结
EPT NPT 二级地址翻译用硬件遍历两张页表(客户机页表管 GVA 到 GPA、EPT/NPT 管 GPA 到 HPA)取代了软件影子页表,换来 VMM 陷入次数的断崖下降,代价是 TLB 未命中时的嵌套 walk:客户机页表每下一级都要先跑一趟 EPT 四级遍历,最坏 4x4 共 20 余次内存读、约物理机单次 walk 的 6 倍;未命中率上升与单次代价上升相乘形成 TLB 放大效应,是虚拟化内存密集负载 10% 到 25% 性能税的主因,而客户机宿主机双大页、vPID/PCID、页表遍历缓存与 GPA 空间整理四张牌,分别从未命中率、切换刷新、walk 长度三个被乘数上把这笔税压回去。