大页 TLB:2M/1G 页如何拯救 TLB 覆盖率,以及 THP 的碎片化代价
在 两级 TLB 设计 里我们算过一笔账:1536 项的 STLB 装 4K 页只能覆盖约 6MB,装 2M 页则暴涨到 3GB。那篇的重点是硬件结构,这一篇把镜头转向操作系统与实战:大页 TLB 收益到底从哪来、Linux 的 THP(Transparent Huge Pages,透明大页)为什么时灵时不灵、数据库和 JVM 该怎么配。这是每个做内存密集型服务调优的人绕不开的一页。
本文要回答的问题
- 大页为什么能大幅降低 TLB miss,收益的数量级怎么算?
- 2M 页和 1G 页分别适合什么场景,代价各是什么?
- THP 的 khugepaged 为什么会造成延迟毛刺和内存膨胀?
- 数据库、JVM 场景下静态大页与 THP 怎么选、怎么配?
一、收益账:大页不是让 miss 变快,是让 miss 变少
先回忆一下 TLB miss 的代价:L1 miss 被 STLB 接住只要 4~8 拍,STLB 再 miss 就要走页表,四到五级 walk、即使各级都命中 walk cache 也要 10~30 拍,全 miss 则上百拍(细节见 TLB 与页表遍历缓存)。大页不改变任何一级 walk 的速度,它改变的是miss 发生的频率。
机制一句话:TLB 一项映射一个页,页大了 512 倍(2M / 4K),同样的项数覆盖范围就大 512 倍。一台双路服务器上,STLB 约 1536 项:
| 页大小 | 单项覆盖 | STLB 全覆盖(reach) | 32GB 堆需要项数 |
|---|---|---|---|
| 4K | 4KB | ~6MB | 838 万项(远超容量) |
| 2M | 2MB | ~3GB | 16384 项(L1+STLB 可覆盖热集) |
| 1G | 1GB | ~1.5TB | 32 项(绰绰有余) |
32GB 的堆用 4K 页映射,页表项有 838 万个,TLB 永远装不下热集,walk 成为每几拍一次的后台税;换 2M 页后热集只要几千项,STLB 加上 walk cache 基本兜住;换 1G 页则 32 项封顶,TLB 压力彻底消失。实测中,内存随机访问密集的服务(Redis、MySQL buffer pool、科学计算)切大页后 dtlb_load_misses.walk_completed 可以掉一个数量级,整体性能提升 5%~15% 很常见。
这张图的核心是箭头方向:工作集没变、TLB 硬件没变,变的只是「一个 TLB 项管多大地方」。理解这一点,就能理解为什么大页调优对 CPU 密集但内存足迹小的程序毫无效果——它的 TLB 本来就不 miss。
还有一个容易忽略的连带收益:页表本身也变小了。4K 页映射 32GB 需要约 16MB 的末级页表(838 万项 × 8B),这些页表页自己也要占内存、占 walk cache、甚至在 walk 时引发 cache miss;换 2M 页后末级页表缩到 128KB,walk 路径上每一级的 cache 命中率都跟着改善。所以大页的收益是双份的:walk 次数塌方,单次 walk 还变快了。
反过来说,判断「我的程序值不值得开大页」的第一个判据就是看 miss 基数:perf stat 里 dTLB miss 率本来就低于千分之一的服务,开大页纯属折腾;而 miss 率几个百分点、且 walk_completed 占比可观的,才是大页的精准客户。
二、2M 与 1G:两个档位的取舍
x86-64 提供两档大页,适用面完全不同。
2M 页是主力档。物理上它把 PMD 级页表项直接指向数据页,省掉一级页表;分配上只要求 2M 连续物理内存,系统运行一段时间后仍有较大概率凑出来(靠内核的内存规整 compaction)。THP 只对 2M 档透明生效。
1G 页是重炮档。一项盖 1GB,TLB 压力归零,但要求 1G 连续物理内存,几乎只能在开机早期通过内核参数 hugepagesz=1G hugepages=N 预留,运行中基本分配不动。适合超大型固定内存的服务器角色:上百 GB 的 Oracle SGA、大内存科学计算节点。
两者共同的代价是内部碎片:按大页粒度分配,用不满的部分整块浪费。一个只用 3MB 的区间若被提升为 2M 大页,浪费有限;但若应用大量申请小而散的内存,THP 强行提升会显著抬高 RSS。
三、THP 的另一面:碎片化、延迟毛刺与内存膨胀
THP 由内核线程 khugepaged 在后台扫描,把符合条件的 4K 页区域折叠成 2M 页。理想很丰满,现实有三个坑:
- 分配时阻塞。 开启
transparent_hugepage=always后,缺页异常里若直接分配 2M 失败,内核会当场做同步内存规整,把散落的空闲页搬在一起——这一搬可能是几十到几百毫秒的 stall,表现为延迟毛刺。这正是 Redis、MongoDB 官方文档明确要求关 THP 的原因。 - 内存膨胀。 khugepaged 提升是激进的全有或全无:一个 2M 虚拟区间里只有几个 4K 页被真正使用,也可能被整体提升并驻留物理内存,RSS 虚涨。
- 碎片化反噬。 大页切分(split)与提升(collapse)在负载变化时反复发生,每次 split 都要刷 TLB(TLB shootdown),多核下是一笔不可忽略的开销。
还有第四个隐性成本:THP 的折叠要拿 mmap 读写锁并扫描页表,khugepaged 在大内存机器上常年贡献肉眼可见的 CPU 占用,top 里那个时不时冒出来的内核线程就是它。这不算大问题,但在核算容器 CPU limit 时偶尔会成为压垮配额的最后一根稻草。
实战结论:数据库、低延迟服务一律 transparent_hugepage=madvise(甚至 never),由应用用 madvise(MADV_HUGEPAGE) 显式声明真正需要大页的区间;通用计算负载留在 madvise 也几乎无害。注意 madvise 模式下折叠仍由 khugepaged 异步完成,毛刺风险小了,但 split 与 shootdown 的成本一项不少——THP 从来不是免费的,只是把账单寄到了后台。
四、数据库与 JVM 实战建议
MySQL / PostgreSQL / Oracle。 buffer pool 是典型的大而热、生命周期贯穿进程始终的内存,最适合静态大页:vm.nr_hugepages=N 预留,配合 large_pages=ON(MySQL)或 huge_pages=on(PostgreSQL)。静态大页不可换出、不可被 khugepaged 折腾,行为完全可预期——这正是它相对 THP 的核心价值。N 按 buffer pool 大小除以 2M 再加 5%~10% 裕量计算。
JVM。 加 -XX:+UseLargePages(HotSpot 用静态 2M 大页映射堆)或 -XX:+UseTransparentHugePages(走 THP madvise 路径)。堆大且稳定的服务(ES、HBase)建议静态大页;堆弹性伸缩频繁的场景 THP madvise 更省心。注意 JVM 的 TLAB、代码缓存同样受益,开大页后 ITLB miss 也会下降。
观测闭环。 调优前后用 perf stat -e dTLB-loads,dTLB-load-misses,iTLB-load-misses 对比 miss 率,用 dtlb_load_misses.walk_completed 看真实 walk 次数,再看 /proc/meminfo 的 HugePages_* 与 AnonHugePages 确认大页真的用上了。性能收益若在预期内没有出现,多半是大页没生效而不是没收益。结合 IPC 瓶颈拆解 的后端 memory bound 维度,可以确认翻译 stall 是否已从瓶颈清单里划掉。
常见翻车点清单。 静态大页配了 nr_hugepages 但应用没用 MAP_HUGETLB 或 hugetlbfs 挂载路径,结果大页池闲置、应用照样走 4K——看 HugePages_Free 长期等于 HugePages_Total 就是这个症状;THP 开 always 后延迟敏感服务出现规律性毛刺,用 perf sched 或直接看 khugepaged 的 CPU 占用能对上号;容器环境里大页是宿主机资源,cgroup 的 hugetlb 控制器单独限额,宿主机没预留的话容器里怎么配都是白搭。大页调优一半在配置,另一半在验证——没看过 /proc/meminfo 和 perf 数字的「已开大页」都不算数。
这一篇在知识体系里的位置
本篇是微架构长尾层,向上承接 两级 TLB 设计(大页挤进 TLB 的硬件结构)与 TLB 与页表遍历缓存(miss 之后的 walk 路径),向旁连接 IPC 瓶颈拆解(翻译 stall 在瓶颈分类中的位置)与 cache 替换策略(TLB 作为相联缓存的替换问题)。
总结
大页 TLB 调优的本质是用同样的 TLB 项数覆盖 512 倍的地址范围,让页表 walk 从后台税变成稀有事件;2M 页是主力档、1G 页是预留重炮,THP 透明省事但带来规整毛刺与内存膨胀,生产上数据库与 JVM 的正确姿势是静态大页或 THP madvise 加显式声明,再用 perf 的 dTLB 事件闭环验证。