两级 TLB 设计:L1 ITLB/DTLB 与 STLB 的容量组织,以及大页怎么挤进同一套结构
在 TLB 与页表遍历缓存 里我们看过 TLB miss 之后硬件怎么走页表、以及 walk 路径上还有哪些缓存。那一篇的重点是「miss 之后怎么办」,这一篇把镜头往前推一格:miss 之前,TLB 本身是怎么分层的。为什么现代 x86/ARM 核心几乎清一色采用两级 TLB 设计——一级小的、按指令数据分开的 ITLB/DTLB,加一级大的、统一的 STLB(Second-level TLB)?这一篇把容量、延迟、页大小支持三本账算清楚。
本文要回答的问题
- 为什么单级大 TLB 行不通,两级 TLB 设计解决的核心矛盾是什么?
- L1 ITLB 和 DTLB 为什么要分开,各自的典型容量和相联度是多少?
- STLB 在两级结构里扮演什么角色,它的容量和命中代价怎么定?
- 4K、2M、1G 三种页大小怎么在同一套两级 TLB 里共存?
一、核心矛盾:TLB 既要快又要大,而快和大不可兼得
TLB(Translation Lookaside Buffer,地址翻译后备缓冲)本质上是一个按虚拟页号查物理页号的相联存储器(CAM 或高相联 SRAM)。它卡在取指和 load/store 的关键路径上:每次取指、每一次内存访问,都要先过 TLB 这一道。这就定死了第一个约束——L1 TLB 的查问延迟必须压进 1 拍左右,否则流水线前端和 LSU(Load/Store Unit)的时序全部崩盘。
但容量侧的需求在往相反方向拉。一个 64 项、4K 页的 TLB 只能覆盖 256KB 的活跃地址范围(覆盖范围 = 项数 × 页大小,这个数叫 TLB reach)。现代服务器工作负载——数据库 buffer pool、JVM 堆、大模型推理的 KV cache——工作集动辄几十 GB。如果 TLB 只有一级,要么 reach 小到 miss 率失控(每次 miss 都是 10~20 拍起的页表 walk),要么容量做大、相联度拉高,结果查问延迟超拍、面积功耗爆炸,关键路径直接挂掉。
存储器层次结构的老办法在这里照样成立:分层。第一层小而快,拍 1 拍,只要求挡住高频访问;第二层大而稍慢,4~8 拍,把 reach 撑到几十 MB 甚至 GB 级;两层都没中才去走页表。这就是两级 TLB 设计的全部动机——它不是锦上添花,而是「快」与「大」这对矛盾在物理约束下的唯一解。
二、第一级:ITLB 与 DTLB 为什么分开,各自配多大
第一级 TLB 按访问类型拆成两个:ITLB 服务取指,DTLB 服务 load/store。拆开的原因有三:
- 物理位置不同。 ITLB 贴着取指前端,在分支重定向之后马上要给出物理地址去查 I-cache;DTLB 贴着 LSU 的 AGU(地址生成单元)出口。分开放,布线最短,各自都能压进 1 拍。
- 访问模式不同。 取指有良好的顺序局部性,一个 4K 页能供 64~128 条指令,ITLB 可以配得很小;数据访问跨页频繁得多,DTLB 需要更大容量和更高相联度。
- 互不争端口。 取指和访存每拍都在发生,共享一个 TLB 就要双端口,而相联存储器的端口税比 PRF 还狠(相关内容见 物理寄存器堆 里的端口经济学)。
下面是两级 TLB 的典型组织全景图:
看图里有两条独立的「快路径」:取指走 ITLB、访存走 DTLB,命中就直奔 cache;两条慢路径在 STLB 汇合,STLB 命中则回填 L1,miss 才惊动页表遍历器。注意偏移量不参与翻译——页内偏移直接拼接物理页号,所以 TLB 查询和 cache 组索引(VIPT 结构)可以并行起跑,这是 1 拍时序能成立的关键。
典型参数(以近几代桌面/服务器核为参照):ITLB 64~128 项、8 路;DTLB 64~96 项、4~8 路。按 4K 页算,L1 的 reach 只有几百 KB,单看完全不够用——这正是第二级存在的理由。
三、第二级:STLB 的容量账与命中代价
STLB(Second-level TLB)是统一结构,指令和数据 miss 都汇到它这里。它的设计目标和 L1 完全相反:不求快,求覆盖。
| 维度 | L1 ITLB/DTLB | STLB |
|---|---|---|
| 容量 | 64~128 项(各) | 1536~2048 项(共享) |
| 查问延迟 | 1 拍 | 4~8 拍 |
| 相联度 | 4~8 路 | 12~16 路 |
| 4K 页 reach | ~256KB~512KB | ~6MB~8MB |
| 服务对象 | 取指 / 访存分开 | 指令与数据统一 |
| miss 代价 | 转 STLB,+4~8 拍 | 页表 walk,+10~100 拍 |
1536 项 × 4K = 6MB 的 reach 是什么概念?一个热工作集在几 MB 量级的中等应用,地址翻译基本可以终生不出 STLB,页表 walk 变成稀有事件。而 STLB 用「比 L1 慢几拍」换来的,是 miss 代价从「上百拍 walk」降到「几拍回填」——这是一笔极其划算的层次化交易。页表 walk 本身的细节与 walk cache 见 TLB 与页表遍历缓存,本篇不展开。
STLB 统一还有一个隐藏收益:去重。同一个物理页既被取指又被访存时(自修改代码之外的常见场景是 JIT 编译后立即执行、常量页读代码段字面量),L1 里 ITLB 和 DTLB 各存一份是浪费,但 STLB 只存一份,回填时按需补到两边。统一二级让有限的项数服务更大的有效工作集。
四、页大小支持:4K、2M、1G 怎么挤进同一套结构
两级 TLB 设计里最费心思的部分是多种页大小的共存。x86-64 支持 4K/2M/1G,ARM64 支持 4K/16K/64K 基页加 2M/1G 块映射。大页的价值用 reach 一算就明白:STLB 1536 项若全是 2M 页,覆盖范围从 6MB 暴涨到 3GB——一个大 JVM 堆或数据库 buffer pool 用几百个 STLB 项就盖住了,页表 walk 基本绝迹。这正是大页(Linux 的 THP、hugepages)性能收益的微架构来源。
但结构上,不同页大小的虚拟页号位数不同:4K 页用 VA[47:12] 做 tag,2M 页用 VA[47:21],1G 页用 VA[47:30]。同一个 CAM 里混放三种页,查问时要用三种对齐方式各比一遍,tag 比较逻辑和功耗都失控。工程上有两种解法:
按页大小分体(split by page size)。 L1 常采用:DTLB 内部 4K 页一个阵列(如 64 项)、2M/4M 页另开一个小阵列(如 32 项),各查各的,硬件简单。Intel 多代核的 DTLB 就是「4K 页 64 项 + 2M/4M 页 32 项」的分体结构。
单阵列混放、项内带页大小字段。 STLB 常采用:每项除了 tag 和 PFN 再存 2bit 页大小,查问时按页大小掩掉低位 tag 再比较。查问逻辑稍复杂,但项数可以在不同页大小之间弹性分配——全 4K、全 2M、混合都行,不像分体那样把容量钉死。
两级分工由此清晰:L1 用分体保 1 拍时序的简单性,STLB 用混放保容量的弹性。代价是回填时要按页大小把项塞进 L1 对应的子阵列,控制逻辑多一层。
这张图的要点是同一个 STLB 阵列如何靠「掩码比较」复用项数服务三种页大小——存 2M 页时把虚拟地址低 21 位里的 [20:12] 这 9bit 从 tag 里掩掉,一项就顶 512 个 4K 项的覆盖。这也是性能调优里「换大页降 dTLB-miss」的结构解释:不是 miss 处理变快了,是同样的项数盖住了 512 倍的地址范围,miss 次数本身塌方了。
五、对性能分析的启示
落到观测侧,两级结构解释了三组常见数字:perf stat 里的 dTLB-load-misses 与 iTLB-load-misses(L1 层事件)通常远高于真实 walk 次数,因为多数 L1 miss 被 STLB 几拍接住了;真正伤性能的是 dtlb_load_misses.walk_completed 一类事件,它才对应页表 walk 的开销。开大页后 L1 miss 和 walk 齐降,正是第四节 reach 账的直接体现。结合 IPC 瓶颈拆解 看,地址翻译 stall 往往藏在「后端 memory bound」的大类里,两级 TLB 的命中分布是把它拆出来的第一把刀。
这一篇在知识体系里的位置
本篇是微架构长尾层,向上承接 TLB 与页表遍历缓存(miss 之后的 walk 路径),向旁连接 load-store 队列与访存消歧(DTLB 在 LSU 流水里的位置)、cache 替换策略(TLB 作为相联缓存同样面对替换问题)与 数据冒险之 L1 miss(翻译与 cache 访问的时序交叠)。
总结
两级 TLB 设计是「1 拍时序」与「GB 级覆盖」这对矛盾的层次化解法:L1 把 ITLB/DTLB 分开、按页大小分体,保关键路径;STLB 用统一大容量阵列加页大小掩码混放,把 reach 从几百 KB 撑到 MB~GB 级;看懂它,就明白了 dTLB miss 数字为什么分两档,以及大页调优的本质是用项数换覆盖范围。