循环流检测器 LSD:小循环直接绕过取指和解码,前端功耗省在哪
在 µop cache 与解码前端 里我们看过现代 x86 怎么用 µop cache 绕开昂贵的 CISC 解码;在 CPU 微架构总览 里也知道前端(取指 + 解码)是整条流水线里最"费电不干活"的一段。这一篇讲一个更激进的省电结构——循环流检测器(Loop Stream Detector,LSD):当程序在一个小循环里原地打转时,它干脆把取指、解码、µop cache 全部断电,µop 从一个小缓冲里循环往外倒。
本文要回答的问题
- 循环流检测器 LSD 到底是个什么结构,藏在前端哪个位置?
- LSD 怎么识别"这是一个可以循环复用的小循环"?触发条件有哪些?
- LSD 命中时省掉了哪些硬件的功耗,收益有多大?
- 既然有 µop cache,为什么还需要 LSD?两者的分工边界在哪?
- 写代码或做性能分析时,LSD 对我们有什么可观测、可利用的含义?
一、LSD 是什么:一个"记下来反复放"的 µop 循环缓冲
循环流检测器(Loop Stream Detector)最早出现在 Intel Core 2 时代(当时叫 Loop Stream Detector,检测的是宏指令流),从 Sandy Bridge 起演化成 µop 级别:它本质上是乱序前端里的一个几十项的小队列(Sandy Bridge 时代约 28 项逻辑 µop,后续世代放宽到 50~70 项量级),作用是:发现当前正在执行的 µop 流是一个短循环体后,把这一串 µop 锁存在队列里,之后每一轮迭代直接从队列重放,不再去碰上游任何结构。
它要解决的痛点很直接:程序里大量时间花在小循环上(内存拷贝、向量累加、字符串扫描),而循环体每一轮的取指、分支预测、解码结果完全一样——重复跑取指单元、长度译码器、复杂解码器纯属烧钱。LSD 就是"放录音"的思路:录一遍,循环播。
二、LSD 在前端的位置:卡在 µop cache 之后、分配队列之前
要理解 LSD 省了什么,先看它坐在哪。下图给出 Sandy Bridge 以后典型 x86 前端的三条 µop 来路与 LSD 的位置:
这张图的要点是:LSD 是 µop cache(DSB)的下游、µop 队列(IDQ)的上游,三条来路在 IDQ 前汇合。传统解码路径(MITE)从最左走到 IDQ 要穿过取指和整组解码器;µop cache 命中可以跳过取指解码;而 LSD 命中是三者里最省的一条——它连 µop cache 的读阵列都不开。可以把它理解成嵌套的"加速等级":MITE 是全价票,DSB 是打折票,LSD 是免费循环券。
三、触发条件:什么样的循环才能被 LSD 收编
LSD 不是看到循环就锁存,它有一串相当挑剔的条件(各代微架构细节不同,大方向一致):
| 条件 | 含义 | 为什么 |
|---|---|---|
| 循环体 µop 数 ≤ 队列容量 | 整段循环的 µop 流要能完整放进 LSD 队列 | 放不下就无从循环重放 |
| 只含一个向后跳转 | 循环是单入口单出口的标准形态 | 多个回边无法确定重放终点 |
| 循环内没有更内层的已锁存循环 | 不嵌套 | LSD 只有一层,内层循环会顶掉外层 |
| 该循环已被执行过若干次 | 检测逻辑要"看到"重复的回边才置信 | 避免为只跑一两轮的循环浪费锁存开销 |
| µop 流来自 DSB 或 MITE 均可 | 不限定来源 | 录的是解码后的 µop,不关心谁解码的 |
检测本身由分支预测器配合完成:当一个向后分支(回边)被反复取值、且两次回边之间流出的 µop 数稳定不变,LSD 就把这段流标记为"循环",之后的迭代进入锁存重放模式。一旦循环退出(回边预测为不跳),LSD 立刻退出重放,前端恢复正常供电——这个切换在一拍内完成,对性能透明。
四、功耗收益:LSD 命中时到底关了哪些灯
LSD 的全部意义都在功耗上,性能上它最多和 µop cache 打平(都是一拍最多供给固定条数 µop)。结合 时钟门控与功耗门控 里的概念,LSD 命中时被时钟门控掉的结构包括:
被门控的四块恰好是前端里最耗电的部分:分支预测器要驱动庞大的 BTB 和 TAGE 表查找,取指单元每拍从 L1I 读 16 字节并做预译码,复杂解码器是全芯片闻名的"火炉",µop cache 的读阵列虽然比解码器便宜但也不免费。实测里,前端在 LSD 命中迭代上的功耗可以比走 MITE 路径低一个数量级的量级说不上,但省电 30% 以上的前端功耗是常见说法;对跑满小循环的负载(比如数值核函数),这直接转化成败毫瓦级的核心功耗下降,或者等价地——在功耗受限的移动端,把预算让给后端跑更高的频率。Intel 官方资料对 Core 2 时代 LSD 的表述就是"显著降低解码功耗",从 Sandy Bridge 起 LSD 干脆常态开着,不再提供关闭开关,可见它对能效的净收益是明确的。
五、LSD 与 µop cache 的分工:不是替代,是接力
一个自然的疑问是:µop cache 不也能跳过取指解码吗?LSD 是不是多余的?两者其实是接力关系,覆盖的场景不同:
| 维度 | µop cache(DSB) | 循环流检测器 LSD |
|---|---|---|
| 结构 | 较大的组相联 cache(上千 µop 槽位) | 几十项的小队列 |
| 命中依据 | 按分支目标地址索引,通用代码都在用 | 只对重复执行的短循环触发 |
| 命中时功耗 | 跳过取指解码,但仍要读 DSB 阵列 | 连 DSB 读阵列都关掉,最省 |
| 适用代码形态 | 所有热代码(直线流、分支、各种循环) | 单回边、体积极小的紧凑循环 |
| 供给带宽 | 每拍最多约 6~8 条 µop | 每拍最多约 4~6 条 µop,不高于 DSB |
| 覆盖率 | 大部分热路径 | 只占执行时间中"原地打转"的那部分 |
一句话概括分工:DSB 管"别重复解码",LSD 管"别重复读 DSB"。典型程序的执行画像里,DSB 命中率常年在 70%~90% 高位,而其中落在小循环里的那部分执行时间又被 LSD 进一步接管。两个结构层层过滤,把昂贵的取指解码路径压缩到只在冷代码上才真正上场。
六、对写代码和做分析的实际含义
LSD 对程序员不是一个可以直接"编程"的开关,但有几个实操含义值得记住。第一,把最热的小循环写得紧凑(循环体 µop 少、只有一个回边、别嵌套太深)不只对 I-cache 友好,也是在喂 LSD——被 LSD 收编的循环功耗低,在功耗墙受限的机器上等价于更高的可持续频率。第二,做微架构性能剖析时要知道"前端瓶颈"这个说法其实分三层:如果 hot loop 被 LSD 收编,MITE 和 DSB 的计数器可能显示前端近乎闲置,这时候再用"解码吞吐"去解释性能就会误判——顶层分析(Top-down)里应看 IDQ 的 µop 来源拆分(IDQ.MITE_UOPS / IDQ.DSB_UOPS / IDQ.LSD_UOPS 这类 PMU 事件),确认 µop 到底从哪条路来。第三,在服务器上做功耗归因时,看到某个服务的 CPU 功耗明显低于同算力的邻居,别急着怀疑硬件——先检查它是不是把大部分时间花在紧凑小循环里,LSD 和 DSB 正在替前端关灯。
这一篇在知识体系里的位置
本篇是微架构前端系列的一块拼图:上游是 CPU 微架构总览 给出的流水线全貌和 µop cache 与解码前端 讲的 DSB/MITE 双路径;LSD 叠加在这两条路径之上,是前端省电的最后一道闸。省电机制本身依赖 时钟门控与功耗门控 里讲的门控基础设施。往后可以接着读后端侧的结构(如物理寄存器堆、发射队列),看前端省下来的功耗预算在后端是怎么被花掉的。
总结
循环流检测器 LSD 是 x86 前端里一个几十项的 µop 循环缓冲:识别出单回边小循环后,把循环体 µop 锁存重放,同时把分支预测、取指、解码乃至 µop cache 读阵列全部时钟门控——性能上不打折,功耗上把最热小循环的前端开销压到接近零,与 µop cache 形成"通用命中靠 DSB、原地打转靠 LSD"的接力分工。