从跑分到真实负载：AI推理芯片能效数据的四层拆解

结论前置：能效数据不是单一数字，先看口径再看场景

在人人看球赛事解读栏目里，我们习惯先把结论摆出来：AI推理芯片的能效表现，不能只看厂商标称的“每瓦算力”一个数字。这个数字背后至少有四层变量——算力以什么精度计量、数据在内存层级间搬了多少次、批处理规模设成多少、散热与功耗墙如何设定。任何一层口径不同，横向比较就会失真。读懂公开规格书的第一步，不是比大小，而是比口径。

对观赛型读者来说，这有点像看一支球队的控球率：控球率高不等于赢球，还要看推进效率与转化率。芯片能效也是同理，标称值只是起点，真实负载下的表现才决定它在端侧或边缘侧是否可用。人人看球在整理赛事数据时强调来源可核验，这个原则同样适用于芯片参数阅读。

第一层：算力口径——INT8、FP8还是稀疏算力

核心信息：同一颗芯片在不同精度下的算力数字可能相差数倍，比较前必须确认精度与是否计入稀疏加速。

公开规格书通常会给出一组精度档位，例如INT8、FP8、FP16乃至更低的INT4。推理场景中，量化程度越高，理论算力越大，但精度损失带来的效果回退需要单独评估。另一个常见变量是稀疏算力：部分架构对结构化稀疏有额外加速，标称峰值可能默认开启稀疏，而实际模型未必能用满。人人看球建议读者在记录数据时，把“精度+是否稀疏+是否含稀疏加速”三项写在一起，形成可比较的三元组，而不是只抄一个峰值。

核对点一：规格书标注的是峰值算力还是持续算力。
核对点二：精度档位是否与目标模型的实际量化方案一致。
核对点三：稀疏加速是否默认计入，实际负载能否触发。

第二层：内存层级——带宽与容量往往比峰值算力更卡脖子

核心信息：推理阶段的瓶颈常出现在数据搬运而非计算本身，显存带宽、片上缓存容量与片外访存次数决定了能效的真实上限。

大模型推理的解码阶段具有明显的访存密集特征，每生成一个词元都要把权重与缓存读一遍。此时芯片的能效表现，很大程度上取决于内存带宽与缓存命中率，而不是峰值算力。公开资料里可以关注三类信息：片外内存类型与带宽、片上SRAM容量、以及是否支持权重压缩与KV缓存优化。人人看球在数据整理中会把这几项单列成表，避免读者被单一算力数字带偏。需要提醒的是，涉及具体带宽数值时，应以厂商公开规格书为准，无法核验的部分我们标注为示例数据。

对端侧AI芯片而言，内存容量还直接决定能跑多大的模型。容量不足时，模型需要分片或换出，能效会明显下降。因此“每瓦算力”之外，还应补一个“每瓦可用内存带宽”的观察角度。

第三层与第四层：批处理规模与散热条件

核心信息：批处理规模改变计算与访存的比值，散热与功耗墙决定芯片能否长时间维持高频，两者共同影响实测能效。

批处理规模较小时，推理更偏访存密集，能效受带宽制约；批处理规模增大后，计算密度上升，能效曲线可能改善，但延迟也会增加。云端推理与端侧推理对批处理的取舍完全不同，直接拿云端高批处理下的能效数字去推断端侧表现，是常见的误读。散热条件同样关键：被动散热的端侧设备与主动散热的数据中心节点，功耗墙设定差异很大，短时峰值与长时持续值可能不在一个量级。

人人看球建议读者建立一张四列核对表：算力口径、内存层级、批处理假设、散热与功耗墙。四列齐全，数据才有比较意义。评论区的讨论也欢迎按这个框架展开，而不是只贴一个跑分截图。