谷歌云 11 月 17 日公布了第七代 Ironwood TPU 的十项基准成绩。其中最值得读两遍的不是最大的集群,而是首个专门为智能体强化学习构建的 MLPerf 基准。
数字
一个 640 块芯片的 Ironwood 集群在编码基准上 18.02 分钟达到目标精度,芯片空转时间占比低于 3%。谷歌同时公布了前沿预训练等负载的成绩。
空转率是实践者最该盯的数字。大规模训练里,好集群和平庸集群的差别很少在峰值吞吐,而在于这些昂贵芯片有多少时间在等数据、等集合通信、等一个掉队的节点。低于 3% 是一个关于互联和调度器的声明,不只是关于芯片。
为什么智能体强化学习是另一种基准
Agent 的强化学习形状很别扭。它不是把一个巨大的矩阵乘法重复几周,而是跑几千次很短的 rollout:模型行动、环境回应、奖励返回、权重更新。环境常常是一个跑着真实程序的容器,这意味着集群有大量时间在等不是矩阵运算的东西。
这就是为什么传统训练基准会高估那些不擅长这类负载的硬件。一个为稠密矩阵乘法优化的芯片可以在预训练上极强,在智能体强化学习上却很平庸,因为瓶颈转移到了调度和「如何喂饱几千个小作业」。
MLPerf 增加这个类别,比任何一个单项分数都重要。它给买家一个能反映他们真正开始跑的负载的数字。
谷歌真正在卖什么
TPU 一直按总拥有成本卖,而不是按峰值 FLOPS 卖,这次延续了这个思路:一个机架级数字、一个空转率数字,和一个与训练预算流向一致的基准。
战略背景和英伟达一样。两家都在论证约束已经是集群而不是芯片,也都在公布利用率指标,因为差异化就在那里。
保留意见
基准由厂商配置、在厂商集群上跑。640 块是一个刚好是 pod 整数倍的特定规模,6400 块不会线性放大,也没有人声称会。
还有软件问题。模型落在受支持的算子集里,JAX on TPU 很好用;落不进去就很痛。写了大量自定义 kernel 的团队必须先测,而且要用自己的模型测,不是跑基准套件。
更大的图景
三件事在收敛:训练正转向大量短 rollout,推理正在成为主要成本,单机架功率成为硬约束。一代为智能体强化学习调优的 TPU,是对这三件事同时下注。
如果这个判断对,明年值得比较的就不是峰值 FLOPS,而是「完成一个智能体回合的成本」——这个指标目前没人公布,而它会决定哪些集群被建起来。