TPUv7在AgentX测试中成本效率领先

Google的TPUv7(又称Ironwood)在AgentX智能体推理测试中的每美元性能,为Nvidia GB300 NVL72机架系统的1.42至1.67倍。测试使用3970亿参数的Qwen3.5模型;Google方案采用FP8,Nvidia采用FP4。硬件规模也不同:TPUv7测试使用4颗芯片,Nvidia系统则为72颗GPU。

这组结果值得关注之处,在于它比较的是长上下文、多轮交互任务的推理成本,而非模型训练能力。智能体任务需要模型连续处理多个步骤,单次响应速度并不能完整体现系统吞吐和服务成本,因此每美元性能更贴近这类工作负载的采购考量。

精度与规模差异限制横向推论

FP4使用的数值位数少于FP8,通常更有利于降低内存占用并加快计算。Google在采用相对不激进的FP8格式时仍取得更高的每美元性能,是测试中的一个具体优势;但两套系统的芯片数量和精度设置不同,结果不能直接解读为单颗芯片速度或所有推理任务上的普遍领先。

我们的判断是,AgentX数据支持TPUv7在特定智能体负载下具备成本竞争力,但要判断这一优势能否外推到更广泛的生产环境,还需观察其他模型和独立测试是否得出相近结果。测试结论本身并不能证明整体采购成本或所有服务场景都更低。

外部客户与软件适配影响扩张

Google自2013年起开发TPU,过去主要用于自身服务。SemiAnalysis称,Oracle、OpenAI、Anthropic和Meta已成为外部客户;其中Anthropic承诺采购超过100万颗TPU,Oracle计划从2027年起通过Oracle Cloud Infrastructure转售TPU。OpenAI据称正准备承诺直接采购,仍属于尚待落实的安排。

TPU能否扩大应用,还取决于开发者常用工具的适配。Google已与PyTorch团队以及vLLM、SGLang、llm-d和Ray等项目合作。若这些工具持续完善TPU支持,客户迁移硬件时可能少做软件改造;但客户名单和框架合作并不等同于已披露的实际使用规模。后续需观察OpenAI采购安排是否正式化、Oracle于2027年的部署进展,以及其他模型的基准测试结果。