Google 开源 TorchTPU：PyTorch 一行 .to("tpu") 直接跑 Cloud TPU

Google 在 PyTorch Conference 2026 宣布开源 TorchTPU。这是 PyTorch 的原生后端，可以直接在 Google Cloud TPU 上运行 PyTorch 代码。开发者要改的地方很少：原本把模型送上 NVIDIA GPU 的 .to("cuda")，改成 .to("tpu") 就行。TorchTPU 支持 PyTorch 开发者最常用的 eager 模式，还集成了推理框架 vLLM、SGLang、训练框架 TorchTitan 以及 Hugging Face 生态。项目以 Apache 2.0 许可发布，代码分布在四个 GitHub 仓库。

性能方面，Google 自报目前大约覆盖 450 个 ATen 算子（PyTorch 底层的基本运算单元），并称用 8192 颗 TPU v7x 训练 Qwen 3 8B 模型时，MFU（模型浮点运算利用率）达到 52%。这些数据都由 Google 自己公布，目前还没有第三方独立验证。

技术意义：从“转译兼容”走向“原生后端”

过去 PyTorch 要跑在 TPU 上，通常得经过一层编译转换。开发者要适应图编译的思路，调试也比 GPU 麻烦，所以不少团队宁愿留在 CUDA。TorchTPU 主打原生后端加 eager 模式，目的就是让 TPU 的开发体验尽量接近 GPU：写法改动很少，可以逐行调试，也能对接 Hugging Face 生态。至于覆盖度，Google 表示目前约 450 个 ATen 算子可支持常见模型，但 ATen 的算子总数远多于此，覆盖度仍有限；模型如果用到少见或自定义的算子，还是要实测过才知道。

与 NVIDIA CUDA 生态的竞争

NVIDIA 能在 AI 算力市场占主导，硬件之外，CUDA 多年积累的软件生态才是关键，大量 PyTorch 代码默认就是为 GPU 写的。Google 这次直接进入 PyTorch 社区主场，开源 TorchTPU 并对接 vLLM、SGLang 这些热门推理引擎，就是要降低团队从 GPU 迁到 TPU 的成本。52% MFU 如果在其他工作负载上也能做到，大规模训练就算有竞争力。不过换一个模型、换一种规模，结果可能不同，企业不应把这个数字直接当作采购依据。

业界观察重点

开源许可选 Apache 2.0，意味着企业可以放心商用和修改。接下来市场会关注三件事：

• 社区贡献和算子覆盖度扩充得够不够快
• 第三方实测能否复现 Google 公布的性能数据
• 云端 TPU 的实际价格，与 GPU 相比有没有优势

对管理者的意义

AI 算力采购开始有了更务实的替代选项，不必只绑定 NVIDIA GPU。正在租用云端 GPU 做模型微调或推理的企业，下次议价或做预算时，可以要求技术团队用同一个模型分别在 TPU 和 GPU 上试跑，对比成本和速度，用自家数据做决策。记住 Google 公布的性能是自报数据，不能代替实测。