Google 開源 TorchTPU：PyTorch 一行 .to("tpu") 直接跑 Cloud TPU

Google 在 PyTorch Conference 2026 宣布開源 TorchTPU，這是 PyTorch 的原生後端，可以直接在 Google Cloud TPU 上執行 PyTorch 程式。對開發者來說，改動很小：原本把模型送上 NVIDIA GPU 的 .to("cuda")，改成 .to("tpu") 就行。TorchTPU 支援 PyTorch 開發者最常用的 eager 模式，也整合了推論框架 vLLM、SGLang、訓練框架 TorchTitan 和 Hugging Face 生態系。專案以 Apache 2.0 授權發布，程式碼分在四個 GitHub repo。

效能部分，Google 自報目前大約涵蓋 450 個 ATen 運算（PyTorch 底層的基本運算單元），並說用 8192 顆 TPU v7x 訓練 Qwen 3 8B 模型時，達到 52% 的 MFU（模型浮點運算使用率）。這些數字都由 Google 自己公布，目前還沒有第三方獨立驗證。

技術意義：從「轉譯相容」走向「原生後端」

過去 PyTorch 想跑在 TPU 上，通常要經過一層編譯轉換。開發者得習慣圖編譯的思路，除錯也比 GPU 麻煩，所以很多團隊寧可留在 CUDA。TorchTPU 主打原生後端加 eager 模式，目的就是讓 TPU 的開發體驗盡量貼近 GPU：寫法改動很少、可以逐行除錯，也能接上 Hugging Face 生態。至於覆蓋度，Google 表示目前約 450 個 ATen 運算可支援常見模型，但 ATen 的運算總數遠多於此，覆蓋度仍有限；如果模型用到少見或自訂的運算，還是要實際測過才知道。

與 NVIDIA CUDA 生態的競爭

NVIDIA 能在 AI 算力市場佔主導，硬體之外，CUDA 累積多年的軟體生態才是關鍵，大量 PyTorch 程式預設就是為 GPU 寫的。Google 這次直接進到 PyTorch 社群主場，開源 TorchTPU 並接上 vLLM、SGLang 這些熱門推論引擎，就是要降低團隊從 GPU 換到 TPU 的成本。52% MFU 如果在其他工作負載上也做得到，大規模訓練就算有競爭力。不過換一個模型、換一種規模，結果可能不同，企業不應把這個數字直接當成採購依據。

業界觀察重點

開源授權選 Apache 2.0，代表企業可以放心商用和修改。接下來市場會盯三件事：

• 社群貢獻和運算覆蓋度擴充得夠不夠快
• 第三方實測能不能重現 Google 公布的效能數字
• 雲端 TPU 的實際價格，和 GPU 相比有沒有優勢

對管理者的意義

AI 算力採購開始有了更務實的替代選項，不必只綁 NVIDIA GPU。正在租用雲端 GPU 做模型微調或推論的企業，下次議價或做預算時，可以要求技術團隊拿同一個模型分別在 TPU 和 GPU 上試跑，比較成本和速度，用自家數據做決定。記得 Google 公布的效能是自報數字，不能取代實測。