專欄 AI 管理編年史 第 38/217 講 查看課程目錄

NVIDIA發表Blackwell架構:兆級AI模型運算成本降25倍、推論提速30倍

18/03/2024 252
3:14
NVIDIA發表Blackwell架構:兆級AI模型運算成本降25倍、推論提速30倍

NVIDIA於GTC大會發表新一代Blackwell GPU架構,宣稱可讓兆級參數大型語言模型的執行成本與能耗降低最高25倍,訓練速度為前代Hopper的4倍、推論速度達30倍,AWS、微軟、Google等雲端業者已宣布採用。

NVIDIA於3月18日在年度GTC大會上正式發表新一代GPU架構平台「Blackwell」,作為2022年發表的Hopper架構之後繼者。執行長黃仁勳在主題演講中宣稱,採用Blackwell架構的系統可讓組織以最高25倍更低的成本與能耗,即時執行參數規模達到「兆級」的生成式AI大型語言模型;相較於前代Hopper,訓練速度號稱提升4倍,推論(即模型實際回答問題、生成內容的運算階段)速度更號稱提升達30倍——兩項是不同面向的效能宣稱,並非同一個「25倍」。

與架構同時發表的,還有將兩顆Blackwell GPU與一顆Grace CPU整合封裝的「GB200 Grace Blackwell」超級晶片,以及名為NVIDIA NIM的推論微服務——一套讓企業更簡便地將預訓練AI模型部署到自家雲端或地端環境的軟體工具。NVIDIA同步宣布,AWS、微軟Azure、Google Cloud等主要雲端服務業者,都已確認將在其資料中心採用Blackwell架構的運算系統。

技術意義:從「訓練得起」到「用得起」

過去兩年生成式AI的競賽焦點多半放在模型參數規模與訓練能力,但企業實際導入AI時面臨的最大障礙,往往是「執行」——模型上線後每次回答一個問題所需的運算成本——貴到難以規模化。Blackwell主打的訊息很清楚:不是模型能不能訓練出來,而是訓練出來之後能不能用得起。若25倍成本與能耗下降的宣稱能在實際部署中兌現,過去只有極少數科技巨頭負擔得起的兆級參數模型,未來成本門檻將大幅降低。

與前代比較、業界反應:平台化策略換來集體押注

相較於Hopper單純比拚晶片運算力,Blackwell這次晶片、伺服器封裝(GB200)與軟體服務(NIM)三者一起推出,顯示NVIDIA要把「企業從取得算力到實際部署AI應用」的整條路徑都納入產品線。這也解釋了為何AWS、微軟、Google幾乎同步表態採用——對雲端業者而言,Blackwell代表下一輪AI服務降價與擴容的基礎設施,而目前企業導入生成式AI最大的抱怨之一,正是API呼叫成本與延遲。若效能宣稱大致兌現,未來一到兩年企業自建或採購AI能力的單位成本可望明顯下降。

對管理者的意義

這則新聞對管理者最直接的啟示,並非要立刻採購新硬體,而是提醒:AI導入的「成本天花板」正在快速下移。過去因運算成本太高而暫緩評估的AI應用(例如即時客服對話、大量文件摘要、供應鏈預測模型),一到兩年內重新估算成本效益時,很可能已跨過可行門檻,值得在年度技術盤點時重新排入評估清單。

測驗檢核:驗證你的理解
5 篇 · 答對 80% 通過,通過後計入學習履歷 登入後即可測驗
問 AI:這篇文章怎麼用在我的管理上?
內容由 AI 根據本文輔助生成,僅供參考,請自行判斷準確性。
下一講・AI 管理編年史 Google Cloud Next 2024:Gemini 1.5 Pro 開放公開預覽

相關文章

我們使用必要 Cookie 維持登入與語言設定,並記錄使用行為以改善服務。你可以只保留必要項目。 隱私權政策