NVIDIA在AI硬體戰局中再度出招，今日正式發表新一代高頻寬記憶體技術「NVHBM」。這項技術不僅能比標準HBM4E提升最高30%的記憶體頻寬、降低15%功耗，更重要的是，它透過將記憶體控制器從XPU運算晶片移至HBM基底晶片，一舉為運算核心釋放多達25%的寶貴面積。而這項技術的第一個合作夥伴也同步揭曉——Amazon旗下晶片設計公司Annapurna Labs將率先導入，並從新一代Trainium4晶片開始支援NVLink Fusion架構。
記憶體瓶頸才是真魔王：NVHBM的設計邏輯
AI圈這幾年瘋算力，GPU旗艦晶片越做越大顆，但說真的，大家心裡有數：真正卡住效能的，往往不是運算單元不夠多，而是記憶體餵不飽它們。傳統HBM架構把記憶體控制器直接塞在XPU晶片上，等於在珍貴的運算用地蓋了倉庫，佔空間又發熱。NVIDIA這次推出的NVHBM，反其道而行，把控制器搬到HBM的3D堆疊基底晶片裡，讓XPU晶片可以專心做運算這件事。
有趣的是，這種「分工」思維並非全新發明，但NVIDIA的厲害之處在於——他們把這套本來要給自家未來GPU用的技術，現在開放給NVLink Fusion的客戶使用。這意味著，那些想打造半客製化AI晶片的超大規模雲端服務商，可以直接「繼承」NVIDIA在記憶體控制器的設計功力，不必從零開始苦撐。根據NVIDIA公布的數據，NVHBM在頻寬、功耗、面積三個維度上同時交出漂亮成績單，這在硬體界並不多見。
Amazon為何搶頭香？Annapurna Labs的戰略算盤
Amazon旗下的Annapurna Labs成為首家參與NVHBM技術合作的廠商，這件事其實透露不少訊息。Annapurna Labs副總裁Nafea Bshara說得很白：「NVHBM代表了一種提升高頻寬記憶體效能與效率的全新架構方式。」但我們都知道，Amazon的野心從來不只是「提升效能」這麼單純。
從Trainium4開始，Annapurna Labs將在新一代Trainium晶片中支援NVLink Fusion，這意味著Amazon自家晶片與NVIDIA GPU可以在共通的機架級架構下協同運作。換句話說，AWS資料中心未來的基礎設施設計，將不再是「NVIDIA GPU擺一邊、Trainium擺另一邊」的兩套系統，而是能夠混搭、靈活調度、統一管理的運算叢集。這對AWS的企業客戶來說，等於多了更多彈性選擇——你可以在同一個機櫃裡，讓Trainium負責推論、NVIDIA GPU負責訓練，各取所長。
- NVHBM的三大技術亮點：頻寬比HBM4E高出30%、功耗降低15%、XPU運算面積釋放25%
- 架構核心變革：記憶體控制器從XPU移往HBM基底晶片，是3D堆疊設計的新應用
- 首波合作夥伴：Amazon Annapurna Labs從Trainium4起導入NVLink Fusion支援
- 產業意義：NVIDIA從「賣GPU」走向「賣機架級架構標準」，生態圈佈局更進一步
NVLink Fusion不只是技術，更是生態圈話語權
話說回來，NVIDIA這幾年一直在做的就是同一件事：把「加速運算」的定義權牢牢抓在手裡。從GPU、NVLink、NVSwitch到現在的NVHBM，NVIDIA打造的是一整套機架級解決方案，而不只是單顆晶片。NVLink Fusion讓合作夥伴能把自家的客製化XPU和CPU連接至NVIDIA的機架級平台，等於開放了一個「插孔」，讓別人可以加入NVIDIA定義的運算生態系。
但這裡有個微妙的矛盾：合作夥伴既是受益者，也是被「綁定」的一方。Amazon願意上車，當然是因為Trainium能因此獲得更好的記憶體效能與機架整合效率；但從另一個角度看，AWS資料中心未來的基礎設施設計，將越來越離不開NVIDIA定義的架構框架。這是NVIDIA很高明的一步棋——我不是在賣你晶片，我是在賣你「與我相容的資格」。
編輯觀點：從產業面來看，NVHBM的推出標誌著AI硬體競爭已從「單晶片算力軍備競賽」轉向「機架級系統整合能力的較量」。NVIDIA正在做的事情，其實很像智慧型手機時代的ARM——透過開放架構授權與關鍵IP，讓亞馬遜、微軟等雲端巨頭成為生態系夥伴而非敵人。對台灣半導體供應鏈來說，這代表HBM相關的測試、封裝、基板需求將迎來新一波升級動能，尤其是3D堆疊記憶體製程的良率與成本控制，將成為未來兩年的決勝點。但話說回來，當所有超大規模業者都採用NVLink Fusion架構，NVIDIA對整個AI基礎設施的規格主導權會不會大到他說了算？這或許是產業界該開始思考的反壟斷命題。
展望與影響：AI基礎設施的「共同設計」時代來臨
NVIDIA這次的新聞稿中有一個關鍵詞值得玩味：「共同設計」（co-design）。AI基礎設施的效能，不再只靠運算晶片單打獨鬥，而是運算、記憶體、儲存、網路與軟體必須被視為一個統一的系統來設計。NVHBM正是在這個思維下的產物——它不只是換了一顆更快、更省電的記憶體，而是從系統層級重新思考記憶體控制器該放在哪裡、誰來定義傳輸協定、如何讓不同廠牌的晶片在同一個機櫃裡順暢對話。
對終端使用者來說，這項技術的普及還需要一段時間，但可以預見的是，未來兩年內，雲端上的AI訓練成本可望進一步下降，推論延遲也將因記憶體頻寬的提升而獲得改善。而對那些正在考慮自研AI晶片的新創公司來說，NVLink Fusion等於提供了一條捷徑——你不需要從頭打造整個機架系統，只要你的XPU能接上NVIDIA的架構，就能享有頂級的記憶體效能。
如果你是AI新創的技術決策者，現在該問自己的問題是：在NVIDIA主導的機架級生態系中，你要選擇「相容共存」，還是另闢蹊徑？這個決定，將影響你未來三年的硬體路線圖與資本支出規模。
本文改寫整理自公開新聞來源，原始報導由Yahoo奇摩新聞發布。
常見問題 FAQ
NVHBM跟標準HBM4E有什麼不一樣？
NVHBM是NVIDIA自行定義的高頻寬記憶體技術，最大差異在於將記憶體控制器從XPU運算晶片移到HBM的3D基底晶片中，相較標準HBM4E可提升30%頻寬、降低15%功耗，並為XPU釋放25%的面積。
Amazon為什麼要先導入NVHBM？
Amazon旗下Annapurna Labs從Trainium4開始支援NVLink Fusion，導入NVHBM能讓Trainium晶片與NVIDIA GPU在共通機架級架構下協同運作，提升AWS資料中心基礎設施的設計彈性與運算效率。
NVHBM對台灣半導體產業有什麼影響？
NVHBM採用3D HBM堆疊設計，將帶動HBM相關的測試、封裝、基板等半導體供應鏈迎來新一波升級需求，尤其對記憶體封裝良率與成本控制的要求將更高，建議相關業者提前布局。
※ 此篇文章由 AI 改寫或生成，內容僅供參考，可能存在錯誤或不準確之處。
