關鍵數字：頻寬密度超越輝達次世代晶片20倍、功耗降低13.5倍、單卡承載32GB記憶體——這是美國新創d-Matrix在Hot Chips大會上拋出的震撼彈。一家創立不到十年的公司，憑什麼挑戰半導體巨頭？答案可能藏在一個關鍵轉折裡：AI競賽正在從「訓練」走向「推論」。
📊 數據總覽
d-Matrix在本次Hot Chips大會上公布的Raptor晶片規格，幾乎每一項都在挑戰產業常識。我們先把核心數據整理出來，看看這顆晶片到底有多「狂」：
說真的，光看這些數字，你可能會覺得這又是一家新創在「畫大餅」。但Raptor的技術路徑確實跟輝達、AMD走的路不太一樣——它沒有追趕HBM的高速規格，而是用3D DRAM堆疊走出自己的節奏。
解讀一：3D DRAM憑什麼讓功耗直接砍半再砍半？
目前高階AI晶片普遍依賴HBM（高頻寬記憶體），但HBM有個先天硬傷：它的I/O（輸入輸出）介面功耗太高。資料要從記憶體搬運到運算單元，中間的路徑長、能耗大，這是物理限制，不是製程微縮就能解決的。
d-Matrix的Raptor採用的3D DRAM設計，本質上是在「縮短距離」——用晶片對晶片（face-to-face bonding）直接把邏輯晶片堆疊在記憶體上方，最多疊四層。電子傳輸的物理路徑縮短，功耗自然降下來。根據d-Matrix公布的數據，每傳輸1GB資料的功耗比傳統HBM方案低了13.5倍，這不是微幅改善，是數量級的跳躍。
有趣的是，這項技術概念其實跟AMD在Ryzen處理器上應用的3D V-Cache有異曲同工之妙。只是一個用在CPU快取，一個用在AI推論加速。d-Matrix把這個概念放大到機櫃等級，讓它支援大型語言模型的即時推論，這個想法的確有創意。
解讀二：推論晶片和訓練晶片，到底差在哪？
如果你覺得「推論」和「訓練」只是AI術語，那接下來的數字會告訴你為什麼這區別這麼重要。
訓練一顆大型語言模型，可能需要數萬顆GPU跑好幾個月，成本動輒上億美元。但模型訓練完成之後，真正被「使用」的階段叫做推論——也就是當你問ChatGPT一個問題、它生成回答的那幾秒鐘。推論的市場規模其實遠比訓練大，因為每個使用者的每次互動都在消耗推論算力。
d-Matrix執行長Sid Sheth在會上特別強調，Raptor是「推論專用」晶片。這不是偶然——現有的GPU架構本來就是為訓練設計的，拿來做推論就像開大卡車去送披薩，跑得動，但效率很差。Raptor的設計目標很明確：讓每位使用者每秒能處理1,000個tokens左右，對應到實際場景，就是讓AI回答更快、更順、更便宜。
從這個角度來看，Raptor的32GB單卡容量不算大，但它的優勢在於「橫向擴展」——把72張卡串成一個叢集，總頻寬達到每秒拍位元等級。這種設計邏輯更像是在打造一台推論專用的超級電腦，而不是單顆晶片的規格競賽。
趨勢預測：輝達的NVLink Fusion策略透露了什麼？
d-Matrix在Hot Chips上搶盡鋒頭，但輝達也沒閒著。這次大會上，輝達宣布了一項可能比新晶片更值得關注的戰略：NVLink Fusion。
簡單來說，輝達要把自家的NVLink高速互連技術「授權」給第三方晶片業者使用。這代表什麼？代表輝達正在從「賣GPU」的硬體公司，往「AI工廠的基礎設施核心」移動。未來的AI資料中心不一定全部用輝達GPU，但只要互連架構是NVLink，輝達就依然是整個生態系的樞紐。
這招對超微的Infinity Fabric和英特爾的Ultra Path Interconnect來說，壓力不小。輝達等於是在說：如果你們想打造異質運算環境，那互連標準就用我的。這跟PC時代英特爾用CPU綁定PCIe生態系，有某種似曾相識的味道。
編輯觀點：從產業面來看，d-Matrix的Raptor與輝達的NVLink Fusion，其實指向同一個趨勢——AI晶片競爭正在從「單晶片效能」轉向「系統級架構」。頻寬密度20倍的數字當然吸睛，但真正決定勝負的，是三年後誰能讓資料中心營運商算出最低的「每token成本」。Raptor若能量產，最大受益者可能是台積電的先進封裝產能；但輝達手握軟體生態系與互連標準，短時間內仍難以撼動。對台灣半導體廠商來說，這不是選邊站的時候，而是兩邊都要布局的時刻——因為無論誰贏，晶片都要有人做。
數據告訴我們什麼？
回到最根本的問題：Raptor宣稱的20倍頻寬密度領先，真的能轉化成市場優勢嗎？
有幾個現實因素必須考慮。第一，輝達Rubin架構尚未發表，實際規格還是未知數，拿自家新品的「宣稱數據」去對比對手的「未發表產品」，這裡面有行銷成分，不完全是技術比較。第二，d-Matrix是新創，量產能力和客戶驗證週期都是變數。第三，AI軟體生態系的黏著度極高——開發者習慣了CUDA，要他們轉移到新平台，門檻不低。
不過話說回來，AI推論市場才剛剛開始爆炸性成長。根據產業研究機構的推估，全球AI推論晶片市場在未來三到五年的年複合成長率將超過30%。這個市場夠大，大到不需要「打敗輝達」也能活得很好。d-Matrix只要能抓住特定應用場景——比如長上下文視窗的LLM推論、或是邊緣AI伺服器——就有機會站穩腳跟。
對台灣產業界來說，無論是d-Matrix的3D DRAM堆疊，還是輝達的Rubin架構，最終都需要先進製程和先進封裝來實現。台積電目前在CoWoS等封裝技術上的產能，已經成為全球AI晶片的「關鍵瓶頸」。這不只是商機，也是責任——台灣的半導體供應鏈正在定義下一代AI硬體的樣貌，這個位置，短期內還沒有其他國家能取代。
你現在用的每一個AI服務，背後都有人在計算「怎麼讓推論變得更便宜、更快」。Raptor的出現，讓我們看到一種不同的可能。至於這個可能會不會成真，產業界的考驗才剛開始。
你認為AI推論晶片市場，會是「輝達獨大」還是「百家爭鳴」？下次當你使用AI服務時，不妨留意一下回應速度——那背後，就是這些晶片在較勁。
本文改寫整理自公開新聞來源，原始報導由Yahoo奇摩新聞發布。
常見問題 FAQ
Raptor晶片跟輝達的GPU有什麼不同？
Raptor是專門為AI推論設計的晶片，而輝達GPU（如H100）主要用於AI模型訓練。推論晶片更重視低延遲和高吞吐量，訓練晶片則強調浮點運算峰值。Raptor採用3D DRAM堆疊技術降低功耗，而輝達GPU依賴HBM記憶體。
頻寬密度超越輝達Rubin 20倍是真的嗎？
這是d-Matrix在Hot Chips大會上的公開宣稱。需要留意的是，輝達Rubin架構尚未正式發表，實際規格和效能還是未知數。這項數據是基於d-Matrix內部測試與對Rubin公開資訊的比較，建議等兩款產品都量產後再驗證。
3D DRAM技術是什麼？為什麼能省電？
3D DRAM是一種將邏輯晶片直接堆疊在記憶體上方的設計，透過晶片對晶片接合技術縮短電子傳輸距離，減少I/O介面功耗。相較於傳統HBM方案，Raptor的3D DRAM設計可將每傳輸1GB資料的功耗降低約13.5倍。
d-Matrix的Raptor什麼時候會量產？
根據d-Matrix在Hot Chips大會上公布的資訊，Raptor目前處於發表階段，實際量產和出貨時程尚未明確公布。AI晶片從發表到量產通常需要數季到一年的時間，具體時程建議關注d-Matrix的官方後續公告。
台灣半導體產業會從AI推論晶片競爭中受惠嗎？
會的。無論是d-Matrix的Raptor或輝達的Rubin，都需要先進製程和先進封裝技術來生產，而台積電在這兩方面都具有領先地位。AI推論晶片市場的成長，將直接帶動台灣半導體供應鏈的訂單與技術升級需求。
※ 此篇文章由 AI 改寫或生成，內容僅供參考，可能存在錯誤或不準確之處。
