×
In

根據NVIDIA於Hot Chips 2026大會(2026年8月23至25日,美國史丹佛大學)發布的最新資訊,Gorq 3 LPX機櫃已正式進入全面生產(Full Production)狀態。這不是一場學術演練,而是一份明確的商業宣言——在特定條件下,這套系統能帶來現有頂尖API服務4倍的Token輸出效能。換句話說,AI資料中心長期以來的算力瓶頸,可能在這一刻被硬生生撬開了一道裂縫。

每秒3,431組Token:當數字開始說故事

NVIDIA給出的實測數據相當直接。在執行上下文長度為100K組Token的Gemma 4 31B模型推論工作負載時,Gorq 3 LPX的Token輸出速度達到每秒3,431組。對照目前公開API服務效能參考指標的每秒870組,這個數字直接拉出了將近4倍的差距。

這不是實驗室裡的理想值,而是基於真實模型、真實場景的驗證結果。對於營運AI服務的業者來說,Token吞吐量直接對應到兩個最敏感的商業指標:回應速度與單位成本。當延遲被壓縮、輸出量被放大,同一套硬體能承載的用戶請求數就會以倍數成長——這不是最佳化,這是重新定義效率的邊界。

Gorq 3 LPX機櫃解剖:256顆LPU與640 TB/s的頻寬美學

要理解這4倍效能從何而來,得先拆開這座機櫃。Gorq 3 LPX採用全水冷設計,內部搭載256顆Groq 3 LPU(語言處理器),晶片內部SRAM總容量達128GB,傳輸頻寬高達640 TB/s。這些數字背後的核心思維是:把記憶體盡可能靠近運算單元,縮短資料移動的物理距離,從而壓縮Token生成的延遲。

更具戰略意義的是,Gorq 3 LPX不是來取代Vera Rubin系統的——它是來「協同作戰」的。根據NVIDIA的規劃,Gorq 3 LPX能夠與Rubin GPU搭配,分工執行AI模型中不同層級的運算任務。這種混合架構讓Rubin GPU負責密集的矩陣運算,Groq LPU專注於解碼與Token輸出,各自發揮最擅長的部分,整體系統效益反而大於單純堆疊算力

編輯觀點
從產業面來看,Gorq 3 LPX的戰略價值不在於單櫃效能,而在於它驗證了一條新的技術路徑:專用化晶片協同通用GPU,而非把所有工作都塞給同一種處理器。這對於正在評估資料中心升級的企業來說,意味著採購決策將變得更複雜,但也更有彈性。NVIDIA很聰明地沒有讓Gorq取代Rubin,而是讓它補足Rubin不擅長的部分——這種「分工不取代」的生態系思維,反而讓客戶更難離開NVIDIA的架構。話說回來,當系統設計越來越複雜,維運門檻也隨之提高,這對於欠缺頂尖工程團隊的中小型業者,會是一道不小的考驗。

不只是機櫃:Spectrum-X如何打通Scale-Out的任督二脈

單一機櫃再強,如果串不起來,在超大規模資料中心面前仍然只是孤島。NVIDIA在Hot Chips 2026同步揭露了Spectrum-X乙太網路交換器架構的關鍵突破——透過Multi-Rail多層網路架構,單一系統最高可同時連接512,000組GPU

這個數字的意義,需要對照組才能凸顯。先前以2層交換器拓撲連接的規模上限是2,048組GPU,而Spectrum-X直接把這個天花板推高了250倍。對於正在訓練超過兆級參數模型的AI實驗室來說,這不只是規格升級,而是能否繼續擴大模型規模的生死門

不過,更大的規模也意味著更大的風險。當數萬個節點同時運作,單一節點失效幾乎是常態,而非例外。NVIDIA對此提出的對應方案是Spectrum-X的進階最佳化路由功能——平時自動調度網路頻寬以改善整體工作效率,當單一節點失效時,仍能維持整體網路90%的頻寬。這組數據透露的訊息是:NVIDIA不僅在追求極限效能,也開始認真面對大規模部署的可靠性問題。畢竟,理論算力再高,如果網路瓶頸讓一半的GPU在等待資料,那一切都是紙上談兵。

Scale-In與Scale-Across:NVIDIA正在重新定義擴展的邊界

NVIDIA在會中提出了幾個擴展層級的分類架構,值得特別留意。Scale-Up是機櫃內透過NVLink串接GPU;Scale-Out是透過網路連接多組機櫃;Scale-Across則是將不同地理位置的資料中心透過廣域網路合成單一運算節點。而在這三者之外,還有一個概念正在浮現——Scale-In

Scale-In的邏輯是:與其不斷外接更多元件,不如把分散的功能整合進單一晶片。NVIDIA以BlueField-4網路平台與DOCA API為例,說明如何將虛擬私有雲網路、儲存裝置連接、資安防護、管理監控等功能,全部濃縮進一張智慧型網路卡。這套策略的商業意圖很明確:降低總體擁有成本(TCO)。當資料中心營運者面臨電力、空間、散熱的多重壓力時,Scale-In提供了一條不需要大興土木就能提升效率的捷徑。

「NVIDIA表示BlueField-4網路平台與DOCA API就符合Scale-In概念,能將原本需諸多元件的虛擬私有雲網路、儲存裝置網路連接、資安防護、管理、監控等功能集合至單一智慧型網路卡。」

另一方面,Spectrum-X的Multi-Rail架構則是在Scale-Out維度上徹底打開了邊界。從2,048組GPU到512,000組GPU,這個跳躍不只是技術上的突破,更暗示了NVIDIA對未來AI模型規模的預期——參數量破兆的模型將成為常態,而資料中心必須具備支撐這種規模的網路韌性

數據背後的啟示

綜觀NVIDIA在Hot Chips 2026的這場發表,Gorq 3 LPX的4倍效能突破與Spectrum-X的網路擴展能力,共同指向一個清晰的戰略方向:NVIDIA正在從「GPU供應商」轉型為「AI基礎設施架構的定義者」。從晶片、機櫃、散熱、網路到跨資料中心調度,NVIDIA提供的已經不只是單一元件,而是一整套垂直整合的解決方案。

對於企業決策者來說,這裡面藏著一個務實的提問:當NVIDIA把效能與擴展性的門檻拉到這麼高,自有算力與雲端服務之間的取捨,是否該重新計算?根據NVIDIA提供的參考數據,Vera Rubin世代NVL72系統在執行特定工作負載時,消耗相同電力的條件下最高能提升30倍Token吞吐量——這不是線性成長,而是指數級的跨越。如果這套架構真能如NVIDIA所說,在全面生產後穩定供貨,那麼2027年的AI資料中心面貌,恐怕會跟現在完全不同。

筆者撰稿時,Hot Chips 2026的實體入場券已全數售罄,有興趣關注後續議程的讀者仍可註冊線上虛擬參加(需收費,美金5元起)。這場會議的熱度,某種程度上也反映了整個產業對AI算力下一步發展的迫切關注。

給資料中心營運者的行動思考
當Gorq 3 LPX把Token輸出效率推進到現有標準的4倍,你目前的推論架構還有競爭力嗎?建議重新審視接下來12個月的硬體採購計畫——不是急著下單,而是先把工作負載拆解,評估哪些層級適合交給LPU、哪些仍由GPU處理。盲目跟進頂級規格不見得是最佳解,但忽略4倍的效能落差肯定會是風險。趁著這波世代交替剛啟動,現在就盤點既有系統的瓶頸點,才能在供應鏈開始調整時,掌握優先布局的主導權。

本文改寫整理自公開新聞來源,原始報導由T客邦發布。

常見問題 FAQ

Gorq 3 LPX 的 4 倍效能是在什麼條件下測出來的?

這項數據是在執行上下文長度為 100K 組 Token 的 Gemma 4 31B 模型推論工作負載下,比較 Gorq 3 LPX 與目前公開 API 服務效能參考指標(每秒 870 組 Token)所得出的結果,實際部署時的效能增益會因模型結構與硬體配置而異。

Gorq 3 LPX 會取代 NVIDIA 的 Vera Rubin 系統嗎?

不會。根據 NVIDIA 的規劃,Gorq 3 LPX 是設計來與 Vera Rubin 系統互補協作的,讓 Rubin GPU 與 Groq LPU 各自負責 AI 模型中的不同運算層級,以提升整體解碼效能與 Token 輸出量,屬於協同運算關係而非取代關係。

Spectrum-X 的 512,000 組 GPU 連接上限是理論值還是實際可部署的規模?

這是 NVIDIA 在 Hot Chips 2026 公布的架構規格上限,代表基於 Spectrum-X 多層網路架構的設計,單一系統最高可達到此連接數量。實際部署規模仍取決於資料中心的網路基礎設施、電力供應與散熱條件等現實因素。

Gorq 3 LPX 什麼時候可以開始出貨?

NVIDIA 已於 Hot Chips 2026 大會(2026 年 8 月)宣布 Gorq 3 LPX 機櫃進入全面生產(Full Production)狀態,代表已脫離研發或試產階段,具備正式量產與出貨的能力。

※ 此篇文章由 AI 改寫或生成,內容僅供參考,可能存在錯誤或不準確之處。

Related Posts

In

英特爾18A-P製程實測數據曝光!Diamond Rapids處理器能否翻轉資料中心戰局?

就在半導體業界還在消化台積電背面供電技術的進...

Read out all