×
In

想像一下,如果在智慧型手機或穿戴式健康裝置這種運算能力有限的硬體上直接執行人工智慧模型,會發生什麼事?這類設備必須具備即時回應的能力,偏偏大型語言模型在邊緣裝置(Edge Device)上運作時,往往會消耗掉好幾 GB 的記憶體,最常見的結果就是跳出記憶體不足的錯誤視窗。過去工程師為了提升訓練效率,經常採用「參數高效微調」(PEFT)技術,只調整模型中一小部分的參數,假設更新幅度越小、記憶體消耗就越少。然而,根據麻省理工學院(MIT)電腦科學與人工智慧實驗室(CSAIL)與哈佛大學(Harvard University)發表在預印本伺服器 arXiv 上的最新研究顯示,事情並沒有想像中那麼簡單。

現象觀察:模型運作時的記憶體激增困境

這項研究的核心問題在於,當大型語言模型從各式各樣的資料中進行學習時,會在一個隱蔽的空間內寫下所有的心智筆記,這項機制被稱為「中繼活化儲存」(Intermediate Activation Storage),用來描述其龐大的計算過程。正因如此,記憶體的使用量在這些瞬間會出現極具陡峭的尖峰。為了克服這項難題,CSAIL 的工程師開發出名為「低記憶體活化秩子空間」(Low-memory Activation Rank Subspace,簡稱 LARS)的方法,將這些細節濃縮匯集,而不是把每一項計算結果通通存下來。這種作法讓大型語言模型在圖形處理器(GPU)上的記憶體佔用率減少超過 23%,在中央處理器(CPU)上則減少約 47%。

原因剖析:從講課筆記看 LARS 的精簡邏輯

首先,研究人員必須面對硬體記憶體容量升級速度遠不及模型成長的現實。麻省理工學院電機工程與電腦科學系(EECS)博士生兼 CSAIL 研究員愛琳・特尼斯(Irene Tenison)指出,這就像去聽一場演講,與其把學到的東西全部逐字抄錄下來,不如用幾句話重新總結。其次,LARS 正是以這種邏輯協助微調參數。再者,當使用者希望裝置內建的大型語言模型分析長篇上下文時,LARS 的優勢便會浮現。最後,這項技術讓智慧手錶等微型裝置在分析心率等連續數據時,不再需要將所有資料傳送到雲端處理。

影響評估:樹莓派實測與硬體效能的微妙權衡

為了徹底釐清 LARS 究竟能省下多少記憶體,研究團隊將這項方法實際應用在具備 8 GB 上限的邊緣運算裝置「樹莓派 5」(Raspberry Pi 5)上。他們結合 LARS 與頂級的 PEFT 方法「LoRA」來調整模型參數,發現在上下文長度達到 128,000 時,LARS 多省下了 9% 的記憶體,且記憶體節省幅度會隨著上下文長度拉長而增加。不過,當研究人員在記憶體更充足的晶片上要求模型回答更詳細的問題時,也發現了一項微妙的權衡:LARS 雖然比所有基準方法省下更多 GB,但準確度比 LoRA 稍微低了一些。話雖如此,在處理需要總結詳細資訊的長上下文提示時,LARS 展現了最佳的記憶體節約與競爭力表現。

從產業面來看,邊緣 AI 的發展過去一直受限於硬體記憶體的物理極限,而 LARS 的出現等於是替終端設備開了一扇窗。換個角度想,當智慧型裝置不需要隨時連回雲端,不僅能大幅降低延遲,更能解決隱私外洩的疑慮。對一般人來說,這意味著未來我們的穿戴裝置和手機,將能真正具備在地化的強大分析能力,而不只是個會連網的裝飾品。

趨勢預測:邁向永續發展的邊緣人工智慧

首先,LARS 的記憶體效率直接對能源消耗產生了下游影響。研究團隊在 CPU 上透過短、中、長三種提示詞進行測試,發現該方法比同類基準方法減少大約 22% 的電力與能源消耗。其次,特尼斯強調這顯示 LARS 可能是一種更具永續性的大型語言模型微調方法。再者,為了將記憶體節省效果發揮到極致,MIT CSAIL 的方法還能與其他優化注意力機制、凍結特定資料處理層、或進行模型量化的工具相結合,因為這些工具並未處理模型中繼的隱藏計算。最後,這些互補的方法若能搭配使用,預期將能省下更多能源,為未來的人形機器人與工廠即時監控鋪平道路。

如果你身處邊緣運算或人工智慧開發領域,現在正是重新評估裝置端模型架構的最佳時機。建議開發團隊開始檢視現有系統中「中繼活化儲存」所造成的記憶體負擔,並評估將 LARS 這類記憶體優化技術導入硬體測試流程的可行性,以因應未來更龐大的長上下文處理需求。

本文改寫整理自公開新聞來源,原始報導由Tech Xplore發布。

常見問題 FAQ

什麼是 LARS 方法?

LARS 全稱為「低記憶體活化秩子空間」(Low-memory Activation Rank Subspace),是麻省理工學院 CSAIL 開發的方法,透過將大型語言模型訓練時的中繼計算細節濃縮,大幅降低邊緣裝置的記憶體佔用與能源消耗。

LARS 能應用在哪些硬體設備上?

LARS 可以應用在圖形處理器(GPU)、中央處理器(CPU),以及像樹莓派 5(Raspberry Pi 5)這類記憶體受限的小型邊緣運算裝置、智慧手錶與工廠監控設備上。

使用 LARS 會影響 AI 模型的準確度嗎?

研究發現 LARS 在節省大量記憶體的同時,在處理一般問題時的準確度會比傳統的 LoRA 方法稍微低一些,但在處理長上下文提示的總結任務時,則能維持相當具競爭力的表現。

※ 此篇文章由 AI 改寫或生成,內容僅供參考,可能存在錯誤或不準確之處。

Related Posts

In

萬元級智慧手錶怎麼選?外媒評選5款長續航與雙頻定位神機

一句話總結:外媒最新評選出五款萬元級智慧運動...

Read out all
In

歐國聯八強抽籤出爐:英格蘭強碰挪威哈蘭德,西法大戰提前上演

事件總覽:從歐國聯小組賽的驚奇收官,到瑞士尼...

Read out all
In

兩棲類救星?最新研究揭露疫苗能有效降低致命壺菌感染率

一句話總結:大型統合分析研究證實,透過免疫接...

Read out all
In

美國外交關係協會點名讚賞!衣索比亞經濟改革如何吸引外資目光?

當華府的重量級智庫高層親自踏上東非土地,看著...

Read out all