麻省理工學院電腦科學與人工智慧實驗室（CSAIL）研究團隊近日發表最新研究〈Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights〉，指出大型語言模型已展現出直接讀取、分析與修改神經網路權重的能力。這項被稱為「權重空間編程」（Weight-Space Programming）的方法，試圖探討不依賴傳統梯度下降模型的最佳化路徑。
從原始權重推測 AI 功能與行為
在過去的機器學習實務中，調整 AI 模型多半需要透過梯度下降等數學最佳化方法來反覆更新權重。然而，研究團隊發現大型語言模型不需要實際執行另一個神經網路，就能夠從其原始權重直接推測出模型的功能與部分行為特徵。
實驗顯示，當研究人員提供四個架構相同、但分別訓練來玩不同遊戲的神經網路權重給 GPT-6 Astra 時，模型成功辨識出這四個網路各自對應的遊戲。在另一項針對小型語言模型的實驗中，即使移除了輸入層與輸出層，Astra 依然能夠辨識模型是用英文、日文羅馬字或 Python 程式碼進行訓練，並找出負責重複既有文字模式的注意力頭。這些結果顯示，神經網路權重除了作為運算數值外，也具備可供分析的結構與行為線索。
不需重新訓練即可直接修正模型缺陷
除了分析功能，研究團隊也嘗試讓大型語言模型直接診斷問題並修改部分權重，藉此替代完整的重新訓練流程。例如在物理控制實驗中，一個因無法爬坡而卡在斜坡上的強化學習小車控制模型，經 Astra 分析權重與失敗紀錄並修改約 3.5% 的權重後，在後續 1,024 次測試中全數順利通關。
在語言模型實驗方面，研究人員針對容易陷入重複推理迴圈的 Qwen3.5-0.8B 進行調整。Astra 利用 Python 環境分析權重並進行 50 次前向傳播，找出與重複輸出相關的權重方向後，僅修改約 0.016% 的參數。修改過後，該模型在 MATH-500 測驗的準確率由 7.9% 提升至 48.1%，GSM8K 由 13.8% 提升至 67.1%，IFEval 指令遵循測試則由 21% 提升至 62.3%。不過，研究團隊也強調，這些成果主要針對特定模型缺陷進行修正，無法直接推論所有 AI 問題皆能透過少量權重修改來解決。
從零開始編寫權重與未來後續觀察
除了分析與修改既有模型外，研究團隊同步測試大型語言模型從零開始編寫神經網路權重的可行性。在 MinAtar 的 Breakout、Seaquest 與 Asterix 三款小型遊戲中，研究人員提供遊戲規則、原始碼及網路架構，讓 Astra 直接以文字輸出整套權重，過程中未提供訓練資料、損失函數或梯度，也不允許模型事先在遊戲環境中試玩。
測試結果顯示，Astra 一次生成的權重在 Breakout 遊戲中的得分約為 517 分，遠高於以近端策略最佳化（PPO）訓練 5 億步模型的約 25 分；但在 Seaquest 與 Asterix 中，其表現並未全面超越訓練 5 億步的模型。這項研究為 AI 模型的最佳化與可解釋性提供了另一種研究方向，未來或許能協助研究人員定位特定缺陷、減少部分最佳化流程成本，甚至嘗試直接調整模型的特定能力。不過，目前該技術仍受到模型規模、分析效率、修改後穩定性與泛化能力等限制，尚不能視為可全面取代傳統訓練方法的成熟技術，後續發展仍有待產學界持續觀察。
本文改寫整理自公開新聞來源，原始報導由T客邦發布。
常見問題 FAQ
什麼是「權重空間編程」（Weight-Space Programming）？
權重空間編程是指讓大型語言模型直接讀取、分析與修改神經網路權重，藉此探討不依賴傳統梯度下降的模型最佳化方式。
大型語言模型真的不用執行另一個模型就能看懂它嗎？
是的，研究發現大型語言模型不需實際執行另幾個神經網路，就能從其原始權重推測出模型的功能、訓練語言或對應的遊戲。
這項技術已經可以完全取代傳統的 AI 訓練方法嗎？
不行，目前仍受到模型規模、分析效率、修改後的穩定性與泛化能力等限制，僅能修正特定缺陷，尚無法全面取代傳統訓練方法。
※ 此篇文章由 AI 改寫或生成，內容僅供參考，可能存在錯誤或不準確之處。
