×
In

當千萬級別的翻譯請求在毫秒之間湧入系統,任何微小的記憶體浪費,都會在龐大的規模下被無限放大。優步(Uber)工程團隊最近面臨了一個讓無數後端架構師頭痛的經典難題:他們的 Go 語言翻譯快取系統,正默默吞噬著寶貴的運算資源,甚至在快取重新整理的關鍵時刻引發記憶體耗盡的危機。

表象

事情的起因源自於優步(Uber)內部針對 Go 服務進行的一場記憶體效能剖析。數據顯示,垃圾回收(Garbage Collection, GC)竟然吃掉了部分服務超過 20% 的 CPU 資源,而光是「翻譯」這單一功能,就占了所有配置物件大約 70% 的比例。在優步(Uber)這種級別的營運規模下,程式碼中任何輕微的記憶體管理無效率,最終都會化為龐大的硬體成本與效能瓶頸。

優步工程團隊(Uber Engineering)指出:「在優步的規模下,記憶體管理中的微小無 inefficiencies 終將累積成巨大的負擔。」這句話精準點出了高流量分散式系統最容易忽視的隱形殺手。

起初,團隊將矛頭指向了 Go 語言內建的 sync.Map,並果斷將其替換為由 RWMutex 保護的傳統 map[string]string。由於翻譯工作負載主要是讀取導向,鮮少更新或單獨刪除,這種轉變確實減少了物件配置,讓受影響服務的 CPU 利用率提升了超過 30%。然而,這只是暫時止血,真正的結構性問題還浮在水面下。

真相

砍掉不必要的物件配置後,整體的記憶體消耗問題依然沒有徹底解決。翻譯資料集動輒包含兩到三萬個甚至數百萬個鍵值,但個別服務平常實際存取的其實只佔一小部分。更麻煩的是快取重新整理機制:服務必須在背景建立一個全新的替換快取,然後才能與現有快取進行原子交換。這意味著在交換完成前,兩份龐大的資料集必須同時佔用記憶體,直接導致部分服務在更新時段面臨記憶體不足(Out of Memory)的窘境。

「當兩個龐大的快取副本同時存在記憶體中,系統崩潰只是時間問題。」架構團隊在檢討快取更新機制時,清楚意識到單純依賴記憶體快取的極限已經到 llegó。

面對外部快取方案或動態產生服務專屬子集等備選方案,團隊考量到可能帶來的維運成本而作罷。他們最終選擇了一條更務實的路:保留原有的 Get() 與 Put() API,改用混合式儲存設計,讓所有鍵值持續留在記憶體中以便快速查詢,而實際的翻譯數值則轉移到磁碟檔案中存放。

各方角力

這套全新的混合式翻譯快取架構採用了 256 個分片(Shards),每個分片都配備各自的讀寫互斥鎖、記憶體內條目以及磁碟檔案。為了極致壓縮空間,系統採用六位元組的雜址基礎鍵值來減少後設資料開銷,並在發生碰撞時自動回退至原始鍵值格式。在記憶體管理方面,則透過基於時間的全球最近最少使用(Least Recently Used, LRU)原則來掌控條目。

「我們不只要省記憶體,更不能犧牲使用者的查詢體驗。」這項設計在快取重新整理時,會依據存取歷史預先載入過去十五分鐘內被調用的翻譯,完美避開了交換後遭遇冷快取的效能災難。

從實際表現來看,這套架構交出了漂亮的成績單。原本在記憶體中吃掉大約 800 MB 的翻譯資料集,重構後僅需大約 40 MB 的後設資料;在設定 50,000 個記憶體條目的限制下,實際記憶體消耗通常穩定維持在 80 MB 到 120 MB 之間。在另一個工作負載中,超過四百萬個條目裡僅有大約 30,000 個被載入記憶體,但快取命中率依然穩穩維持在 99.9% 以上,而磁碟快取未命中的 p99 延遲更是控制在 100 微秒以下。

深層影響

優步(Uber)這次的架構改造,宛如一面鏡子,照出了當前雲端原生與微服務架構在規模化擴張時的盲點。長期以來,業界過度迷信「全記憶體(In-Memory)」的極致速度,卻忽略了當資料量跨越某個臨界點後,記憶體維護的成本與垃圾回收帶來的 CPU 消耗,會以等比級數反噬系統效能。

換個角度來看,這項技術實踐為所有面臨大數據吞吐的軟體團隊提供了一個清晰的解方:快取不等於全部都要塞進記憶體。透過「熱資料留記憶體、冷資料放磁碟」的混合策略,企業不僅能大幅壓低硬體基礎設施的資本支出,更能實質提升系統的穩定度與抗壓能力。

未解之問

話說回來,當系統架構為了追求極致的資源最佳化而引入磁碟讀寫與複雜的分片機制時,我們是否也同步拉高了系統的維運與除錯複雜度?在雲端運算成本與系統架構純粹性之間,未來的工程師究竟該如何拿捏這條越趨模糊的界線?這或許是每一位走在分散式系統前沿的技術人,都必須持續思考的課題。

如果你正在規劃或維護高流量的後端服務,不妨現在就回頭檢視一下系統的記憶體配置與垃圾回收表現。找出那些佔用資源卻鮮少被存取的「幽靈資料」,或許就是為自家系統瘦身、省下大筆雲端帳單的關鍵突破口。

本文改寫整理自公開新聞來源,原始報導由infoq.com發布。

常見問題 FAQ

優步(Uber)這次快取重構的核心成效是什麼?

優步(Uber)成功將翻譯快取的初始記憶體佔用量減少高達 90%,同時將 p99 快取未命中延遲維持在 1 毫秒以下,快取命中率則保持在 99.9% 以上。

為什麼原本純記憶體快取會導致記憶體耗盡?

因為快取重新整理時,系統必須在背景建立全新的替換快取,並與現有快取同時佔用記憶體,加上大量的翻譯物件導致 Go 語言垃圾回收(GC)負擔過重,進而引發記憶體不足的問題。

這套混合式快取架構是如何運作的?

系統保留所有鍵值在記憶體中以供快速查詢,但將實際的翻譯數值儲存於磁碟檔案中,並透過 256 個分片、LRU 淘汰機制以及預先載入最近存取資料的策略,兼顧效能與記憶體用量。

※ 此篇文章由 AI 改寫或生成,內容僅供參考,可能存在錯誤或不準確之處。

Related Posts

In

輝達股價自高點回檔 40%!市場賣壓湧現但仍存轉機

美國股市近期波動加劇,人工智慧晶片龍頭輝達(...

Read out all