AI推動記憶體互連「演化」

作者 : Gary Hilson,EE Times特約編輯

解決資料存放位置挑戰的工作不只是記憶體供應商的任務,其他與AI相關的業者也在記憶體互連解決方案上扮演重要角色──就算記憶體與運算之間的距離越來越近。

位置(location)並不只是房地產業界重視的關鍵字──為了滿足人工智慧(AI)和機器學習(ML)應用的需求,這個詞越來越常被用來討論資料需要保存在哪裡,以及所採用的記憶體。不過,解決資料存放位置挑戰的工作不只是記憶體供應商的任務,其他AI相關的業者也在記憶體互連解決方案上扮演重要角色──即使記憶體越來越接近運算單元。

Rambus研究員Steve Woo最近在人工智慧硬體高峰會(AI Hardware Summit)期間主持了一場線上座談會,探討了記憶體互連的挑戰和解決方案,他說:「我們都在AI的不同方面工作。」

與談人之一,Marvell的ASIC事業部技術長Igor Arsovski在17年前曾經是SRAM設計工程師。他說,德國的慕尼黑啤酒節(Oktoberfest)因為新冠肺炎疫情取消了,在啤酒節活動中可以很容易喝到啤酒,「SRAM就像是眼前的一杯啤酒,伸手就喝得到、不費什麼力氣。然後你會需要一顆不錯的高性能加速器。」但是,如果記憶體不足,最後還是得走遠一點距離、多花點力氣才能取得,像是得多走幾步路才能買到大桶啤酒那樣。

Arsovski表示,以記憶體來說,大桶啤酒好比越來越常應用於AI的高頻寬記憶體(HBM);「存取這種記憶體所需能量大約是一般的60倍,雖然容量大得多,但存取它的頻寬卻顯著縮減。」若將啤酒比喻延伸到LPDDR等比起SRAM更高階的記憶體:「功耗明顯更高,但容量也更大。這就像是沿著某條路走到你最喜歡的那家酒吧,有好幾桶啤酒在等著你。」

Arsovski表示,下一代加速器的發展方向就是把那些「啤酒桶」放在正上方,讓記憶體距離運算更近。對此另一位與談人,MLCommons執行董事David Kanter補充,這個啤酒比喻概述了不同的封裝途徑以及在何處放置不同的矽晶片。

MLCommons是一個推動訂定機器學習標準和AI推理基準的組織,成員包括來自學界和產業界的人士;Kanter表示:「這讓我們對不同的工作負載有非常全面的瞭解。我們組織的重點工作之一就是建立諮詢委員會,招攬特定應用領域的一些資深專家。」

Kanter指出,對記憶體而言,整個系統情境至關重要;「你必須考慮要用系統做什麼,這會決定你考慮事情的方向。」他進一步指出,當涉及記憶體位置和連結時,裸晶、封裝和電路板都是必須考量的元素;「在陣列結構、單元類型以及距離等方面,都有可以最佳化的部份。」

Kanter認為,了解哪裡需要頻寬以及非揮發性也是關鍵考量因素;「期望這有助於引導你做出正確的選擇。」對於那些傳統上並不在整體記憶體系統構建流程中的公司而言,這些考量非常關鍵;例如Google軟體工程師Sameer Kumar花費大量時間在編譯器和可擴展系統上,這些系統的網路和記憶體頻寬對不同的機器學習模型非常重要,包括其大規模批量操作的能力。他表示:「AI訓練涉及許多記憶體最佳化,」這是在編譯器中獲得極高效率的最關鍵步驟,它意味著記憶體需要變得「更聰明」。

Woo認為,資料搬移實際上已經開始主宰AI應用的某些階段,因此記憶體互連變得越來越重要;「性能和能效方面的問題越來越多,」提升資料傳輸速率極具挑戰性,因為人人都希望將資料移動速度加倍,同時也讓能效加倍。

「我們過去仰賴的許多技巧和技術都不再適用,或者正在被慢慢淘汰。有極佳的機會讓我們思考新的體系架構,並在搬移資料的方式上進行創新;」Woo表示,創新不僅在記憶體元件本身上,還包括封裝、晶片堆疊等新技術。同時還必須將資料的安全性納入考量,這也是Rambus越來越關注的一個議題。

Arsovski表示,Marvell花費了大量時間為客戶建立AI系統,為客戶提供頻寬相關資訊,如每個晶片邊緣有多少頻寬可以用於資料搬移,以及有多少頻寬可以用於存取記憶體;「到目前為止,我們已經可以看到客戶需要更多的記憶體頻寬和更多的I / O頻寬。但如果看看封裝層級的互連,可以看到存在很大的不匹配。我們現在已經到達瓶頸,高端晶片對晶片連接的需求壓力持續增加。」

從記憶體的角度來看,對於那些構建無法匹配晶片的AI模型之設計工程師來說,下一步應該就會考慮HBM或GDDR。但是也有很多轉向採用3D堆疊,以嘗試獲得更大的頻寬,因為在晶片邊緣能搬移的資料量就是這麼有限;「客戶希望擁有越來越多的I/O頻寬,而我們在邊緣資料搬移上遇到了瓶頸。」

Kanter表示,需要注意的一點是,即使在機器學習世界中也存在「龐大多樣性」(huge diversity),這對生態系統既有制約、也有促進。對常規DRAM來說,隨機查找龐大的資料結構不適合單個節點,這意味著如果你想將資料真正保存在記憶體中,就需要構建一個非常大的系統叢集。」

「這與傳統視覺導向的模型相比,在特徵和屬性上完全不同。在記憶體方面要牢記這一多樣性,這一點非常重要。」Kanter表示,當需要將大量記憶體和運算整合在一起時,就需要互連了;「要進行大規模訓練,迫切需要既適合客戶又適合要解決問題的互連方案。」

對於尖端應用來說,互連將特別重要;「如果你只想為一個小型網路訓練一個GPU,那麼關鍵因素可能就是記憶體頻寬。」…

當我們所熟悉常用的技術已經無法因應需求,或許就得從零開始思考繼續閱讀本文請期待即將出刊的全新數位版《電子工程專輯》2020年12月刊 !

 

 

掃描或點擊QR Code立即加入 “EETimes技術論壇” Line 社群 !

 EET-Line技術論壇-QR

發表評論