AI推動記憶體互連「演化」
2020-12-01
作者
Gary Hilson，EE Times特約編輯
解決資料存放位置挑戰的工作不只是記憶體供應商的任務，其他與AI相關的業者也在記憶體互連解決方案上扮演重要角色──就算記憶體與運算之間的距離越來越近。
位置(location)並不只是房地產業界重視的關鍵字──為了滿足人工智慧(AI)和機器學習(ML)應用的需求，這個詞越來越常被用來討論資料需要保存在哪裡，以及所採用的記憶體。不過，解決資料存放位置挑戰的工作不只是記憶體供應商的任務，其他AI相關的業者也在記憶體互連解決方案上扮演重要角色──即使記憶體越來越接近運算單元。
Rambus研究員Steve Woo最近在人工智慧硬體高峰會(AI Hardware Summit)期間主持了一場線上座談會，探討了記憶體互連的挑戰和解決方案，他說：「我們都在AI的不同方面工作。」
與談人之一，Marvell的ASIC事業部技術長Igor Arsovski在17年前曾經是SRAM設計工程師。他說，德國的慕尼黑啤酒節(Oktoberfest)因為新冠肺炎疫情取消了，在啤酒節活動中可以很容易喝到啤酒，「SRAM就像是眼前的一杯啤酒，伸手就喝得到、不費什麼力氣。然後你會需要一顆不錯的高性能加速器。」但是，如果記憶體不足，最後還是得走遠一點距離、多花點力氣才能取得，像是得多走幾步路才能買到大桶啤酒那樣。
Arsovski表示，以記憶體來說，大桶啤酒好比越來越常應用於AI的高頻寬記憶體(HBM)；「存取這種記憶體所需能量大約是一般的60倍，雖然容量大得多，但存取它的頻寬卻顯著縮減。」若將啤酒比喻延伸到LPDDR等比起SRAM更高階的記憶體：「功耗明顯更高，但容量也更大。這就像是沿著某條路走到你最喜歡的那家酒吧，有好幾桶啤酒在等著你。」
Arsovski表示，下一代加速器的發展方向就是把那些「啤酒桶」放在正上方，讓記憶體距離運算更近。對此另一位與談人，MLCommons執行董事David Kanter補充，這個啤酒比喻概述了不同的封裝途徑以及在何處放置不同的矽晶片。
MLCommons是一個推動訂定機器學習標準和AI推理基準的組織，成員包括來自學界和產業界的人士；Kanter表示：「這讓我們對不同的工作負載有非常全面的瞭解。我們組織的重點工作之一就是建立諮詢委員會，招攬特定應用領域的一些資深專家。」
Kanter指出，對記憶體而言，整個系統情境至關重要；「你必須考慮要用系統做什麼，這會決定你考慮事情的方向。」他進一步指出，當涉及記憶體位置和連結時，裸晶、封裝和電路板都是必須考量的元素；「在陣列結構、單元類型以及距離等方面，都有可以最佳化的部份。」
Kanter認為，了解哪裡需要頻寬以及非揮發性也是關鍵考量因素；「期望這有助於引導你做出正確的選擇。」對於那些傳統上並不在整體記憶體系統構建流程中的公司而言，這些考量非常關鍵；例如Google軟體工程師Sameer Kumar花費大量時間在編譯器和可擴展系統上，這些系統的網路和記憶體頻寬對不同的機器學習模型非常重要，包括其大規模批量操作的能力。他表示：「AI訓練涉及許多記憶體最佳化，」這是在編譯器中獲得極高效率的最關鍵步驟，它意味著記憶體需要變得「更聰明」。
Woo認為，資料搬移實際上已經開始主宰AI應用的某些階段，因此記憶體互連變得越來越重要；「性能和能效方面的問題越來越多，」提升資料傳輸速率極具挑戰性，因為人人都希望將資料移動速度加倍，同時也讓能效加倍。
「我們過去仰賴的許多技巧和技術都不再適用，或者正在被慢慢淘汰。有極佳的機會讓我們思考新的體系架構，並在搬移資料的方式上進行創新；」Woo表示，創新不僅在記憶體元件本身上，還包括封裝、晶片堆疊等新技術。同時還必須將資料的安全性納入考量，這也是Rambus越來越關注的一個議題。
Arsovski表示，Marvell花費了大量時間為客戶建立AI系統，為客戶提供頻寬相關資訊，如每個晶片邊緣有多少頻寬可以用於資料搬移，以及有多少頻寬可以用於存取記憶體；「到目前為止，我們已經可以看到客戶需要更多的記憶體頻寬和更多的I / O頻寬。但如果看看封裝層級的互連，可以看到存在很大的不匹配。我們現在已經到達瓶頸，高端晶片對晶片連接的需求壓力持續增加。」
從記憶體的角度來看，對於那些構建無法匹配晶片的AI模型之設計工程師來說，下一步應該就會考慮HBM或GDDR。但是也有很多轉向採用3D堆疊，以嘗試獲得更大的頻寬，因為在晶片邊緣能搬移的資料量就是這麼有限；「客戶希望擁有越來越多的I/O頻寬，而我們在邊緣資料搬移上遇到了瓶頸。」
Kanter表示，需要注意的一點是，即使在機器學習世界中也存在「龐大多樣性」(huge diversity)，這對生態系統既有制約、也有促進。對常規DRAM來說，隨機查找龐大的資料結構不適合單個節點，這意味著如果你想將資料真正保存在記憶體中，就需要構建一個非常大的系統叢集。」
「這與傳統視覺導向的模型相比，在特徵和屬性上完全不同。在記憶體方面要牢記這一多樣性，這一點非常重要。」Kanter表示，當需要將大量記憶體和運算整合在一起時，就需要互連了；「要進行大規模訓練，迫切需要既適合客戶又適合要解決問題的互連方案。」
對於尖端應用來說，互連將特別重要；「如果你只想為一個小型網路訓練一個GPU，那麼關鍵因素可能就是記憶體頻寬。」…
…當我們所熟悉常用的技術已經無法因應需求，或許就得從零開始思考…繼續閱讀本文請期待即將出刊的全新數位版《電子工程專輯》2020年12月刊 ！
