無所不在的AI應用其實只需要傳統記憶體

作者 : Gary Hilson,EE Times特約記者

並非每一種機器學習和推論任務都需要先進的記憶體技術,經市場驗證的傳統記憶體反而可以因應邊緣AI應用,而這種分散式AI可能是5G真正需要的…

隨著市場對人工智慧(AI)的炒作逐漸退燒,以及該技術面臨新的工程挑戰,與記憶體相關的需求漸成為焦點──並非每一種機器學習和推論任務都需要先進的記憶體技術,經市場驗證的傳統記憶體反而可以因應邊緣AI應用,而這種分散式AI可能是5G真正需要的。

不過,基本的推論運作已經變得更複雜;整體而言,記憶體預期將在推論方面發揮更大的作用。市場研究機構TECHnalysis Research總裁暨首席分析師Bob O’Donnell認為,AI是實現5G願景不可或缺,只有兩者結合才能實現新的應用。

O’Donnell指出:「諷刺的是,所有人都認為它們是各自獨立的物種,5G是一回事、邊緣是另一回事,而AI又是另外一回事。需要將這些東西結合起來,才能讓它們任何一個都能真正發揮作用。」

隨著邊緣處理器演進,以及LPDDR等類型記憶體被運用在邊緣裝置處理一般AI任務,分散式AI已經在一定程度上獲得實證。「房間裡的攝影機可以進行非常簡單的AI處理,偵測房間內的人數,進而調節冷暖空調;」O’Donnell表示,這看似簡單,但這些任務可以在一個配備了適當運算/記憶體能力的建築群中進行本地處理,無需將資料在雲端與裝置間來回傳送。

O’Donnell補充,還有一種折衷方案,即邊緣裝置在本地處理資料,同時具備足夠的智慧,知道何時將檔案發送到資料中心進行「深度處理」,結果之一是將經過改善的演算法發送回邊緣「這是一種持續演進的循環,」他表示,「也是事情開始變得非常有趣的地方。」

根據O’Donnel預測,分散式AI應用專屬記憶體會相對較低階,這類記憶體適合多種應用,像是分散式邊緣裝置。「我想LPDDR類型記憶體是最合乎邏輯;」即使是低功耗DDR也能獲得提升,超越在智慧型手機、汽車和各種邊緣端點使用的典型元件類別。

在最近一個有關將記憶體內處理(PIM)技術推向主流的新訊息中,三星(Samsung)就指出,該技術最終可以被運用於其他類型的記憶體以支援AI工作負載,其中可能包括LPDDR5,用於將AI帶到各種邊緣端點裝置,不需要連結資料中心。

三星展示了將LPDDR5-PIM用於語音辨識、翻譯和聊天機器人等應用時,其性能提高了一倍以上,功耗則降低超過60%。

AI與5G

Nvidia首席平台架構師Robert Ober指出,一些需要記憶體的分散式AI正在助力5G基地台的運作。邊緣的5G基礎設施有時具備的頻寬,比它所連結之舊基礎設施設備更大,因此需要一些推論功能來管理網路事務;「以外顯程式編寫(explicit programming)來做太過複雜。」

許多邊緣AI應用案例都很平凡,使用的嵌入式裝置需要小體積、小功率記憶體。Ober認為挑戰在於,即使是最基本的AI功能,例如在邊緣進行影像識別和分類,其工作量也很大──高達4K的高解析度影像,加上更多資訊與情境,意味著這些神經網路變得更複雜。

「如果是視訊,你還需要按時間從多個影格(frames)中提取含義;」Ober表示:「此時記憶體就相當重要。」

他指出,Nvidia專注於資料中心的訓練工作負載,在這裡記憶體容量和頻寬至關重要,降低功耗也同樣重要。因此,不同的記憶體技術可以在未來的AI應用中扮演要角,例如電壓調控MRAM (voltage-controlled MRAM),可降低功耗、維持頻寬並釋放算力;「從長遠來看,會有一些非常有趣的解決方案。」

Ober補充,即使記憶體能力不斷提高以滿足AI需求,業界的期望也會不斷提高,因為AI的複雜性始終是以倍數成長。

「你能編纂的知識越多,AI可以做的事情就越多,」訓練網路本質上就是資訊的編纂,能偵測到一隻狗對一個邊緣裝置來說已經不夠了;他指出,「人們還會想知道那是哪一種狗、牠在做什麼、牠是快樂還是傷心?人們的期望值也會呈指數上升。」

隨著機器人進行影像檢測和分類等的功能不斷改進,資料中心的AI和ML工作負載也會更多。Ober表示,市場對高性能運算的需求會持續,並且總會有更複雜、需要更多時間和更多機器智慧的新AI任務出現。

將AI任務關聯的資料轉移到合適的記憶體,是資料中心AI面臨的最大挑戰之一,也因此減少了將所有工作負載都發送到中央雲端的需要,但這對記憶體資源帶來了更大的壓力。

Ober預見對新型高頻寬、低功耗大型記憶體的需求會增加,因為其本質上是非揮發性的。現在已經有一些在嵌入式裝置(例如工業端點設備)中處理AI工作負載的動作,而將一些任務轉移到本地的5G連網基地台。

更複雜的任務則會被發送到雲端資料中心;「目前已經有一些工作以這種方式分層,因為老實說,沒有足夠的頻寬可以讓這些任務回到核心。」

聯合式學習

Ober表示,分散式AI的層級式方法支援漸進式訓練或是「聯合學習」(federated learning),從而實現持續的改善;「神經網路不斷被重新訓練並更新,因此必須有一些非揮發性記憶體或其他記憶體,可以將這些更新推送到所有裝置中,無論其大小。」

例如Lenovo的ThinkEdge (參考圖1),包括一個配備AI功能的邊緣裝置,採用高性能DDR4 DRAM和大容量SSD支援用於倉儲、物流追蹤或自動化製程電腦視覺的AI與機器學習模型。

 

圖1:Lenovo的ThinkEdge等邊緣裝置利用DDR DRAM和快閃記憶體固態硬碟(SSD)來處理和儲存資料,實現本地AI和安全的雲端管理。

(來源:Lenovo)

 

不過對於工業機器人以及自動駕駛車輛等車用案例來說,可能需要更多的記憶體頻寬和容量,卻不一定是最重要的。旺宏(Macronix)技術行銷總監Jim Yastic認為,AI熱潮的發展週期類似於目前在車用、工業和安全性設定中扮演要角的物聯網。

市場研究機構IDC預測,到2023年,有70%的物聯網(IoT)部署都將包括AI,用於實現自主或邊緣決策,其中電腦視覺是成長最快的邊緣AI應用之一。

Yastic指出,AI的分散式策略是有道理的,因為在資料中心做所有事情都成本高昂。正如IoT裝置也在本地承擔更多處理任務一樣,更多AI運作正移出資料中心,同時得決定哪些需要送回中央雲端。

在工業和車用領域,邊緣AI的記憶體需求是由各種類型的感測器決定,這些感測器都執行某種程度的過濾,並透過將選定的資料送回中央,以建立更好的ML模型;這些新的模型接著會被下載。

Yastic認為這種方法是有必要的,因為汽車等系統根本無法在很短時間內處理TB等級的資料。即使有5G,本地系統也必須快速做出一些明智的決策,不須來回傳輸大量資料。在自動駕駛車輛中,5G支援自動駕駛輔助系統(ADAS)功能和AI功能。

Yastic表示,不同裝置需要做出決策的速度,決定了AI系統的架構也決定了以性能和密度來衡量的記憶體需求;「根據不同應用,可能只會需要一片嵌入式多媒體卡(embedded multimedia card,eMMC)。」

選擇記憶體

其他適合工業與車用AI的記憶體元件,可能包括通用快閃記憶體、NAND快閃記憶體SSD、DRAM甚至SRAM。

在眾多生態系統中,尤其是車用領域,可靠性、安全性都是永恆不變的,這就是為什麼現有記憶體仍是首選,對AI任務來說也是如此。今日的車輛就像是「有輪子的伺服器」,也是多種嵌入式端點設備的集合,包括配備板載記憶體的感測器和攝影機,而這些記憶體需要和車輛一樣維持較長的使用壽命。

Yastic預期,NOR快閃記憶體的高可靠性與長命,將會讓它在車用AI領域長期佔據一席之地;該類記憶體可以在嚴苛環境中運作十年以上的時間,也因為具備快速啟動能力而受到汽車業者的青睞。旺宏的OctaFlash SPI NOR快閃記憶體就提供快速啟動和高速介面,可應用於自動駕駛車輛的大多數端點裝置。

這也有助於節省成本,Yastic指出,NOR快閃記憶體已經存在了很長時間,其價位已經下降。

所有記憶體技術都不可避免地要提高密度和性能,同時朝向成本更低、尺寸更小、功耗更低的趨勢發展。資料中心仍然需要高性能記憶體來處理AI和ML工作負載,但市場上現有記憶體也有機會滿足分散式系統中的許多AI需求。

Rambus研究員Steve Woo就指出,長遠來看,從運算技術的發展歷史就可以預測AI系統中記憶體的未來;「今天的超級電腦會是明日的智慧型手機。」一些需要高階硬體的較早期AI模型現在已經可以用更主流的記憶體來處理;「現在更容易的部分原因是產業界已經將記憶體元件更進一步小型化,硬體成本也降低了。」

今日的HBM2可能很快會成為少數透過CXL (Compute Express Link)介面連結的DDR DIMM和其他記憶體;Woo表示:「我們將能夠達到在如今看來似乎是遙不可及的性能水準。」

Woo將AI的主流化與智慧型手機十年來的演進作為類比,「各種開發人員不斷提出使用該技術的新方法;」隨著規模不斷擴大,市場已經進展到因為需要支援低功耗的記憶體數量增加,而有專屬記憶體的開發,他AI記憶體也能產生一樣的協同效應,「成本將繼續下降,此時出現專屬元件是合理的,因為已經可以實現投資報酬。」

這些進展也與網際網路的架構變化保持一致;Woo補充指出:「資料的移動正成為瓶頸,」將資料移動至雲端處理會消耗過多的能源,而在本地處理能夠降低成本並提高性能,同時消耗的功率更少。

Woo也預期,推論和運算任務,以及端點裝置的類型,將決定哪些種類記憶體最適合AI的進展。無論如何,散熱特性和功耗限制都會是影響因素;他指出,「我們會看到一些折衷,」如果只是推論,那晶片上的SRAM可能就足夠了。

Woo認為,隨著AI變得無所不在並分散在不同平台,最終對記憶體來說很重要的是神經網路的簡化,例如,讓它們成為主流AI平台。

在可預見的未來,AI應用將需要超級運算,但遵循摩爾定律(Moore’s Law)的製程微縮和其他記憶體技術的演進,有助於讓資料更接近運算資源。無論是哪一種新型記憶體,所面臨的挑戰都在於如何證明它們可以替代已經過實證的方案。

Woo總結指出:「產業界真正需要的記憶體數量是有限的;在很多情況下,很多現有技術似乎已經夠好了。」

(參考原文:Ubiquitous AI Will Rely on Conventional Memory,by Gary Hilson)

本文同步刊登於《電子工程專輯》雜誌2021年12月號

 

 

 

 

 

 

 

加入我們官方帳號LINE@,最新消息一手掌握!

發表評論