為快速成長的人工智慧(artificial intelligence;AI)應用實現高效率的運算性能,必須解決「記憶體牆」(memory wall)的瓶頸,並推動新的架構解決方案;這是法國CEA Tech旗下技術研究機構Leti關注的重點領域。

Leti執行長Emmanuel Sabonnadiere在Leti年度創新會議上接受《EE Times》訪問時表示,業界需要一種高度整合的整體途徑,將AI從軟體和雲端移至邊緣(edge)的嵌入式晶片。

Sabonnadiere說:「邊緣確實需要一些創新,採用除了CMOS以外的不同架構,從結構上整合至系統,並從雲端實現自主性——例如針對自動駕駛車,您需要雲端盡可能地獨立作業。」

他認為恩智浦(NXP)可望成為驅動在邊緣實現更多運算的一項關鍵指標,因而針對高通(Qualcomm)併購恩智浦一案發表評論:「你覺得高通為什麼要買下恩智浦?它是為了(邊緣運算)的感測,而將數位置於感測之後。」

Emmanuel Sabonnadiere
Emmanuel Sabonnadiere

為了解決運算架構典範,Sabonnadiere期望能在Let與史丹佛大學(Stanford University)電氣工程和電腦科學系教授Subhasish Mitra帶領的團隊合作中取得一些突破。Mitra的研究已經進展一段時間了,專注於為龐大資料和密集互連應用探索記憶體內處理(processing-in-memory)的新架構。這項研究獲得了美國國防部先進研究計劃局(DARPA)、國家科學基金會(NSF)、Semiconductor Research、STARnet SONIC和史丹佛大學SystemX聯盟的成員公司共同資助 -

Sabonnadiere談到晶片驗證時說:「我們深信這是解決『超越摩爾定律』(more-than-Moore)挑戰的前進方向,並且已經要求Mitra教授打造這一研究展示了。」

在會議上,Mitra表示,龐大的資料超級風暴正襲捲而來,而其運算需求遠超過處理能力,因此必須使用支援先進3D整合的運算奈米系統架構。

Mitra說:「資料必須經過處理才能創造決策,但目前還有太多我們無法處理的『暗黑』資料。以Facebook為例,它必須採用256個Tesla P100 GPU,才能在1小時訓練好ImageNet,這在以前大約需要幾天的時間。」

提高運算性能的選擇

那麼目前提高運算性能的選擇是什麼?Mitra說,其一是要有一個更好的邏輯開關——但這方面的實驗展示並不多。第二種是使用設計「技巧」,例如多核心、加速器或電源管理技巧。但他也補充說,可用的技巧並不多,而且當實施這些技巧而使設計變得更複雜,甚至會使驗證變得更困難。另一個挑戰則是Mitra所謂的「記憶體牆」。

Mitra說:「各種類型的龐大資料應用中,一個共同點就在於記憶體牆——系統需要更有力地存取記憶體。」

Mitra說,這就是專注於記憶體的運算概念所在,也是與Leti合作的關注重點——Sabonnadiere希望將在這方面取得突破。它使用先進3D整合使得運算更接近於資料。該晶片採用碳奈米管(CNT),因為Mitra表示它們是唯一可以超越CMOS和電阻式隨機存取記憶體(RRAM)的技術。

Subhasish Mitra
Subhasish Mitra

RRAM和碳奈米管彼此垂直建構,形成具有邏輯層和記憶體層交錯的密集3D電腦架構。在這些分層之間插入超密走線,應該就能以這種3D架構解決通訊的瓶頸。

Mitra將這個問題比喻為從舊金山(San Francisco)到加州柏克萊(Berkeley)之間的交通挑戰——由於只有三座橋樑可以穿越兩個都市,因而造成了交通堵塞。然而,如果打造更多的橋樑——或者在他提出的3D架構情況下,就能夠解決多奈米級交錯層間過孔的瓶頸。

記憶體和軟體2.0的突破

Leti首席科學家Barbara De Salvo表示,業界並未充份重視新興記憶體技術,這些技術通常仍被視為利基技術。

Barbara De Salvo
Barbara De Salvo

De Salvo說:「在記憶體領域,業界仍持續採用傳統技術。而像電阻式RAM、磁阻式RAM和相變記憶體等新興技術仍未被充份利用。但它可望在實現新型架構方面帶來巨大突破。」De Salvo並補充說,在未來幾年,在軟體中使用深度學習和AI也可能中在運算方面取得重大突破。

她說:「我指的是一個使用深度學習和機器學習來開發軟體的新概念。軟體是一個系統中最昂貴的部份之一。透過使用深度學習產生軟體,以前需要花六個月的一些任務現在可以只需要幾天的時間。」

編譯:Susan Hong

(參考原文:Addressing ‘Memory Wall’ is Key to Edge-Based AI,by Nitin Dahad)