旺宏為AI應用量身打造創新記憶體 兼具儲存及運算功能

作者 : EE Times Taiwan

智慧系統是否能充分發揮作用,除了取決於中央處理器(CPU)的運算力,記憶體也扮演越來越吃重的關鍵角色,不再是只負責單純的資料儲存功能,甚至需能與處理器共同分擔運算任務。

人工智慧(AI)應用已在我們的日常生活中無所不在,且隨著持續演進的感測器、5G通訊、邊緣運算等技術之推波助瀾,不只是大規模資料中心,包括汽車、工廠自動化設備、醫療保健裝置、各類消費性電子產品,以及由電池供電的小型物聯網(IoT)節點,逐步從數位化與連網功能的添加,演進至擁有不同等級的「智慧」。

這些智慧系統能將收集到的大量資料轉化為有用的資訊,迅速決策並即時做出恰當反應,或者將資料傳輸到雲端進行深度分析以取得具備更高價值的洞察。而它們是否能充分發揮作用,除了取決於中央處理器(CPU)的運算力,記憶體也扮演越來越吃重的關鍵角色,不再是只負責單純的資料儲存功能,甚至需能與處理器共同分擔運算任務。

全球非揮發性記憶體整合元件領導廠商旺宏電子(Macronix)產品行銷處處長黃盛絨表示,以配備先進駕駛輔助系統(ADAS)、自動駕駛功能的智慧連網車輛為例,這類配備了攝影機、光達、雷達等感測器的系統,一天可產生高達數TB的資料量,所需要的記憶體除了要擁有大量儲存空間、高傳輸頻寬,還必須符合嚴苛的車用可靠度規格與高品質標準;最重要的是,記憶體與各類感測裝置以及系統運算單元需要更緊密結合,才能實現系統運作最佳化,讓各種智慧功能順利執行。

此外,他強調,當AI應用從雲端走向終端,對於像是車輛等訴求安全性與快速反應的邊緣裝置來說,記憶體在即時資料處理、高速傳輸方面的支援已是不可或缺,對降低系統功耗與成本之解決方案的需求也越來越殷切。

黃盛絨指出,為滿足AI應用對於高儲存容量、高速傳輸、低延遲的需求,記憶體元件在系統中所扮演的角色已經開始出現典範(paradigm)轉移;以往快閃記憶體在系統中只扮演單純的儲存角色,在背後支援運算前線的DRAM與處理器內建的SRAM,但隨著資料量大幅增加、對傳輸頻寬與速度的要求提高,就會需要全新的記憶體架構來因應。

他解釋,因應大數據需求,目前主流NAND與NOR快閃記憶體都已經從2D轉向3D結構,以實現更高儲存容量與更符合成本效益;而AI系統還會期望快閃記憶體能更接近運算單元,以支援高速存取並降低資料傳輸功耗。如今新一代的快閃記憶體則是直接在內部添加運算功能,並已準備好從幕後走到幕前,與CPU/GPU並肩作戰。旺宏最新推出的FortiXTM系列3D NAND/NOR快閃記憶體,就是這樣一種「以記憶體為中心」(Memory-Centric)的創新解決方案。

在提供3D快閃記憶體的高儲存容量、穩定品質與可靠度之餘,FortiXTM系列產品也能帶來支援即時資料處理、高傳輸頻寬與低功耗的優勢。黃盛絨表示,該系列解決方案具備的記憶體內搜尋(In-Memory Search,IMS)與記憶體內運算(Computing-In-Memory,CIM),是兼有數位與類比架構的運算功能,當儲存與運算分離的傳統馮紐曼(Von Neumann)架構遭遇延遲與功耗瓶頸,這種新架構不但能大量減少記憶體與CPU/GPU之間的資料傳輸,因此取得速度提升、功耗降低的優勢,也可以節省類比數位轉換器(ADC)、微控制器(MCU)/GPU等元件的使用,降低整體系統成本。FortiXTM是旺宏團隊投入數年時間研發的心血結晶,相關技術論文在近年於國際電子元件會議(IEDM)、國際固態電路研討會(ISSCC)等全球性學術研討會上屢獲青睞,並已經申請多項專利中。

 

旺宏的FortiXTM系列3D快閃記憶體支援記憶體內運算(CIM)/搜尋(IMS)功能,可分攤CPU運算任務,提升系統速度、降低功耗。

(來源:旺宏)

 

FortiXTM的IMS功能可直接從記憶體的既存資料中進行資料搜尋與比對(精確或模糊),並支援平行輸入;黃盛絨表示,3D NAND適合大資料量(> 64Gb)應用,3D NOR則支援TCAM架構與Hamming Distance Sorter高速應用,有多種創新架構可提供具彈性的選擇,助力物體偵測/影像辨識,包括智慧車輛的車道辨識功能等應用。支援逐位元邏輯運算的CIM功能則可在深度神經網路(DNN)推論任務中,執行所需的MAC運算。黃盛絨表示,在性能表現上,相較於傳統馮紐曼架構系統,FortiXTM IMS 3D NAND內搜尋速度高達300Gb/s,在資料每秒查詢率(QPS)可達到10倍以上的提升速度。作動功耗(Active Power)僅約300mW,遠低於DRAM的1W功耗。此外,經由FortiXTM IMS 3D NAND加速器(Accelerator)運算後,其資料量可降至僅為原始資料量的5%。大為降低後續馮紐曼架構系統運算的數據移動(Data Movement),進而降低功耗與成本,且大大提高效能。

 

旺宏FortiXTM IMS 3D NAND加速器(Accelerator)運算後,大為降低後續馮紐曼架構系統運算的數據移動(Data Movement)。

(來源:旺宏)

 

不過黃盛絨也強調,全新架構的FortiXTM不同於現有標準快閃記憶體產品,會需要與客戶在產品開發初期有更緊密合作,針對不同應用系統進行類似於專用標準產品(ASSP)部署,接著仍會以通用產品為目標,並參照包含記憶體介面的產業標準,以充分發揮優勢。旺宏除了擁有自家晶圓廠生產線,能保證記憶體產品的品質與可靠度水準,在設計階段也有陣容堅強的軟、硬體工程師團隊,提供客戶最夠力的技術支援;他透露目前旺宏已經積極與目標應用客戶進行設計案合作機會,預計在2~3年後看到終端產品,也看好此創新技術在AI時代的發展前景。旺宏也歡迎更多對FortiXTM有興趣的廠商夥伴,一起來探索開發更多「以記憶體為中心」解決方案的潛力應用。

 

 

 

 

加入我們官方帳號LINE@,最新消息一手掌握!

發表評論