大數據(big data)結合人工智慧(AI)的應用持續推動記憶體更密切結合運算資源,無論是從性能或效率方面來看,當今的多核心處理架構已無法滿足未來的即時運算需求。

特別是隨著CMOS微縮速度放緩,異質運算架構崛起,加上新興的非揮發性記憶體技術(如3D XPoint與STT-RAM)進展,更進一步將系統瓶頸從數據儲存推向運算。近年來,業界開始對於打造以記憶體為中心的運算架構興起了更多的興趣與討論,並陸續出現像Smart SSD、近記憶體運算(near-memory computing)、記憶體內運算(in-memory computing;IMC)以及記憶體處理器(processor-in-memory;PIM)等新的關鍵詞。

在今年的台北國際電腦展(Computex 2019)上,美光(Micron Technology)運算與網路業務部門資深副總裁暨總經理Thomas T. Eby發表對於大數據的看法,包括如何將數據淬鍊得更有價值以及推動這一趨勢變化所需的架構轉型。

美光:數據是當今全球化的貨幣

「數據是當今全球化的貨幣(Data is today’s global currency)!」Eby指出,當今約有九成的數據都是過去兩年創造的,而且每天都還會產生大約2.5EB的數據。為了轉化這些數據成為更有價值的「貨幣」,必須推動整體IT基礎架構轉型,包括為其提供支援的記憶體與儲存子系統。

美光運算與網路業務部門資深副總裁暨總經理Thomas T. Eby說:「數據是當今全球化的貨幣!」
(來源:Micron)

根據美光科技委託Forrester Research進行的調查顯示,儘管運算環境日益異質化,但如今面對的最大問題是如何重新架構儲存、記憶體與運算單元。

「重新架構有其必要性。」Eby引用Forrest的資料指出,大約有超過九成的受訪者認為記憶體與儲存必須更接近資料來源,也正是這一趨勢推動邊緣AI (Edge AI)快速成長。此外,還有其他九成的受訪者認為,運算與記憶體必須更接近或緊密結合,因為「在運算過程中不斷地移動數據,不僅使功耗增加,也嚴重影響數據處理能力。因此,未來的運算單元必須更靠近記憶體,甚至實現記憶體內運算。」

記憶體與儲存將在打造更佳AI架構上發揮關鍵作用
(來源:Micron)

為了讓記憶體和處理器更緊密結合,Eby說美光目前已經與GPU、CPU、FPGA等傳統製造商密切合作,持續進行最佳化,以強化不同單元之間的連結性,無論是近記憶體運算還是記憶體內運算,目前都還在研發階段。

這一重新架構趨勢以及異質運算平台的成長,對於資料中心也日益重要。Eby預期在晶片公司之間很快地將會掀起一場核心戰爭,推動對於更高速度的DDR4(未來甚至是DDR5)的需求。

「為了因應特定的訓練或推論需求,資料中心的運算單元——包括GPU、FPGA、神經網路處理器(NNU)以及ASIC,都將可看到更大的成長,而這些新架構也將帶來更優化的記憶體方案。」他預計未來的資料中心對於記憶體與儲存的需求將較傳統架構更高6倍。

因應先進的GPU、AI以及未來資料中心對於數據的需求,美光將相應推出DRAM (包括DDR4以及不久後的DDR5)、3D XPoint等儲存方案。此外,美光也自一年前開始朝向持久性記憶體(persistent memory)研發,例如以NVDIMM提升安全性。美光將自今年開始為資料中心客戶出樣3D XPoint。

在邊緣進行數據分析的公司中,有97%認為拉近運算與記憶體距離後,有助於提升AI應用效能
(來源:Micron)

慧榮:Smart SSD拉進數據儲存與運算距離

或許近來崛起的「運算型儲存裝置」(Computational Storage Device)可說是拉進數據儲存與運算距離,朝向重新定義「以記憶體為中心之運算架構」進展的第一步。

慧榮科技(Silicon Motion)產品企劃三部專案經理黄莨展在Computex期間接受訪問時指出,這種運算儲存裝置的本質在於為數據儲存提供額外的處理或運算能力,它可以用於邊緣裝置或是伺服器端。例如在安全監控的鏡頭中增加儲存裝置,就可以在裝置端進行一些預處理(如壓縮、辨識或預判斷),再將處理後的有用數據傳送至中央雲端進行儲存或分析,從而減輕雲端的工作負載。

慧榮科技產品企劃三部專案經理黄莨展認為「運算型儲存裝置」是朝向記憶體內運算發展的第一步

黄莨展舉例說去年底的開放運算計劃(OCP)大會上即出現了一款把運算直接做在在SSD中的儲存裝置,減少了二者之間的傳輸距離。他預計下一步還可能直接進行整合(指整合處理至SSD控制器),如此不僅能讓主控制器結合部份運算能力,還可進一步降低成本。

目前三星(Samsung)已推出一款運算型儲存裝置——Smart SSD,慧榮在中國的子公司寶存科技(Shannon System)也在與其客戶評估這一市場性,未來將合作提供參考設計。

因應資料中心對於大容量、高效能與穩定需求,黄莨展介紹慧榮開發的8通道企業級SATA SSD控制器SM2271,可支援最新3D TLC和QLC快閃記憶體,容量高達16TB。此外,慧榮科技在今年的Computex並發表一款採用單晶片USB 3.2 Gen1的外接式SSD控制IC,支援最新一代96層QLC NAND,容量最高達2TB,較現有採用橋接晶片的可攜式SSD提供了更高性能和低功耗。