Microchip正透過自家控制器技術以及為邊緣應用打造低功耗記憶體內運算技術的子公司，來因應人工智慧(AI)挑戰。

Microchip支援PCIe Gen 5 NVMe 2.0的固態硬碟(SSD)控制器Flashtec NVMe 4016，透過16個高速可程式化NAND快閃記憶體通道，在速度與饋送方面取得進展，速度高達2,400 MT/s，並提供14 GB/s的傳輸量和超過300萬IOPS (Input/Output Operations Per Second)。它還支援所有最新儲存和高性能運算應用，包括分區命名空間(Zoned Name Spaces，ZNS)。

圖1：Microchip的Flashtec NVMe 4016包括一個全新的可程式化機器學習(ML)引擎，能夠實現多種圖案識別和分類功能。

(來源：Microchip)

Microchip資料中心解決方案產品管理副總監Samer Haija表示，ZNS仍然被認為是利基技術，不過該公司確實看到以其控制器為基礎的部署有所增加；「ZNS是頗具前景的技術，但迄今其市場接受度仍然有限，主要是因為需要更高階的產品方可實現大規模運作。」

不過Haija也指出，要讓ZNS市場起飛，SSD與應用程式供應商還需要開發一套標準、工具和驅動程式，以便在更多資料中心利用該技術；「我們看到Samsung與WD (Western Digital)都宣佈推動該領域的標準化，令人振奮。」

雖然速度和性能對滿足AI需求至關重要，快閃記憶體也面臨新的壓力；一項頗具挑戰性的控制器技術可以幫助舒緩後端的NAND管理。Flashtec NVMe 4016的可程化架構，使SSD開發人員能夠透過韌體客製化來最佳化產品差異化，還包括一個新的可程化ML引擎，能在AI和ML應用中支援各種圖案識別和分類功能。

該ML引擎由輸入層、0個或更多隱藏層(hidden layers)和一個輸出層組成；該引擎還包含一個輸入層，負責從外部來源接收輸入，隱藏層在位於內部包含權重(weights)和偏置(biases)的神經元幫助下，負責分析資料並執行學習過程。

以這些權重和偏置為基礎，神經元在達到一個閾值時會被啟動，輸出層提供預測的輸出。NVMe SSD中的韌體與ML引擎介接，以發送模型配置、輸入和訓練資料，並接收最終輸出。韌體利用來自ML引擎的輸出來執行AI動作。

「SSD通常是為合成和泛用工作負載而設計的，而大多數SSD設計團隊實現的SSD和媒體管理演算法，並不完全能意識到SSD生命週期中會經歷的資料流量；」Haija表示：「無論SSD承擔的工作負載是什麼類型，控制器中的AI引擎能支援即時NAND管理演算法適應。」

Microchip專有引擎釋放了控制器中的運算資源，同時間它仍然足夠泛用，可開發不挑應用的AI/ML應用程式，並在不影響資料完整性的情況下，平衡性能、功率、成本和易用性。Microchip的SSD控制器業務是聚焦資料中心的更廣泛解決方案之一部分；其解決方案在AI應用之外，還包括PCIe交換器和結構、PCIe/CXL重計時器和串列記憶體控制器。

記憶體內運算

在此同時，Microchip的子公司SST (Silicon Storage Technology)的焦點是集中在支援記憶體內運算(computing-in-memory)技術的AI應用，該技術旨在消除資料通訊瓶頸，此外與在網路邊緣執行AI語音處理相關。

圖2：採用SST SuperFlash memBrain的知存科技超低功耗SoC。 (來源：SST)

SST的SuperFlash memBrain神經形態記憶體解決方案，已成功應用於中國業者知存科技(Witinmem)的超低功耗SoC，該晶片採用記憶體內運算技術，支援神經網路處理，包括語音辨識、聲紋識別、深度語音降噪、場景偵測和健康狀態監測。

SST的SuperFlash memBrain是一種多階層(multi-level)非揮發性記憶體解決方案，支援用於ML深度學習應用的記憶體內運算架構。SST授權業務部門副總裁Mark Reiten表示，其SuperFlash memBrain以該公司的標準SuperFlash單元為基礎，該單元已經在許多晶圓代工廠生產。他指出，該特製類比協同處理器設計自2015年就著手開發，能比數位系統更有效執行ML處理。

Reiten亦表示，知存科技首款量產的神經處理SoC，能讓sub-mA低功耗系統即時降低語音雜訊並識別數百指令字，而且在開機之後就可立即執行。memBrain神經形態記憶體產品經過最佳化，可以為神經網路執行向量矩陣乘法，讓應用於電池供電裝置與和深度嵌入式邊緣裝置中的處理器，能夠提供最高的每瓦AI推論效能。

Reiten表示，更低功耗是透過將神經模型權重儲存於記憶體陣列，並使用記體陣列作為神經運算元件來實現；而因為不需要外部DRAM和NOR，成本也更低。「一旦將這些轉移到DRAM，功耗以及整體系統成本就會急遽上升；」他指出，「這是目前我們正在嘗試解決的問題。」

在memBrain解決方案的處理元件內永久儲存神經模型，也能支援即時神經網路處理的即時開啟(instant-on)功能。

最近有不少為AI應用和神經網路開發記憶體內運算解決方案的努力，都圍繞著利用電阻式記憶體(ReRAM)，SST也在內部完成了一些自己的開發。但Reiten解釋，該類記憶體具備在每單元單一位元之外的限制，因為多單元的編程非常耗時且存在精度問題；「學界正熱衷於該技術並對此感到興奮，但要生產真正有價值的產品會是完全不同的情況。」

本文同步刊登於《電子工程專輯》雜誌2022年7月號

責編：Judith Cheng

(參考原文：Microchip Makes ML, AI Advances with Flashtec SSD Controller，By Gary Hilson)

活動簡介

從無線連接、更快的處理和運算、網路安全機制、更複雜的虛擬實境(VR)到人工智慧(AI)等技術，都將在未來的每一個嵌入式系統中發揮更關鍵功能。「嵌入式系統設計研討會」將全面涵蓋在電子產業最受熱議的「智慧」、「互連」、「安全」與「運算」等系統之相關硬體和軟體設計。

會中將邀請來自嵌入式設計相關領域的研究人員、代表廠商以及專家，透過專題演講、產品展示與互動交流，從元件、模組到系統，從概念設計到開發工具，深入介紹嵌入式系統設計領域的最新趨勢、創新和關注重點，並深入分享關於嵌入式系統設計的經驗、成果以及遇到的實際挑戰及其解決方案。

贊助廠商

立即報名