過去兩年來,人工智慧(AI)已經從學術奇蹟演變為全球重大趨勢了。以某種形式呈現的機器學習(machine learning)即將徹底改變幾乎所有領域——從消費者、汽車、工業到電子產業的每一個領域,並且正以未知的方式影響整個社會和我們的生活。

事實上,對於產業來說,這表示每一家處理器供應商都將機器學習視為「金雞母」。這一場戰爭已經開打,他們正積極調整自家公司策略,競相為具有最大潛力的領域——資料中心以外的機器學習,或是邊緣AI (AI at the edge)——提供可加速特定工作負載的理想解決方案。

邊緣AI擁有巨大的光明前景,因為它幾乎適用於每一種電子裝置,從無人駕駛車可在行駛中「看到」路上行人,到能夠接收並回應語音命令的咖啡機等。需要在低延遲、資料隱私、低功耗和低成本之間任意組合的應用最終都將轉移到邊緣執行AI推論。

值得注意的是,從下圖Gartner提供的新興技術發展週期報告(Hype Cycle for Emerging Technologies, 2019)來看,邊緣AI (Edge AI)只不過是發展還不到5年時間的一個點。

Gartner, Hype Cycle for Emerging Tech, 2019

Gartner提供的2019年新興技術發展週期報告:Edge AI要「達到生產力成熟期」(plateau of productivity)大約還需要2-5年的時間。(來源:Gartner)

AI推論的工作負載是特定的:它們需要對大量低精度資料進行大規模平行處理,而記憶體存取正成為一項瓶頸。大部份的處理器類型都在試圖適應這些要求。

目前主要的技術是GPU——實際上應該說是當今一家公司的細分市場。很幸運地,GPU的單指令多資料(SIMD)架構本來是為了加速電腦繪圖而開發的,如今也順勢演變成為極其適用於AI工作負載。輝達(Nvidia)正乘著這一波浪潮前進,致力於開發AI超級電腦,用於資料中心、自動駕駛等以及甚至是小型的邊緣裝置。

其他業者也想在這個市場分一杯羹。長久以來習於加速數學演算法的FPGA供應商開始完善其產品組合,以因應邊緣AI處理的需求。賽靈思(Xilinx)採用特定領域架構(domain-specific-architecture)的概念,將可編程邏輯與其他運算類型結合在一起,為新的工作負載客製化資料串流。同時,萊迪思半導體(Lattice)則瞄準在低功耗裝置中進行影像處理。

還有許多新創公司的新架構成功達陣,從記憶體處理器(processor-in-memory;PIM)技術(如Mythic、Syntiant、Gyrfalcon)到近記憶體運算(near-memory computing,如Hailo);從可編程邏輯(Flex Logix)到RISC-V核心(Esperanto、GreenWaves);以及從極其微小(Eta Compute)到超大規模(Cerebras、Graphcore)等領域。這些新創公司大多數都在為邊緣打造AI。但是,當他們開始與Nvidia和Intel等巨擘正面競爭時,是否還會有足夠的利基市場足以支持他們?時間會說明一切。

此外,還有許多新創公司從另一個方向著手解決這個問題:調整AI工作負載以便在微控制器(MCU)等傳統硬體上更有效地執行。諸如PicoVoice和Xnor等公司正在尋找新方法來利用現有裝置的指令集,以執行矩陣乘法。

結合Google在TensorFlow Lite上的成果——一款可將機器學習模型縮小到適合MCU的編譯器——毫無疑問地,這將為不需要連接網際網路即可進行推論任務的語音啟動裝置等應用開啟大門。

嵌入式開發人員在面對這些新型加速器晶片組時,必須學習如何使用它們。軟體是這一挑戰的重要組成部份。更傳統的CPU、MPU和MCU顯然在此具有領先優勢。

儘管要打造一個圍繞著新軟體平台的開發社群並非不可能,但這畢竟並不容易實現的。Nvidia花了十年的時間打造其GPU軟體平台——CUDA,才實現當今的成果。任何想要進入這一領域的業者都需要打造工具庫與工具,以及透過會議與論壇來教育開發人員。但這些都可能讓新創業者的有限資源更加吃緊。

靈活性是成功秘訣的另一個要素。儘管當今的影像處理模型有賴於卷積神經網路(CNN),但不同類型的神經網路也適於像語音辨識等其他應用,而且學術界還一直在提出新的神經網路概念。先進的網路可能還需要更複雜的資料串流方案。為了加速當今CNN而開發硬體的一個風險在於可能導致過於專業化,而無法加速未來的網路平台。因此,AI工作負載的本質應該被視為一項不斷變化中的目標,在靈活性和性能之間取得適當的平衡,這對於未來的發展至關重要。

這個領域的戰爭才剛剛開打。最後的贏家將屬於那些選擇適合自家公司的利基市場並為其努力打拼、投資軟體堆疊以及教育產業、並在此快速發展的產業中保持靈活性的公司。當然,還必須要能以合理的價格進行。

編譯:Susan Hong

(參考原文:Companies Clash over AI at the Edge,by Sally Ward-Foxton)