目前約有十幾種加速用戶端機器學習(machine learning)任務的處理器核心正在角逐系統單晶片(SoC)市場,其中一些已經被設計於智慧型手機中。其目標在於取得比處理器IP巨擘Arm更早進入市場的先發優勢,但預計Arm很快就會發佈自家的產品。

市場觀察家The Linley Group的首席分析師Linley Gwennap在Linley處理器大會(Linley Processor Conference)發表專題演講之前接受《EE Times》的訪問。他表示,這場競爭態勢顯示機器學習晶片的許多舉動正開始轉向低功耗的用戶端區塊(block)。然而,在高性能的資料中心晶片之間,競爭仍處於初期階段。

Gwennap說:「Arm已經主宰了CPU的IP領域,也接管了GPU,但人工智慧(AI)引擎為核心晶片創造了一個全新的市場,讓其它公司也能取得一個好的開始。」

這一市場中值得關注的新競爭對手與產品包括:

  • 蘋果(Apple) iPhone智慧型手機中,A11 SoC內建的Bionic生物神經網路引擎
  • 三星(Samsung )Galaxy S9手機中,Exynos 9810處理器內建的DeePhi區塊
  • 華為(Huawei)麒麟970 (Kirin 970)手機中的寒武紀(Cambricon)神經引擎
  • 聯發科(MediaTek) P30 SoC中用於視覺和AI加速的Cadence P5 DSP
  • 英特爾(Intel)未來PC晶片組中可能使用Movidius加速晶片

現有的AI晶片設計訂單已經鎖定了在整個手機市場中約佔三分之一的高階智慧型手機應用。Gwennap並預計,AI加速將在未來2~3年內滲透到手機市場的其它部份。

除了智慧型手機,汽車對AI晶片來說也是一個越來越大的市場。還有個人電腦(PC)、平板電腦和物聯網(IoT)裝置很快地也將充斥整個市場。

為了跟上步伐,Arm在今年二月宣佈了一項名為‘Project Trillium’的完整平台。但是,Gwennap說:「他們必須在一些最佳化電源效率的特定硬體加速器方面更具有競爭力。」

「Arm目前正著手開發這一類加速器,並計畫在今年夏天發佈其首款產品…但事實上,他們的進度已經落後了,這讓一些新公司有機會儘快卡位。」

去年10月,Arm宣佈組建了一個機器學習小組。今年2月更進一步提供該計畫的若干細節。

Arm可能會在今年10月份於矽谷舉行的年度活動中發表產品詳情。但這並不能保證Arm將收復失地,因為神經網路引擎和CPU之間並不一定存在密切關係。

20180504_AI_NT31P1 迄今所宣佈的用戶端推論加速器之原始性能數據,僅能反映部份現實(來源:The Linley Group)

基準和資料中心的競爭

最終,能在這場仍算是新戰場中獲勝的晶片將是集性能、功耗和晶片尺寸等優勢於一的最佳組合。

Gwennap說:「問題在於我們看到了原始性能,但它實際上可歸納為在神經網路上提供的性能。所以,我們需要的是一個良好的基準,例如每秒鐘可分類多少影像等。」

百度(Baidu)率先將AI基準作為開放來源發佈,但尚未被廣泛採用。交易處理委員會(Transaction Processing Council)去年底成立了一個工作小組來處理這個問題,但尚未提報任何進展。

他說:「提出基準並不難,但要讓各家公司同意並比較結果可不簡單…如今事情正在改觀,所以,任何基準都必須發展,才能與時俱進。」。

目前為止,Gwennap的報告稱,Videantis的多核心v-MP6000表現較其最接近的競爭對手Ceva NeuPro略具有原始性能優勢。Ceva NeuPro將SIMD DSP與脈動MAC陣列相結合。

其它廠商還包括新思科技(Synopsys)的EV64,它結合了SIMD DSP與用於啟動和池化(pooling)的客製邏輯。如同Videantis一樣,AImotive AIware也使用了許多客製硬體區塊。

在低成本的區塊中,芯原微電子(VeriSilicon)的VIP8000-O採用具有多達8個深度學習引擎的GPU提供大部份的原始性能。令人不解的是,在所發佈的晶片中,寒武紀的CPU採用小型矩陣引擎所提供的性能最低,但仍取得華為智慧型手機應用的重要訂單。

英國晶片公司Imagination也攜其PowerVR 2NX入局,PowerVR 2NX採用支援MAC陣列的客製非GPU架構。Nvidia則為其Xavier處理器的深度學習加速器(NVDLA)核心架構提供免費且開放的IP,並獲得Arm的支持。

整體而言,Gwennap表示有多達40家公司都在設計客製的AI晶片。其中許多都鎖定了資料中心應用,但在這個領域,Nvidia Volta GPU的地位穩固,並成為亞馬遜(Amazon)等巨擘所選擇的訓練引擎。

Gwennap說:「我們現在看到的競爭對手是Google TPU和微軟(Microsoft)基於FPGA的Brainwave——目前正被廣泛部署,但至今還沒有許多商用替代方案可供選擇。」

「今年,在將新的AI資料中心架構投入生產方面,Wave Computing似乎領先一步。」

Wave Computing銷售完整系統的決定顯示其目標放在二線和三線(tier)業者,而不是喜歡製造自家最佳化產品的大型資料中心。

英特爾旗下的Nervana最近明確表示,要到2019年才會投產晶片。深度學習新創公司Graphcore聲稱將在今年稍晚發佈新晶片。另一家新創公司Cerebrus則仍保持緘默,而比特幣ASIC製造商比特大陸(BitMain)已在去年底宣佈用於資料中心的AI晶片計畫。

Gwennap說:「業界多家公司正一窩蜂地投入AI晶片領域,他們將其視為下一波淘金熱,因而競相搶搭這班列車。」

(參考原文:ARM Under Attack in AI,by Rick Merritt)