人工智慧(AI)加速器晶片商機被大肆炒作,但這個市場究竟有多大?已經有哪些公司在銷售這類晶片?市場研究機構ABI Research最近發佈了兩份報告,詳細描繪了今日的AI晶片市場狀態,為此EE Times訪問了報告作者,ABI首席分析師Lian Jye Su,請他分享目前在這個商機潛力十足的市場上,有哪些較活躍的公司與技術。

雲端AI市場

ABI的第一份報告聚焦於快速成長的雲端AI推論與訓練服務應用,預期該市場在2024年將從2019年的42億美元成長至100億美元。Nvidia與英特爾(Intel)是此一領域目前的領導廠商,但它們的地位正受到包括中國新創公司寒武紀(Cambricon Technologies)、英國新創公司Graphcore、以色列新創公司Habana Labs以及高通(Qualcomm)等後起之秀的挑戰。

Su表示,Nvidia顯然仍會是該市場的龍頭,主要是因為該公司具備成熟的開發者生態系統以及先行者優勢。此外他指出:「隨著AI模型、資料庫以及工具組持續演變更新,Nvidia扮演優良的後備選項,因為其方案具備通用AI晶片的功能。當然,這些優勢會因為市場逐漸成熟而減退,但Nvidia的地位在可見的未來仍然穩固。」

Lian Jye Su

Lian Jye Su(Source: ABI Research)

根據ABI的分析,今日的雲端AI晶片市場分成三塊:一是由AWS、微軟(Microsoft)、Google、阿里巴巴、百度與騰訊等雲端運算服務供應商主導的公有雲市場,二是企業資料中心、即私有雲市場;第三塊則是ABI稱為「混合雲」(hybrid cloud)的市場,也就是結合公有與私有雲的方案(如VMware、Rackspace、NetApp、HPE、Dell等公司的產品)。

此外ABI的報告還定義了另一個新興領域──電信雲(Telco clouds),指的是電信業者為其核心網路與IT、邊緣運算工作所佈署的雲端基礎建設。Su認為,這個新領域會為AI晶片供應商帶來很大的商機:「我們已經看到如華為(Huawei)等網路基礎建設方案供應商,還有較小程度像是諾基亞(Nokia)等公司,推出為電信網路功能最佳化的ASIC;這是一個很大的市場,Nvidia近來也非常努力想要進入。」

20190911_AIChip_NT01P1

2017~2024年AI晶片年度銷售額。
(來源:ABI Research)

而Su雖然沒看到有任何其他廠商能在短時間內撼動Nvida在雲端AI訓練晶片市場的主導地位,但推論晶片領域則是人人有機會,目前並沒有一家公司獨霸的情況。這有部份原因來自於推論工作在不同垂直應用上會有所不同的本質;他認為,該領域的ASIC會從2020年起呈現強勁成長。

目前AI推論往邊緣裝置移動的趨勢,意味著包括智慧型手機、自駕車以及機器人等裝置,對於雲端的依賴程度將會降低,但Su強調,這並不代表某些雲端服務供應商所認為的、AI推論工作量大於訓練工作量的情況會改變。

「有一些AI永遠不會移到邊緣,例如聊天機器人(chatbots)還有對話AI (conversational AI)、詐騙監測(fraud monitoring)與網路安全系統等等;」他表示:「這類系統會牽涉從規則式(rule-based)到深度學習類型的AI系統,這實際上是增加了推論工作量,而且增加的幅度遠遠可抵銷那些轉移至邊緣的推論工作量。」

還有Google;Google的張量處理器(TPU)可以同時處理雲端訓練與推論任務,被認為是分別由Intel與Nvidia領銜的CPU與GPU技術的強勁對手。ABI的報告指出,Google在TPU上的成功為其他雲端服務業者(CSP)建立了一個自己開發AI加速器ASIC的優良範本;包括華為、AWS與百度等也都已經這麼做。

那麼如果雲端服務業者都開始自己設計晶片,在該領域還有其他晶片業者能生存的空間嗎?對此Su表示:「沒錯,隨著CSP開始自己設計晶片,對於一些新進公司來說這個市場會變得非常具挑戰性;我們預測,到2024年該市場約會有15~18%是由CSP自己填滿,因此雲端AI商機會有更多是來自於資料中心私有雲領域。」

Su表示,金融、醫療機構還有研發與學術領域也會需要執行AI,而且他們會考慮採用為AI工作負載最佳化的晶片,這為包括寒武紀、Graphcore、Habana Labs以及Wave Computing等新進業者提供了一些優勢。他也認為,其他將因此受惠的廠商還包括IP供應商如ARM、Cadence與芯原(VeriSilicon)等,他們將會需要支援比以往更多的晶片開發業者。

邊緣AI市場

ABI的另一份報告則是聚焦邊緣AI市場,指出邊緣AI推論晶片市場在2018年的規模為19億美元;而邊緣訓練市場在同一年度的規模只有140萬美元。Su解釋,會在邊緣執行AI訓練的裝置包括閘道器(用以儲存歷史資料或是扮演設備中樞角色),還有企業內部佈署(on-premise)伺服器(在私有雲中,但是位於AI資料產生的地方)。

為on-premise伺服器的訓練任務所設計之晶片,包括Nvidia的DGX,還有華為伺服器與閘道器所配備的Ascend 910晶片;包括寒武紀、Graphcore與Habana Labs等公司,也有專門鎖定on-premise資料中心的系統級晶片。Su表示:「邊緣AI訓練市場還很小,因為AI訓練任務還是偏向在雲端執行。」

20190911_AIChip_NT01P2

2017~2024年的AI推論與訓練晶片市場營收。
(來源:ABI Research)

在2019年至2024年之間,整體邊緣AI市場規模估計可達到31%的複合年平均成長率(CAGR),邊緣AI推論將佔其中大宗;Su指出,邊緣推論會有三大主要應用──包括智慧型手機/可穿戴裝置、汽車以及智慧家庭/白色家電,及三大利基市場。

第一個利基市場是通常需要異質運算架構的機器人,因為這類機器人仰賴各種型態的神經網路,如利用同步定位與地圖構建(simultaneous location and mapping,SLAM)來導航,或是做為人機介面的對話AI、用來偵測物體的機器視覺等;Su表示,所有這些應用都是在不同程度上採用CPU、GPU與ASIC,而Nvidia、英特爾與高通在這個領域中激烈競爭。

「第二個利基市場是智慧工業應用,包括智慧製造、智慧建築與石油天然氣領域;」他指出:「我們看到FPGA供應商在這個領域的表現優異,因為需要採用新技術的是舊有設備,而FPGA架構能提供靈活性與適應性。」

最後一個利基應用是在「非常邊緣」的地方,也就是將超低功耗AI晶片嵌入感測器與其他廣域網路上的小型終端節點。有鑑於此應用的聚焦於超低功耗,這個領域的競爭廠商包括FPGA供應商、RISC-V架構晶片以及其他ASIC供應商。

那麼到目前為止,有那些晶片業者已經取得AI推論應用的設計案?Su的回答是:「因為智慧型手機的出貨量龐大,因此智慧型手機用AI ASIC的供應商,是整體邊緣AI晶片市場實際上的大贏家,包括蘋果(Apple)、海思(HiSilicon)、高通、三星(Samsung),以及較低程度上也包括聯發科技(MediaTek);但如果我們只提新創,我認為以色列的Hailo,還有中國的地平線(Horizon Robotics)、瑞芯微(Rockchip),看來已經取得一些終端裝置製造商的青睞。」

Su也表示,在商業實現與佈署邊緣AI晶片方面,軟體扮演關鍵角色;相較於Nvidia是持續升級其編譯器工具與建構開發者社群,英特爾與賽靈思(Xilinx)等業者採取的作法則與擁有軟體AI加速解決方案的新創公司合作,或是收購他們。

他也建議,「晶片業者應該要考慮為開發者社群提供工具組與程式庫,還有開發者教育課程、舉辦競賽、論壇或研討會等,這些能吸引開發工程師與晶片業者合作並開發相關應用程式;但這對於新創公司來說並不容易。」

除了提供適當的軟體以及為開發者社群提供支援,ABI的報告還指出,AI晶片業者想要成功,得擁有獲得其他技術價值鏈支持、優良的產品開發藍圖,他們也會需要為不同的使用案例創造晶片產量規模,同時要維持具競爭力的價格點。

編譯:Judith Cheng

(參考原文: AI Chip Market to More than Double in 5 Years,by Sally Ward-Foxton)