在過去幾年，人工智慧(AI)晶片領域發生了被公認為有如「寒武紀生命大爆發」(Cambrian Explosion)的新創公司熱潮；其中一些最早進入市場的已經開始成熟，擴展了內含他們的晶片之模組/板卡產品陣容，也有的是贏得現實世界的設計案，或是建立了全球通路管道。以下是《EE Times》特別注意到的幾個新訊息：

Hailo推出新模組

以色列AI晶片新創公司Halio發表了兩款以其Hailo-8 AI加速器晶片為基礎、鎖定邊緣應用的AI加速器模組，分別為M.2與mini-PCIe規格，適合智慧城市、智慧零售、智慧家庭與「工業4.0」等應用的無風扇(fanless)邊緣裝置。那些邊緣裝置可能負責的任務，像是為了降低延遲與避免個人隱私外洩等理由而必須在邊緣完成的多視訊串流分析等等。

Hailo-8的「結構定義資料流」(structure-defined dataflow)架構，使其能達到26 TOPS、3 TOPS/W的運算性能；該晶片符合車規、適合ASIL-B應用，並且已經取得AEC-Q100 Grade 2認證。最近Halio還公佈了新的數字，顯示其模組在不同性能參數上全面超越英特爾(Intel)的Myriad-X，還有Google的Edge TPU (Coral M.2)模組，包括執行為Google的Edge TPU最佳化的EfficientNet-EdgeTPU演算法。

有鑑於Halio-8能達到26 TOPS的運算力，其他競爭模組的運算性能峰值只有4 TOPS，這樣的結果並不令人意外；但讓人有點驚訝的是，Hailo的內部測試顯示，Google Edge TPU模組的性能表現平均是Intel Myriad-X模組的兩倍。

Halio的晶片與其他兩家領導業者產品的性能基準測試結果；柱狀圖顯示執行每一個模型的FPS (frames per second)速率。

(圖片來源：Hailo)

Hailo-8已經被應用於鴻海(Foxconn)的邊緣裝置BOXiedge，專為邊緣應用的視訊處理所設計；該無風扇裝置配備索思未來(Socionext) SynQuacer SCA11平行處理器，與Halio-8共同支援深度學習推論加速。Halio成立於2017年，現在員工已經超過100位，迄今募得8,800萬美元左右的資金，策略投資人包括日商NEC、工業機器人大廠ABB等。

Groq高性能PCIe板卡進軍資料中心

美國AI晶片新創公司Groq的張量串流處理器(tensor streaming processor，TSP)晶片已經以伺服器節點的形式問世；該伺服器在一個5U機殼中整合了8片各有一顆其TSP晶片的PCIe板卡，可提供6 POPS的算力，支援資料中心的AI推論。該系統功耗為3.3kW，Groq表示，此性能與功耗表現的結合，意味著能為資料中心帶來整體擁有成本(TCO)的優勢。

Groq的伺服器節點採用5U機箱，內含8顆TSP晶片，提供最高達6 POPS的AI推論性能。(圖片來源：Groq)

Groq的TSP是業界運算性能最高、可達到1 POPS (1,000 TOPS)的AI晶片之一，根據該公司提供的數字，在批次量(batch size)為1的情況下能以18,900 IPS (inferences per second)的速率執行ResNet-50 v2模型，是目前商用AI加速器晶片中速度最快的。

Groq的處理器擁有簡潔的硬體設計，執行規劃是以軟體進行；其編譯器實際上協調了所有的資料流與時序需求，以確保運算不會發生停頓，因此延遲與性能都是可預測的。該公司最近還宣布募得了更多資金，但婉拒透露實際金額，只暗示這將能讓他們擴大應用市場，進軍包括車用等領域。

Graphcore拓展全球通路夥伴

有英國AI加速器晶片「獨角獸」稱號的Graphcore，最近則是宣佈建立了全球性的通路合作夥伴網路。該公司是第一批在2018年就推出晶片的AI晶片新創，已在今年夏天宣佈推出第二代晶片Colossus Mark 2，以市場領導業者Nvidia為頭號競爭對手，號稱可在資料中心AI訓練任務上達到約250 TFLOPS的運算性能。

Graphcore的IPU-POD解決方案結合16台IPU Machine (內含64顆IPU晶片)，適合支援高性能運算(HPC)應用。(圖片來源：Graphcore)

Graphcore的系統級解決方案IPU Machine，則是一款1U機型的刀鋒伺服器，內含4顆Colossus Mark 2晶片，能以FP16的精度提供Petaflop等級的AI運算性能。該公司還推出IPU-POD解決方案，結合16台IPU Machine一同平行運作。

Graphcore表示，其智慧處理單元(IPU)晶片已經被應用於金融服務、醫療保健、消費性網際網路(consumer internet)、學術研究以及其他眾多領域。該公司推出的「菁英夥伴專案」(Elite Partner Program)，旨在建立IPU Machine的通路商與零售商網路，目前該專案成員包括伺服器大廠戴爾(Dell)、浪潮(Inspur)、2CRSI，以及超級電腦業者、涵蓋美國、歐洲與亞洲的多家伺服器與HPC系統通路業者。

編譯：Judith Cheng

（參考原文：AI Chip Startups Show Signs of Maturity，By Sally Ward-Foxton）

活動簡介

從無線連接、更快的處理和運算、網路安全機制、更複雜的虛擬實境(VR)到人工智慧(AI)等技術，都將在未來的每一個嵌入式系統中發揮更關鍵功能。「嵌入式系統設計研討會」將全面涵蓋在電子產業最受熱議的「智慧」、「互連」、「安全」與「運算」等系統之相關硬體和軟體設計。

會中將邀請來自嵌入式設計相關領域的研究人員、代表廠商以及專家，透過專題演講、產品展示與互動交流，從元件、模組到系統，從概念設計到開發工具，深入介紹嵌入式系統設計領域的最新趨勢、創新和關注重點，並深入分享關於嵌入式系統設計的經驗、成果以及遇到的實際挑戰及其解決方案。

贊助廠商

立即報名