有幾十個工程師擠在美國德州奧斯汀(Austin)近郊重劃區的咖啡店與美容院之間,探索運算技術的新方向──這是一家名為Mythic的新創公司,目標是將神經網路映射至NOR快閃記憶體陣列,以或許可節省兩個數量等級功耗的方式來運算與儲存資料。

如果他們成功了,這家新創公司就可跳過來自諸如英特爾(Intel)或是其他IP供應商、以及眾多富裕中國新創公司的數位處理器與核心;這些處理器的目標都是進駐下一代保全攝影機、無人機、工廠設備等試圖搭上人工智慧(AI)熱潮的嵌入式系統,甚至是未來的自動駕駛車輛。

「我們從研究所的時候就知道,混合訊號處理很適合這類應用;」與同事Mike Henry在密西根大學(University of Michigan)一起創立Mythic的David Fick表示:「你需要利用其可調閾值電壓來儲存很大的資料量與快閃記憶體──每個電晶體都非常具吸引力。」

Mythic所開發的快閃記憶體陣列,基本上可免除將資料從外部記憶體移出移入的需要,因此大幅節省功耗;Fick表示,他的指導教授David Blaauw與Dennis Sylvester「已經展開一些快閃記憶體研究,我們也擁有一些專長技術,因此能很輕易地加速啟動一個專案。」

不過要在記憶體中執行類比處理器這種有數十年歷史的老概念是件棘手任務,Fick表示:「你必須考量很多類比效應──不匹配(mismath)、雜訊、溫度,而且記憶體單元也有很多類似的顯著效應;」不同於配備經過妥善定義之記憶體、處理與儲存子系統的數位電腦,機器學習使用的類比電腦基本上是一個整合性的龐大工程。

「你需要同時一起設計所有的東西,因此需要了解重疊領域的人,例如了解彼此領域的元件端設計與神經網路設計工程師;」Fick解釋:「我們在這方面已經遠勝於其他人,因為我們擁有一個可以完成整個任務的超強團隊。」

確實,這家公司才剛完成B輪融資、獲得一筆高達5,000萬美元的資金,有部分原因是他們擁有一個總監等級(director-level)專家組成的多元團隊,包括來自德州儀器(TI)的類比專家、Microchip的快閃記憶體設計總監,以及Netronome的實體設計專家。

20180521_Mythic_NT02P1

Dave Fick與他的寵物狗Ellie在奧斯汀辦公室合影;Ellie是Mythic這家公司的非官方情緒支持總監
(來源:EE Times)

Mythic也藉由實現一系列的原型投片逐步展現其技術進展贏得投資者青睞,Fick在學校裡的VLSI設計表現就贏得不少聲譽;他表示:「當你以研究所學生身份設計晶片,包括記憶體、合成、設計規則檢查變異(DRC variations)…等所有的步驟都得自己動手;而如果你是直接進入業界,你可能永遠看不到整個設計流程,所以很多從學校獨立的新創公司會更容易成功量產。」

這家公司的兩個創辦人從小就是「科技宅男」(geek);Fick在高中時的第一份工作就是網頁開發工程師,念研究所時則進入AMD、IBM與Intel等多家大公司當實習生。Henry則是為了好玩,很愛參加各種快速寫程式競賽。

大大小小的競爭對手以及需要克服的軟體障礙

這些日子以來,Mythic的二人組遇到大大小小的競爭對手,至少有40家老牌與新創IP供應商或晶片業者,紛紛表示準備推出或是正在規劃某種形式的客戶端AI加速器晶片;這些競爭對手還包括中國幾家財力雄厚的新創公司,例如地平線(Horizon Robotics)就是其中最具潛力的一家,已經用較傳統的數位架構推出低功耗客戶端AI加速器。

還有一家美國新創公司Syntiant,跟Mythic一樣在開發利用快閃記憶體的記憶體內處理器(processor-in-memory)架構,該公司的團隊成員包括幾位Broadcom前任工程經理,並獲得了Intel Capital的支持。此外IBM Research也正在研究以電阻式RAM (ReRAM)為基礎的機器學習加速器,但Fick認為該公司採用了錯誤的方法。

他表示:「他們正在嘗試以完美的記憶體來讓所有事情變得簡單,但我們是透過共同設計所有東西取得領先…就算他們找到了理想記憶體,總是會有一種不太完美的記憶體可以支援更低功耗或是更快速度。」

創新的平行記憶體在歷史上總因為太難編程而失敗,新興的記憶體內處理器晶片肯定也會面臨相同的問題,因為機器學習本身需要全新的、仍在發展的編程模型。Mythic的工具雖名為開發平台,但扮演的角色像是編譯器,能為其晶片將TensorFlow資料庫內描述的神經網路轉換為機器語言。

Fick表示,該開發平台採用PCI Express與晶片連結,能提供「如何從晶片取得額外性能的提示,以及一些常見應用的最佳化網路範例。」想要使用TensorFlow以外其他框架的客戶,顯然會需要使用ONNX格式來轉譯其任務;ONNX (Open Neural Network Exchange)是少數幾種用來轉譯幾個不同AI軟體架構的新興工具之一。

而Fick也充分體認到他的客戶所面臨之軟體障礙:「為了進入這個領域,你需要聘請幾個深度學習科學家,但這類專家因為非常短缺、費用也非常昂貴 …建立資料集與神經網路並進行訓練非常耗時、代價也很高…這些都是冒險進軍且投資此領域的限制。」

好消息是,與競爭對手方案相較,Mythic晶片的記憶體陣列應該能處理更多樣化的卷積(convolutional)或歸遞(recurrent)神經網路,而且其性能的提升可望實現在功耗受限制的邊緣系統執行更複雜模型。

20180521_Mythic_NT02P2

Mythic到目前為止已經有數款測試晶片投片
(來源:EE Times)

Mythic有幾個重量級合作夥伴,例如洛克希德馬丁(Lockheed Martin)希望未來的無人機能使用該公司晶片,富士通(Fujitus)則是該公司的快閃記憶體供應商。到目前為止,有兩種應用似乎超出其能力範圍,一個是預算只有幾美元的智慧音箱,與Mythic的目標應用相較太過需要控制成本;另一個是自動駕駛車輛,因為需要車用等級規格,是該公司目前無法負擔的。

這家新創公司預計在今年底推出40奈米製程晶片,這個節點可支援嵌入式快閃記憶體單元設計,也符合低成本目標。Fick指出,其快閃記憶體單元已通過28奈米製程品質認證,這會是該公司的下一步;在那之後,晶圓代工業者正在開發嵌入式MRAN與ReRAM單元。

Fick表示:「沒有任何理由能阻止我們前進最小節點,我們能從製程微縮中受益;」而如果Mythic成功了,並不會是因為摩爾定律(Moore’s Law)或是那些數位處理器使他們受到歡迎,而會是因為他們將運算技術推往一個全新的方向。

編譯:Judith Cheng

(參考原文: Startup Maps AI into Flash Array ,by Rick Merritt)