接續前文:AI晶片大軍來襲(上)  

儘管DNN可以比人類更精確地辨識影像,但Khosrowshahi說:「但當今的資料科學家被迫花費龐大的時間對數據進行預處理、對模型和參數進行迭代,並且等待訓練的匯整......每一步不是過於勞累就是過度運算密集。」

總的來說,「人工智慧的問題仍然非常困難。」他補充說,「最優秀的研究人員可以讓機器人打開一扇門,但拿起杯子可能比贏得Alpha Go更困難。」

在這種環境下,Facebook和Google等網路巨頭發佈了大型資料組合,以吸引更多的人致力於更尖端的問題,例如視訊等新應用領域或數據類型的辨識問題。

擴展應用領域

隨著演算法發展,研究人員也在推動深度學習的應用領域。

Google旨在系統地將DNN應用於解決各種問題,從輔助盲人的自動字幕圖片、閱讀核磁共振成像(MRI)掃描結果,一直到監測廠房的品質控制等。Google人工智慧研發負責人李佳(Jia Li)在IEEE研討會上表示:「人工智能不是一項技術或產品。我們需要開始理解一個領域,然後收集數據、找到演算法,並提出解決方案。每一個新問題都需要一個不同的模型。」

事實上,人們正將DNN應用於幾乎所有領域,包括設計和製造晶片。英特爾編製了四十多種可能用途的清單,包括從消費者網上購物輔助到華爾街(Wall Street)自動交易的程式等。

Target公司資料科學家Shirish Tatikonda更進一步剖析這一應用領域。大部份的零售商資料都是關聯性數據,而不是最適合神經網路的非結構化數據。Shirish Tatikonda也曾經是IBM研究人員,他在接受採訪時表示,Target的業務問題中只有大約10%適用於DNN。儘管如此,該公司正積極開拓這一領域,其系統中約有10%是針對訓練神經網路模型的GPU伺服器。

為了擴大這種巨大的努力,Google的研究人員開始探索其所謂的AutoML。這個想法是使用神經網路自動產生模型,而不需要數據科學家手動調整。

20180125_AI_NT02P1 儘管最近的許多努力試圖縮小記憶體佔用空間,但是DNN模型在尺寸上仍然差別很大。(來源:Qualcomm)

機器人技術先驅Rodney Brooks擔心,這一期待可能會落空。他在最近的一次談話中說:「深度學習是好的,但它開始成為一個錘子,讓人們可以用它去打碎一切東西。」

Patterson則仍對此表示樂觀。他說,雖然廣泛的AI領域沒有達到過去的承諾,但它在機器翻譯等領域的成果是真實的。「可能在所有容易實現的目標都達成後,人們會發現沒有什麼更令人興奮的事情了,但你現在幾乎每個星期都會看到新的進展......所以我認為未來將會發現更多的AI用途。」

首度致力於軟體融合

在早期的狂亂和分散中,即使是致力於軟體融合的工作也很零散。百度(Baidu)的AI研究團隊進行了一項調查發現,有11項措施是用於彌補神經網路競爭軟體架構之間的差距。

目前最有前景的是開放神經網路交換(ONNX) 格式,這是一個由Facebook和微軟開始的開放來源計劃,亞馬遜(Amazon)最近也加入了。該小組在12月發佈了ONNX格式的第一版,旨在將用十幾個競爭軟體架構中任何一個創建的神經網路模型轉換成圖形表示。

晶片製造商可以在結果圖形上定位其硬體。這對於那些無法編寫獨立軟體來支持競爭模型架構的新創公司來說是個好消息,例如Amazon的MxNet、Google的TensorFlow、Facebook的Caffe2以及微軟的CNTK。

由30多家主要晶片供應商組成的團隊於12月20日發佈其首選——神經網路交換格式(Neural Network Exchange Format;NNEF)。 NNEF旨在為晶片製造商提供創建自家內部格式的替代方案,就像英特爾的Nervana Graph,以及Nvidia的TensorRT平台一樣。

百度還發現了ISAAC、NNVM、Poplar和XLA等多種格式。百度矽谷AI實驗室資深研究員Greg Diamos表示:「想知道是否會出現一個成功的格式,現在可能還為時過早,但我們正走上一條更好的路,其中之一最終可能會勝出。」

20180125_AI_NT02P2 在AI架構中,亞馬遜聲稱其MxNet架構和新興的Gluon API能提供最佳效率(來源:亞馬遜)

另外,Google已經開始使用軟體來自動化精簡DNN模型的過程,使其得以執行從智慧型手機到物聯網(IoT)節點的所有事情。如果成功的話,可望將50Mbyte的模型降低到500Kbyte。

Google也在探索如何在手機上進行有限的模型訓練,方法是根據當天收集的數據調整模型的頂層或在夜間執行的流程。像SqueezeNet和MobileNet這樣的業界行動也同樣展現了更簡單成像模型的路徑。

負責Google TensorFlow Lite計劃的Pete Warden表示:「我們看到了大量使用機器學習的人們在各種各樣的產品中大量湧現。「讓每次運算的能耗降下來這件事,讓我每天工作到深夜。」

展望未來

當專家細看AI的未來時,他們看到了一些有趣的可能。

當今我們使用基於手動調整模型的監督式學習。Google的研究人員Warden也看好不久將出現半監督方法,讓手機等客戶端裝置自行處理一些學習。最終目標是無監督的學習——讓電腦自己進行教育,而不再需要建造它們的工程師協助或為其編程。

在這條發展道路上,研究人員正設法自動標記數據,這些數據來自手機或物聯網(IoT)節點等裝置。

WD首度科學家Janet George說:「Google說現在我們需要大量的運算,在這個過度階段,一旦事情被自動標記,你只需要檢索新增的內容,這才更像是人類處理數據的方式。」,”

無監督學習打開了加速機器智慧時代的大門,有些人認為這是數位化的必殺技。另一些人則擔心技術可能會在沒有人為干預的情況下失望導致災難。Google TPU計劃負責人Norm Jouppi說:「這讓我感到害怕。」

同時,從事半導體工作的學者對未來的AI晶片也有其長遠展望。

Patterson說,英特爾、Graphcore和Nvidia「已經在製造全標線晶片,下一步就是3D技術。當摩爾定律發展如火如荼時,由於擔心可靠性和成本問題,人們在看到複雜封裝技術之前就臨陣退縮了。如今摩爾定律即將結束,我們將在封裝方面看到許多實驗。」

最終的競賽是創造出新型的電晶體,可以在邏輯和記憶體層上堆疊。

美國聖母大學(University of Notre Dame)電氣工程教授Suman Datta看好負電容鐵電電晶體技術可能成為這種晶片的基礎。他在最近召開的所謂的單體3-D結構會議上展望了該領域的前景。這一類設計應用以及3-D NAND快閃記憶體的進展都採用on-die晶片堆疊技術來實現。

來自美國柏克萊大學、麻省理工學院(MIT)和史丹佛大學(Stanford)的團隊將在二月份的國際固態電路會議(ISSCC)上展示一種類似的先進技術架構。該晶片(下圖)將磁阻式RAM (ReRAM)結構與碳奈米管製成的邏輯元件共同堆疊在晶片上。

20180125_AI_NT02P3 美國柏克萊大學、麻省理工學院和史丹佛大學的研究人員將在ISSCC上報告一種使用碳奈米管、ReRAM和圖案作為運算元素的新型加速器(來源:UC Berkeley)

該裝置是從DNN獲得靈感,並且被編程為近似模式,而非目前電腦所使用的確定性數字。發表該技術論文的UC Berkeley教授Jan Rabaey說,這個所謂的高維度運算模式使用了幾萬個維度的向量作為運算元素。

Rabaey說,這種晶片可以從例子中學習,並且比傳統系統所需的操作更少得多。其測試晶片將很快問世,它使用振盪器陣列作為類比邏輯元件,並與相關記憶體陣列中ReRAM單元搭配運作。

Rabaey在IEEE AI研討會上表示:「我夢想的引擎是可以隨身攜帶,現場為我提供指導......我的目標是推動AI以小於100mV運行。我們需要重新思考如何運算,並從基於演算法的系統轉向基於數據的系統。」

編譯:Mike Zhang

(參考原文:AI Silicon Preps for 2018 Debuts,by Rick Merritt)