類比運算將是下一個人工智慧創新時代的關鍵

作者 : Tim Vehling,Mythic產品與業務開發的資深副總裁

目前用於人工智慧應用的數位處理器難以滿足這些極具挑戰性的要求。類比運算提供了一種創新的解決方案,能夠幫助人們以更低的功耗和更小的外形尺寸獲得更高的性能,同時極具成本效益。

隨著人工智慧(AI)應用在越來越多的產業中變得越來越流行,對更多運算資源、更多模型儲存容量,以及更低功耗的需求變得越來越重要。目前用於人工智慧應用的數位處理器難以滿足這些極具挑戰性的要求,尤其是對於在邊緣運作的大型機器學習模型。類比運算提供了一種創新的解決方案,能夠幫助人們以更低的功耗和更小的外形尺寸獲得更高的性能,同時極具成本效益。

與數位運算相比,類比運算的速度和功效值長期以來就一直很有前景。從歷史上看,開發類比系統存在許多障礙,包括類比處理器的尺寸和成本。最近的方法顯示,一種稱為記憶體內類比運算(analog compute in-memory,CIM)的組合方法可以消除這些障礙,該方法將類比運算與快閃記憶體等揮發性記憶體(NVM)配對使用。

與依賴消耗過多功率的高傳輸量DRAM的數位運算系統不同,類比CIM系統可以利用令人難以置信的高密度快閃記憶體進行資料儲存和運算,這樣就消除了在數位運算系統中訪問和維持DRAM中的資料所帶來的高功耗。使用類比CIM方法後的處理器能以快速和低功耗的方式操作和組合整個儲存庫中的小電流從而在揮發性儲存單元內完成算數運算。

因此,雖然數位處理系統在不斷增加的深度學習工作負載和更高的功耗方面遇到困難,但類比CIM系統可以執行即時處理。即使是多個大型、複雜的深度神經網路,其功耗也只是數位處理系統的一小部分。

透過在快閃記憶體陣列內執行大規模平行向量矩陣乘法和加法運算,可以獲得顯著的功耗優勢。微小的電流透過儲存神經網路權重的快閃記憶體陣列加以引導,矩陣乘法結果利用一系列類比數位轉換器(ADC)得以累積。透過利用類比運算進行推理操作,可以消除DRAM訪問和數位運算的功耗開銷,從而實現人工智慧推理處理總功耗的大幅下降。

還有許多二級系統級效應可以大幅降低功耗;例如,當使用類比運算將功耗降低多達10倍時,因為不再需要主動冷卻,熱管理系統將得到極大的簡化。

成本、延遲優勢

類比運算系統還具有成本優勢,因為內建嵌入式揮發性記憶體的處理器可以用成熟的半導體製程節點製造。與所有產能都被少數公司佔用的前瞻節點相比,這些製程節點通常成本更低,供應鏈的可用性更廣。此外,類比CIM可以使用單個快閃記憶體電晶體來同時儲存神經網路權重和執行乘法與累加操作。這樣用單顆晶片就能完成非常密集的神經網路權重儲存和高性能人工智慧處理,不再需要增加外部DRAM及相關組件的成本。

類比CIM系統的另一個好處是它們的速度可以非常快,因為它們不受資料透過處理器中的數位邏輯閘和記憶體傳播,以及讀寫外部DRAM的延遲的影響。可以在晶片上執行大規模平行矩陣運算,所需時間僅為數位處理系統的一小部分。這種速度使得類比CIM系統成為運算密集型人工智慧工作負載的理想選擇,例如用於物件檢測、分類、姿勢估計、分割和深度估計的視訊分析應用。

 

Tim Vehling

Mythic產品與業務開發的資深副總裁

(來源:Mythic)

 

工業領域對更快的處理速度有著巨大的需求,其中執行電腦視覺應用的機器人主要用於提高生產力和安全性。無人機是類比CIM系統驅動新型功能的另一個市場,傳統意義上,為無人機配備高畫質攝影機、從而實現為需要在本地執行複雜的人工智慧網路,以便向控制站提供即時和相關資訊的電腦視覺應用一直具有挑戰性。使用類比運算的處理器可以在本地處理這些工作負載,同時還非常節能,從而使無人機能夠進行更長時間的飛行。

在這些功能的加持下,將看到越來越多的無人機用於農業監測、檢查電力線等重要基礎設施和檢查火災損失。

安全攝影機和監控解決方案也是類比CIM處理器的理想應用。在舊系統中,攝影機捕捉人和物體的影像,並將視訊發送到中央視訊處理系統——無論它是在設備端還是在雲端——以進行視覺分析;這正是突顯隱私和資料安全問題的部分。更好的選擇是讓攝影機使用經過訓練的人工智慧演算法來檢測特定序列——事故、犯罪或其他事件,並且只發送分析的中繼資料,或者只發送潛在安全事件的素材用於分析。不管是交通監控、事故檢測還是其他關鍵安全應用,視訊安全系統能夠在邊緣處理大多數資料都有助於減輕隱私問題,同時仍然保護公共安全。

總而言之,類比運算是人工智慧處理可以採用的理想方法,因為它功耗更低,尺寸更小,同時延遲也更短。類比運算技術的高功效可以協助產品設計人員在未來幾年解鎖新的人工智慧應用,甚至應用於小型邊緣設備中。

(參考原文:Analog Compute is Key to The Next Era of AI Innovation,by Tim Vehling)

本文同步刊登於《電子工程專輯》雜誌20223月號

 

 

 

 

加入我們官方帳號LINE@,最新消息一手掌握!

發表評論