為什麼神經形態運算基準測試很困難?

2021-12-10
作者 Sunny Bains,EE Times專欄作者

神經型態運算(Neuromorphic Computing)是工程師正在嘗試的一個全新領域,不同系統之間(神經型態和其他系統)不易進行比較可能是這項技術的一個難點。產生這個難點的一部分原因是因為該領域很複雜…

新技術的成功在一定程度上取決於這種技術所帶來的價值,簡單說就是要證明新技術比競爭對手的技術好。新技術只有帶來新的價值,才能吸引投資者,並讓管理者滿意。在現有產品的基礎上設計一個更小、更快、更輕、更有效的替代品相對比較容易,而創造一個完全不同的新東西要困難得多。

神經形態運算(Neuromorphic Computing)就是工程師正在嘗試的一個全新領域,不同系統之間(神經形態和其他系統)不易進行比較可能是這項技術的一個難點。

產生這個難點的一部分原因是因為該領域很複雜。神經形態技術是從大腦汲取靈感,但正如之前所討論的,要將靈感變為現實,從硬體層面來看有很多種方法,如類比或數位、尖峰或非尖峰、連續或離散時間、虛擬或直接神經元連接。

不同工作小組的目標和重心有時候也各不相同。一些想要模擬生物學,一些專注於能源效率,另外一些希望模擬類人智慧,還有一些則只想為日常機器學習的難題找到實用的解決方案。

那麼,對使用不同介面、編碼、技術和方法的神經形態系統,開發人員要如何進行基準測試並且要花多長時間呢?基準測試過去幾年已逐漸成為神經形態工程的熱門話題。實際上,2016年就已經開始比較不同應用中的系統,或者執行不同的演算法、網路或演算法/網路集。僅今年就發表了三項有關這一主題的研究,筆者將在以後的文章中討論這些研究,本文的重點是理解為什麼基準測試仍是一個難題。

細節決定成敗

來執行一項學習或辨識任務,然後比較其在不同實驗系統上的表現。首先,必須選擇一項能夠在所有系統中執行的任務,儘管這些系統在設計之初可能並沒有考慮到這一點。此外,必須考慮整個過程(從載入任務、執行任務到產生輸出),以及每個步驟是否都得到了最佳化。

如果沒有最佳化(這是新技術的常見問題),則必須將測量指標進行細分,使之僅用於有關的系統,而非用於整個基礎設施(支援這些系統所需)。

硬體也可以用這樣一種方式來建構,使其能產生適當的資料用於分析,包括不同階段的性能或功耗。然而,情況往往並非如此。

每秒浮點運算次數(FLOPS)能讓事情變得容易,但目前還沒有其他等效方法。工程師們嘗試使用乘積累加運算(MAC),但MAC更適於深度學習,並不能反映神經+形態工程的複雜性。

突觸操作也不適用,因為完成任務的方式太多,可以使用的學習規則太多,編碼方式太多,突觸和神經元功能也太多。

即使這些都不是問題,大家都知道,要使系統軟體運作,必須對編譯器進行量身打造,無一例外。否則,即使是最好的系統也會表現不佳。

不良基準的危害

為了更好地理解,來看看神經形態之外的其他技術。桑迪亞國家實驗室(Sandia National Laboratories)技術人員的主要成員Robin Blume-Kohout對量子電腦的基準測試很感興趣。在一次名為「Not All Benchmarks Are Created Equal」的演講中,Blume-Kohout表示,對於任何處於早期開發階段的技術,依賴其基準都是有難度的。

他在2018年的一份技術報告中強調了這一論點,「當今最先進的量子處理器如同處於嬰兒階段。用於成人的測試指標和基準(例如智商或SAT分數)顯然不適用於嬰兒;嬰兒的任務只有一個,就是成長。」

「監控嬰兒成長需要的技能和知識與評估成人所需的完全不同,」他繼續說,「孩童與不成熟的技術一樣,其成長與進步並非憑直覺能觀察到,有時甚至還出現倒退(例如掉乳牙或進入青春期)。」

與量子運算相比,神經形態工程處於更先進的階段,一些神經形態系統已經投入實際應用,儘管大部分規模還是較小。但Blume-Kohout的觀點對處於「青少年時期」的技術也是有效的,就像在學校,過度考試會讓孩子擅長考試卻不擅長獨立學習,在形成階段使用錯誤的基準會使神經形態工程朝著錯誤的方向發展。

在更早的一篇論文中,Blume-Kohout首先對不良基準測試的危險性提出了警告。

在1980年代電腦產業迅速發展之初,阿貢國家實驗室(Argonne National Laboratory)資深科學家Jack Dongarra曾努力尋找評估電腦的最佳方法,他也補充:「電腦的價值取決於其如何使用,而電腦的使用又因應用、工作負載和時間而異。」

Dongarra還斷言:「對一個場合有效的評估可能對另一個場合無效,而現在有效的評估可能在很短時間之後就不再有用。」於是就有了這樣的警告:「儘管基準在性能評估中是必不可少的,但簡單地應用它們可能會產生誤導性結果。事實上,不當的基準測試可能比根本沒有基準測試更糟糕,」他總結。

(參考原文:Why Benchmarking Neuromorphic Computing is Hard,by Sunny Bains)

本文同步刊登於《電子工程專輯》雜誌2021年12月號

 

 

 

 

活動簡介
TAIPEI AMPA & Autotronics Taipei X Tech Taipei 2023「智慧領航車聯網技術論壇」邀請來自產業的代表業者與專家齊聚一堂,透過專題演講、現場應用展示以及互動論壇,深人交流智慧交通與車聯網的融合應用,基礎設施以及安全測試與標準化等主題,帶來一系列迎接車聯網時代必須掌握的最新技術與市場趨勢,協助工程師進一步探索充滿無限可能的智慧移動大未來。
贊助廠商

發表評論

訂閱EETT電子報