靈感還是模仿:我們應在多大程度上複製生物系統?

作者 : Sally Ward-Foxton,EE Times歐洲特派記者

神經形態(Neuromorphic)運算誕生於1980年代Carver Mead的實驗室,當時Mead描述了第一個類比矽視網膜。但現在這個詞有了更廣泛的含義…

神經形態(Neuromorphic)運算誕生於1980年代Carver Mead的實驗室,當時Mead描述了第一個類比矽視網膜。在Mead的時代,「神經形態」意味著用矽晶片模擬生物神經過程,盡可能地複製它們。但現在這個詞有了更廣泛的含義。

受生物學啟發的不同的感測和運算方法開始激增,有些只是模糊地受大腦啟發。隨著摩爾定律的放緩和加速運算的成長,以及我們尋求能實現矽晶片下一個前瞻的技術,神經形態感測和運算正受到關注。

嵌入式視覺高峰會(Embedded Vision Summit)最近的一次圓桌會議,討論了神經形態的當代意義,以及從自然中獲取靈感和對其進行直接複製之間的平衡。雖然所有的神經形態技術都基於仿生學——從生物系統和結構中獲取靈感或對其進行直接複製——但圓桌嘉賓在靈感和模仿之間的正確平衡上存在分歧。

「神經形態用於表示數十種不同的事物。」人工智慧加速器晶片公司Perceive執行長Steve Teig表示,「某個事物的變形或形狀是什麼並不重要,重要的是它有什麼功能,所以我看不出試圖模仿神經元的好處或壞處。」

Teig引用了與現代飛機無關的鳥類飛行的經典例子。

「我們想要的東西和鳥一樣,但它不必像鳥一樣實現,」Teig表示,「我看不出在飛機中試圖模仿鳥的飛行方式有任何內在優勢,只要你最終能飛起來。」

Opteran科學長暨謝菲爾德大學(University of Sheffield)理論與運算生物學教授James Marshall表示,該公司對神經形態的定義持非常廣泛的看法。

「我們在Opteran進一步擴大了神經形態的定義,將演算法包括在內——我們對真實大腦的工作方式進行了逆向工程。」Marshall介紹。Opteran在其機器人系統中使用了標準攝影機和標準數位運算硬體(沒有基於事件的攝影機或脈衝神經網路)。

「對我們來說,重要的是瞭解真實大腦進行的資訊處理,並在一些當代矽晶片技術中對其進行複製。」Marshall補充。

英特爾實驗室(Intel Labs)研究科學家Garrick Orchard同意神經形態這個詞的含義自1980年代出現以來已經發生演變。「神經形態這個術語現在是如此廣泛,以至於它的意義很小。」他表示。

英特爾實驗室是英特爾神經形態運算產品Loihi的誕生地。Orchard表示,英特爾實驗室的方法是嘗試瞭解生物學中正在發生的事情,並將其應用到矽晶片上,這樣做是有意義的。

「我們在生物學中看到的哪些原則,對我們在矽晶片中取得更好的成果非常重要呢?」Orchard表示,「可能有生物方面的東西確實提供了優勢,但它們可能無法很好地轉化為矽晶片,因此我們不應該強迫矽晶片做可能使事情變得更糟的事。」

匹茲堡大學(University of Pittsburgh)教授暨CMU機器人研究所兼任教授Ryad Benosman表示,在我們完全瞭解生物大腦的工作原理之前,可能無法達到正確的平衡。

「從歷史上看,神經形態是關於在矽晶片中複製神經元,並且它已經進化了很多。」Benosman指出,「但沒有人真正知道大腦是如何工作——我們甚至不知道真正的神經元是如何工作的。」

Benosman指出,在巨型魷魚神經元的Hodgkin-Huxley數學模型(1952年)之前,關於神經元如何工作有許多不同的想法,但這些想法在那時實際上消失了。在他看來,神經元的工作方式仍然是一個懸而未決的問題。

「神經形態令人印象深刻、很酷,但它與我們對大腦的瞭解程度密切相關。」Benosman指出,「我們同意,在我們到達階段之前,我們可以從大腦如何工作,以及我們在這個時代可以建構的東西中收集到很多階段。」

Perceive的Teig對此表示不同意,他認為完全理解生物學並不是改善神經形態系統所必需的,因為不需要對其進行完全複製。「假設我們完全瞭解視網膜的工作原理——它仍然是生物進化最終導致了視網膜的出現,」他指出,「視網膜有各種各樣的限制,這與我們現在在建構技術方面的限制有所不同。因此,模仿視網膜非常擅長的其他事情可能會帶來好處,但不是其本身,因為那是視網膜做的事情,這就不是合適的工程策略。」

Opteran的Marshall提出了並非所有大腦都以相同方式工作的觀點。「我們並不真正瞭解脈衝是否重要。」Marshall表示,「實際上有許多不同種類的神經元類型,它們並不都是積分點火(IF)模型——在昆蟲中,有化學突觸、連續動作電位,而在早期視覺處理中,這真的很重要。」

Marshall解釋,Opteran並沒有在其演算法中使用脈衝(圖1)——「只是簡單的線性濾波器,但以一種巧妙的方式組合在一起,就像生物學中的很多東西一樣。」

 

圖1:(左)Hassenstein-Reichardt Detector,一種生物大腦中的運動檢測模型;(右)Opteran源自蜜蜂大腦的專利演算法。

(來源:Opteran)

 

英特爾實驗室的Orchard對此持相反的觀點。英特爾的Loihi晶片旨在透過非同步數位電子技術加速脈衝神經網路。「在我們的實驗室中,我們試圖研究我們認為在生物運算中看到的哪些原則是關鍵原則,並將它們應用到對矽晶片有意義的地方,我們認為脈衝是這些原則之一。」Orchard表示,「但你必須考慮脈衝的哪些屬性有意義,哪些沒有意義。」

英特爾的第一代Loihi晶片使用二進位脈衝,反映了將脈衝的全部資訊編碼到其時序中的生物學,而第二代Loihi晶片則具有可程式設計神經元,可以接受不同的脈衝幅度(圖2至圖4)。

 

圖2:英特爾的Loihi 2第二代神經形態處理器,該晶片是第一個使用預生產版本的Intel 4製程技術製造的晶片。

(來源:英特爾)

 

圖3:Loihi 2功能。

(來源:英特爾)

 

圖4:Loihi 2將作為單晶片板提供給研究人員,用於開發邊緣應用(Oheo Gulch)。它還將以一個8晶片板提供給研究人員,旨在擴展以適應更苛刻的應用。

(來源:英特爾)

 

如果脈衝幅度不重要,我們怎麼知道脈衝的重要性?

「脈衝確實幫助我們解決了稀疏性的想法。」Orchard表示,「如果你有一堆彼此之間交流非常稀少的神經元,你可以想像有幾個優勢。你傳輸的資料更少,匯流排上流過的流量也更少,這可以減少晶片運作的延遲,我們認為在這個領域,在脈衝域內運行具有顯著優勢。」

那使用類比運算又怎麼樣呢——畢竟大腦是台類比電腦?

Orchard指出,如果脈衝的大小不重要,它們可以用0或1表示,我們可能會爭論類比和數位之間的界限在哪裡。Loihi是數位化的,部分原因在於英特爾在數位電子方面的專業知識,他補充。

「我們看到了使用我們最新製造技術的顯著優勢,這能夠將節點尺寸縮小到非常小的程度,而仍然讓數位電路能非常可靠地工作,因此,對我們來說,堅持數位領域和提出可重複運算具有很大優勢,這在你除錯東西時當然也非常有用。」Orchard表示。

Opteran的Marshall表示,由於生物學的限制而進行的權衡,可能意味著脈衝是生物系統的最佳解決方案,但這並不一定會轉化為矽晶片,這也同樣適用於類比運算。「如果你以大腦為參考,它不僅要進行資訊處理,還必須讓自己保持活力。」Marshall指出,「你不想重現與做家務有關的神經元的細節……生物必須回收化學物質和各種東西才能避免死亡,這是基本的,因此與資訊處理元件完全無關。」

Perceive的Teig對類比硬體更加開放。「類比可能會有價值,因為你花在類比上的平均功率可能大大低於數位。」Teig表示,「我個人沒有支持或反對類比的信仰,我認為這是一種有意思的運算形式。對我來說,這就是退一步說你想讓你的電腦做什麼?你希望你的互連看起來像什麼?然後設計類似的東西。」

Benosman支援神經形態運算的非同步數位方法,如同英特爾。「對於運算,如果你想在今天製造產品……你所擁有的可以使用的類比產品屈指可數,這是不可持續的。」他表示,「我認為你需要的是非同步的。擺脫你的時脈……我認為這就是未來的發展方向。」

總體而言,圓桌嘉賓一致認為沒有必要盲目複製生物學,而是借用對我們有用的部分。然而,對於究竟哪些部分有用,仍然存在一定分歧。

「我們不知道我們是如何模擬世界並自學學習和吸收資訊。」Teig表示,「對我來說,這個話題雖然從科學上看很有吸引力,但這與基於事件的硬體、脈衝還是類比誰更勝一籌並無關。」

(參考原文:Inspiration or Imitation: How Closely Should We Copy Biological Systems?,by Sally Ward-Foxton)

本文同步刊登於《電子工程專輯》雜誌2022年10月號

 

 

 

 

加入我們官方帳號LINE@,最新消息一手掌握!

發表評論