看好機器視覺商機 中國CIS業者準備「彎道超車」

2021-02-09
作者 黃燁鋒

透過將演算法前置到晶片級來解決人工智慧運算中的傳輸和即時性的瓶頸問題,能為未來AI領域、自動駕駛以及機器人的發展提供助力。

作為全球最大的CMOS影像感測器(CIS)供應商,索尼(Sony)於2020年年中推出過兩款「智慧視覺感測器」(IMX500與IMX501),該公司當時宣稱,這是全球最早加入AI處理能力的影像感測器,其本質就是整合了邊緣AI處理部分——或者更明確地說,是加入了DSP邏輯晶片,其中也包含AI模型所需的臨時儲存空間。

這類設計的本質是將部分「後處理」所需的能力,整合到了影像感測器這個更靠近「前端」的部分。這樣一來,視訊錄製就能進行相對更高精度、即時的物件追蹤。而事實上,在2020年初的ISSCC大會上,法國新創公司Prophesee就和Sony一起聯合開發了一款CIS,Prophesee稱之為「事件導向系統」,是將「更多的智慧帶到邊緣和終端」;其本質也是採用裸晶(die)堆疊的方案,整合了AI能力的CIS。

中國CIS開發商思特威(SmartSens)也注意到了這種將部分處理能力整合至CIS層面的趨勢,很早就開始了這方面的市場佈局──2019年4月,思特威推出「SmartSensor」AI智慧感測器晶片平台概念;根據該公司官方介紹,「SmartSensor平台旨在透過人工智慧演算法與先進感測器技術相結合,以開發下一代『智慧感測器晶片』,從而推動包括物聯網在內的人工智慧技術應用發展。」

思特威創辦人、董事長暨執行長徐辰

思特威創辦人、董事長暨執行長徐辰博士

思特威創辦人、董事長暨執行長徐辰(博士)接受EE Times China訪問時表示:「隨著人工智慧的不斷發展,在各種智慧視覺應用的輔助下,人們的生活變得愈加便捷和高效。思特威秉持著『幫助人們更好地看到和認識這個世界』的願景,始終著力於開發更加智慧化、適用性更廣的AI智慧晶片平台。」

徐辰亦指出:「透過將演算法前置到晶片級來解決人工智慧運算中的傳輸和即時性的瓶頸問題,能為未來AI領域、自動駕駛以及機器人的發展提供強有力的助力。」事實上,以思特威這家公司一路所推產品和技術為依據,就更能理解機器視覺以及AI,在CIS這個層面意味著什麼。本文嘗試以呈現思特威在CIS領域的技術特色,來簡單談談在機器視覺的發展過程裡,CIS是如何演進的。

BSI與全域快門CIS

2018年末,思特威在2018日本橫濱國際機器視覺展(ITE 2018)上,展示基於AI智慧方向應用的SmartGS系列產品,特色在於全域快門(Global Shutter),外加背照式(Back-Illuminated,BSI)像素結構。全域快門和BSI,就是貫穿了如今思特威CIS產品的兩大重要特性。

在此基礎之上,實現訊號雜訊比、靈敏度和HDR方面的能力擴展,「能在瞬間捕捉快速移動物體的關鍵影像資料及完整細節特徵,為AI演算法提供核心可靠的資料來源,有效增加了AI應用的場景適應性;」該公司在ITE 2018同時展示的SmartClarity系列CIS,除了BSI像素結構外,也藉由更大尺寸的CIS (及單像素面積),來提升低光照環境的可視性,「有助於機器視覺演算法在這類惡劣光照環境中的應用落地。」

簡而言之,即是在CIS的光電感應裸晶部分,透過各種技術加持讓CIS看得更清楚——這是後端資料處理的基礎,無論是安防、工業還是車用領域都是通用條件。不管是更大的CIS尺寸,還是BSI、全域快門,亦或後面要談到的更多技術,其本質都是讓CIS看得更清楚。徐辰強調:「思特威在2017年就開始佈局全域快門技術的研發,並於2018年發佈全球首款基於BSI像素技術的商業級30萬像素全域快門CMOS影像感測器——SC031GS,是率先進軍『消費性機器視覺』應用領域的CIS業者。

雖然我們並不清楚思特威在實現BSI像素結構,以及全域快門CIS的具體技術特點,不過本文仍期望花一點筆墨來談談這兩項技術的本質。

在傳統的前照式(Front-Illuminated,FSI)影像感測器上,像素的金屬連線位於光電二極體前方——光線在抵達光電二極體之前,首先需要穿過這些金屬電路,部分光線可能被反射或遮擋,這就降低了量子效率。

因此隨著製程技術的演進,BSI CIS是在製造過程中,透過翻轉晶圓將這些金屬電路置於光電陰極層之下,光不需要穿過金屬層就能撞擊光電陰極。如此一來,入射光子就有更大的機率被截取(圖1)。不過這麼做也會帶來一些問題,比如說串擾——帶來雜訊、暗電流等;晶圓變薄也令其更脆弱,這些自然需要改進的製造技術來解決。

 

圖1:背照式vs.前照式影像感測器。

 

但總的來說,BSI結構能夠帶來更出色的低光可視能力;整體光學系統設計也會更具彈性;以及可促成更快的讀出率。與此同時,BSI獲得更高的量子效率,副產品包括促成更小的CIS尺寸、更高的解析度。BSI技術真正走向成熟,應該是2009年光電二極體材料與製程有了相對應的突破之後。思特威在BSI技術的採用方面,與製程應該也有著不可分割的關聯。

而在思特威全域快門CIS的技術實現上,可參考的資料也比較少。我們並不清楚思特威具體是如何實現CMOS影像感測器的全域快門的。有競爭對手的實現方式,從大方向上來說是BSI+堆疊裸晶的方案:每個像素都有其各自的ADC,堆疊在感光裸晶的下方,則所有曝光的像素可同時讀出,而不像傳統CIS那樣需要逐行讀取——因為傳統的CIS通常採用列並行的ADC。

全域快門能夠避免捲簾快門(rolling shutter)效應——當逐行讀取時,其中的時間差可能造成在拍攝高速運動物件時的畫面失真(圖2),因為更靠感測器上方的像素會比底部的更早讀取。逐行讀取也可能導致某些人造光環境下的帶狀偽影。這種全域快門方案其實也會面臨比較大的技術挑戰,包括像素密度可能受限,更為複雜的電路也會提升成本,還有可能更大電流的需求,以及讀取雜訊的增加等。

 

圖2:捲簾快門vs.全域快門。

 

另外還有一種CIS全域快門的方案,是傳統捲簾快門的全域重置模式,或者全域曝光同步。每個像素也在相同時間開始電荷載流子的積聚——讀出仍然是逐行進行的,不過每行有個時間上的補償。這類方案的工作週期/區間其實會相應減少,而且有時存在移動物體影像採集模糊的問題。某些問題可以通過結合閃光燈、環境光抑制的方式來改良。

當然以上只是對全域快門技術的一些簡單闡述,思特威更具體的全域快門CIS技術細節是未對外公開的。TechInsights此前曾針對思特威SC130GS做過裸晶剖析,可惜這份報告售價高昂,TechInsights也並未免費公關任何細節。

更多CIS層面的技術

說到底,BSI與全域快門CIS仍然屬於我們相對耳熟能詳的技術——只不過其中的很多實現細節,在不同廠商間應該會有差別——這些差別也才是這些市場參與者競爭的關鍵,我們很難做深入。不過除此之外,思特威還有應用於CIS的更多技術。

針對SmartGS系列CIS,徐辰表示思特威已經發佈了第二代技術,透過提升像素尺寸(pixel size)來增加感光度和暗光效果,提升率可達30%;另一方面採用平行電壓域讀取提升了最大快門速度,可支援對高速運動物體的清晰抓拍。基於全新的電容製程,二代SmartGS技術的讀取雜訊號稱可降低一倍以上,同時兼具區域 HDR技術,可提升特定位置的動態範圍,解決了夜間拍攝訊號燈成像過曝等問題。

 

圖3:思特威第三代SmartGS技術也已經在籌備中,性能將比第二代有更大的進步,預計2022年問世。

 

在此多提一下思特威的SFCPixel技術,這是像素電路結構方面比較具體的改進,徐辰博士也在採訪中提到了這項技術的本質。思特威官網對此有一段比較形象的技術解讀:影像感測器上的PD (PhotoDiodes)利用光電效應產生訊號;透過傳輸閘TX (Transfer Gate)導入到儲存單元節點FD;之後透過PD周圍的SF (Source Follower)將儲存單元FD (Floating Diffusion)的電壓放大並輸出。這是PD感光的一般原理。

「這就好比我們有兩個杯子,其中一個底部較寬,而另一個比較窄。當在擁有相同電子數量的情況下,底部較窄的杯子能夠被裝填得更高。所產生的電壓也越高,因此能達到更高的靈敏度;」而SFCPixel技術,就是「SF中置像素技術」(圖4),將SF放置到PD中央的位置,使其更接近FD,也就能夠在同等電子下獲得更高的電壓。

圖4:SFCPixel技術原理。

圖4:SFCPixel技術原理。

更多技術在此不再多做展開——因為我們掌握的技術細節有限。比如說PixGain HDR技術,官方描述提到「可實現兼顧夜晚弱光環境以及白日強光環境的高品質成像,」在沒有運動模糊的前提下完成對快速移動物體的擷取。我們猜測,這可能是一種雙增益,外加可即時多幀合成的技術方案,以雙「原生」ISO完成畫面擷取。圖3的第三代SmartGS家族產品參數中,在動態範圍方面就應用了這項技術。

還有像是思特威的單幀HDR、多重HDR技術——從現有資料描述,可大致推斷它們可能與隔行曝光的iHDR、空間多工曝光的zHDR有類似的原理(思特威的單幀HDR技術入選過2019 ISSCC,未來我們可做進一步的研究);以及安防領域,除CIS的CFA色彩濾鏡矩陣的RGBW (RGB+White)與RGB-IR (RGB+紅外)排列,可能還應用了DTI深槽隔離這樣的方案;再如思特威一直引以為傲的近紅外增強技術,實現號稱是業界一流的850nm-940nm波段範圍的量子效率等等。

當CIS遇見AI

前面這些都屬CIS層面本身的技術改進,它們解決的問題是「看得更清楚」,無論是汽車、工業機器人還是保全攝影機,要看得更清楚,最終都要傳遞給後方做資料處理;這也是機器視覺實現的基礎。

ISSCC2019大會上,思特威有篇被收錄的論文描述了基於stacked BSI技術的全域快門、單幀HDR等技術,其中的不少技術都是契合未來機器視覺與AI系統的發展趨勢的。另一方面,思特威推出SmartSensor AI智慧感測器晶片平台,其基本理念是將部分資料處理過程「前置」於感測器端,這樣一來就能降低資料傳輸延遲,節省系統功耗,減少網路頻寬需求,降低系統硬體實現成本。

從技術上來說,透過3D堆疊裸晶的方式,將資料處理器與感測器封裝在一起——這需要思特威與具備3D晶片製程技術的夥伴進行合作。此外思特威在2019年於深圳舉辦的合作夥伴大會上提到,思特威正在研發下一代智慧AI視覺感測器平台晶片,預備將智慧化運算導入感測器端,提升整個機器視覺系統的效率和性能;在演算法、IP部分顯然也需要合作夥伴的支持。

這都可以認為是CIS遇見機器視覺與AI之後,在這個時代的發展方向。徐辰總結指出,思特威「目前已與多家市場主流一線人工智慧廠商開展了緊密的技術開發與商業合作,力求能夠以出色的產品,實現各類智慧應用終端。」而透過夥伴之間的通力合作,中國自有CIS或許能在更多領域實現「彎道超車」。

本文同步刊登於《電子工程專輯》雜誌簡體中文版2021年2月號

 

活動簡介

人工智慧(AI)無所不在。這一波AI浪潮正重塑並徹底改變科技產業甚至整個世界的未來。如何有效利用AI協助設計與開發?如何透過AI從設計、製造到生產創造增強的體驗?如何以AI作為轉型與變革的力量?打造綠色永續未來?AI面對的風險和影響又是什麼?

AI⁺ 技術論壇聚焦人工智慧/機器學習(AI/ML)技術,涵蓋從雲端到邊緣、從硬體到軟體、從演算法到架構的AI/ML技術相關基礎設施之設計、應用與部署,協助您全面掌握AI最新技術趨勢與創新,接軌AI生態系佈局,讓機器學習更快速、更經濟、更聰明也更有效率。

贊助廠商

黃燁鋒

暫無

發表評論

訂閱EETT電子報