在2018年度的國際固態電路會議(ISSCC)上,有幾項在影像感測器技術方面的新進展亮相,超越了以前著重在「選美」的影像擷取,添加了更多情境資訊;這些新進展包括了事件導向(event-driven)感測器、能解決運動中物體影像扭曲問題的全域快門(global shutters)新方法,以及飛行時間(ToF)影像感測器。

具備動作偵測功能的CMOS影像感測器

索尼(Sony)在ISSCC發表的事件導向低功耗CMOS影像感測器,就是一個為所擷取影像添加情境資訊的好例子,該公司的設計工程師團隊直接在影像感測器內部佈置了運動偵測(motion detection)功能。

在一篇論文中,Sony詳細介紹了一款1/4吋、390萬畫素(3.9Megapixel)的低功耗事件導向背照式堆疊(back-illuminated stacked) CMOS影像感測器,整合了畫素讀取電路(pixel readout circuit),能偵測每一個畫素的運動物體。根據Sony開發團隊的描述,開發這款事件導向影像感測器的幕後動機,是為了滿足那些低功耗、永不關機裝置也要配備高畫質成像技術的需求。

隨著諸如家用保全攝影機、虛擬個人助理等無線連網裝置崛起,物聯網(IoT)系統設計工程師也在尋找能延長電池壽命的小型解決方案,事件導向技術正適合保全系統應用;這類影像感測器內建了智慧功能,能即時偵測運動物體。

20180221_ISSCCsensor_NT02P1

Sony的事件導向感測器具備畫素陣列、列驅動器(row drivers)、列解碼器(row decoders)、單斜率產生器(single-slope generation)、動作/光偵測功能區塊、影像訊號處理器、訊框記憶體SRAM、MIPI連結埠,以及連結至感測器控制區塊的CPU
(來源:Sony)

如上圖所示,當Sony事件導向感測器偵測到運動物體時,CPU會產生一個外部中斷訊號,利用晶片上的自動曝光,以零延遲觸發對高畫質影像的擷取。Sony表示,該影像感測器利用每個畫素區塊共享之浮動擴散(floating diffusion)中的畫素加總(pixel summation),實現了每秒10訊框的運動物體偵測。

Sony位於美國矽谷的影像感測器設計中心資深嵌入式軟體工程師Abhinav Mathur表示,該影像感測器的運作功耗僅1.1mW,而相同的全解析度、每秒60訊框速率CMOS影像感測器功耗為95mW;在事件紀錄的應用中,此感測器能在攝影機系統的低功耗感測模式下顯著降低功耗與資料頻寬。

20180221_ISSCCsensor_NT02P2

Sony事件導向感測器功能區塊
(來源:Sony)

ToF感測器技術進展

3D深度攝影機正夯,相關技術的競爭焦點在於更高解析度、更低功耗以及更小體積;微軟(Microsoft)在ISSCC簡報了應用於Kinect 2動作感測裝置的ToF感測器進展,該感測器採用的是經過改善的連續波(Continuous-Wave,CW)式ToF技術,號稱將最新的ToF感測器推向了百萬畫素等級。

20180221_ISSCCsensor_NT02P3

Microsoft的最新ToF感測器
(來源:Microsoft)

Microsoft的團隊認為,在市面上各種3D影像擷取技術中,CW ToF成像系統能提供優異的機械強度、無要求底線,以及高效能深度影像解析度、低運算成本,還有IR環境光強度不變 (IR ambient light invariant intensity)同步擷取──即主動亮度(active brightness)──等特性,因此該團隊致力於改善CW ToF攝影機的空間解析度、精確度以及運作範圍,同時降低其功耗。

此外Microsoft也藉由提升調變對比(modulation contrast)、量子效率以及調變頻率來改善CW ToF影像感測器的不確定性與功耗,消除了讀取雜訊與類比數位轉換,同時以較小畫素降低了光學堆疊的高度。

20180221_ISSCCsensor_NT02P4

Microsoft的ToF感測器規格
(來源:Microsoft)

小型畫素(3.5 x 3.5μm)對新一代ToF感測器在智慧型手機應用的競爭上非常重要,Microsoft號稱其方案具備商用全域快門RGB感測器競爭力,以及適用手持式裝置的小型光學堆疊;該公司在ISSCC論文中介紹的1024x1024畫素ToF全域快門影像感測器,能在200MHz下達到87%的調變對比,採用台積電(TSMC)的65奈米1P8M背照式CMOS技術。

畫素內雜訊消除

松下(Panasonic)在ISSCC展示其有機光導薄膜(organic photoconductive film,OPF) CMOS影像感測器技術最新進展──將OPF CMOS影像感測器中的光電轉換功能與電路分離;藉由這種獨特架構,該公司團隊將新開發的高速雜訊消除技術以及高飽和度技術整合至電路,同時利用感測器的獨特敏感度控制功能來改變施加到OPF的電壓,因此實現全域快門功能。

20180221_ISSCCsensor_NT02P5

OPF CMOS影像感測器與傳統全域快門感測器的架構比較;Panasonic聲稱其最新感測器是業界首款提供8K解析度、60fps訊框速率、450k電子飽和度,並具備全域快門功能
(來源:Panasonic)

在過去,廣播電視與保全應用的高解析度、高保真度攝影機,如8K超高解析度電視系統與採用堆疊感測器方案的8K攝影機的共同缺陷,是採用滾動快門(rolling-shutter)而非全域快門。在全域模式下,快門運作能同步擷取所有畫素的影像;而滾動快門模式的有機CMOS影像感測器,則是以逐行(row by row)方式曝光與運作。

20180221_ISSCCsensor_NT02P6

Panasonic表示,滾動快門會導致失真問題,特別是在高速成像以及多視角影像合成應用時
(來源:Panasonic)

Panasonic新開發的感測器號稱能即時擷取不失真的運動物體影像,該公司認為這對多視角與高速、高解析度攝影機特別有益,例如機器視覺與智慧交通監控系統的應用;而因為光電轉換與電路能分開設計,利用畫素內增益開關(in-pixel gain-switching)技術能達到高飽和度特性,電壓控制敏感度調變技術則是藉由改變施加至OPF的電壓來調整敏感度。

20180221_ISSCCsensor_NT02P7

Panasonic新開發的CMOS影像感測器能擷取8K解析度影像,甚至在高對比度的場景中;同時具備全域快門功能,可用全畫素擷取同步影像
(來源:EE Times)

支援200公尺距離的成像光達

東芝(Toshiba)的工程師團隊在ISSCC發表的是長距離、高解析度光達(LiDAR)系統最新技術,利用來自目標物反射光子(reflected photon)的ToF資訊;而因為其目標是距離量測(distance measurement,DM),該團隊將支援距離定在200公尺,也就是一輛行駛於高速公路上的汽車,感測正在接近的其他車輛或物體的最理想距離。

而Toshiba的團隊也指出,若要在城市區域實現安全可靠的自動駕駛車輛,光達系統必須要有寬廣視角與高解析度,才能完整感知周遭情況;要實現此目標的一個棘手挑戰是,光達系統得時常與強烈的背景光線(例如陽光)對抗,那也是光達系統最主要的雜訊來源。

20180221_ISSCCsensor_NT02P8 20180221_ISSCCsensor_NT02P9

車用光達系統的偵測距離要求以及Toshiba的解決方案規格
(來源:Toshiba)

Toshiba介紹了一種結合時間至數位值轉換器(Time-to-Digital Converter,TDC)與類比數位轉換器(ADC)的光達SoC,配備了一種命名為智慧累加技術(Smart Accumulation Technique,SAT)的功能,號稱能讓光達系統達到200公尺的視距以及自動駕駛車輛需要的高解析度影像。

根據Toshiba的說法,SAT能利用來自ADC的強度與背景光資訊,識別並累計僅從目標物反射的數據,因此與傳統的累加技術相較,其解析度能達到四倍。該TDC/ADC組合架構放寬了ADC採樣率需求,以支援短距離DM精確度;此外該概念驗證支援200公尺距離的光達系統,DM距離是傳統設計的兩倍,可實現240x96畫素解析度與0.125%的DM精確度。

20180221_ISSCCsensor_NT02P10

Toshiba光達方案與傳統設計的性能比較
(來源:Toshiba)

畫素平行接合技術

不只Panasonic,Sony也注意到滾動快門影像感測器擷取運動物體影像失真的問題,指出畫素內類比記憶體(in-pixel analog memory)與畫素平行(pixel-parallel) ADC雖是潛在解決方案,但這些技術都無法支援百萬畫素解析度,因為它們都沒有解決在一個畫素中讀寫ADC數位訊號的時序限制(timing constraint)問題。

20180221_ISSCCsensor_NT02P11 20180221_ISSCCsensor_NT02P12

Sony在ISSCC論文中提出的方案,是利用具備每畫素單一ADC的堆疊影像感測器,在CMOS感測器實現全域快門
(來源:Sony)

Sony的堆疊式背照CMOS影像感測器,配備146萬畫素14位元ADC,採用畫素級接合技術(pixel-level bonding technology)。該公司表示,具備正向回饋電路的次臨界值比較器(subthreshold comparator)有助於降低比較器運作電流與電路區域最小化,能降低功耗。

編譯:Judith Cheng

(參考原文: Rivals Expand Image Sensor Scope,by Junko Yoshida)