3D成像(3D imaging)技術問世已有幾十年之久,但商用產品卻在本世紀初才開始上市。起初,電影製作公司使用最新高解析(HD)攝影機製作3D影片;在那之後,3D成像技術發展迅速,橫掃消費品市場與機器視覺產業。

第四次工業革命對目前的流程監控與自動化規模提出了前所未有的要求,也為3D視覺帶來了新的發展驅動力。傳統的2D視覺方法已無法滿足複雜物件辨識與尺寸標示應用的精確度與測距要求,日益難以因應越來越多的人機協同工作等複雜互動狀況。

本文回顧工業市場的3D成像技術,探討為何飛行時間法(Time of Flight;ToF)成為當前最具發展前景的方法,最後概述ToF系統專用的CMOS影像感測器最新發展。

3D成像概述

取得3D影像主要有四種方法,包括立體視覺法(Stereo Vision)、結構光3D成像(Structured light 3D imaging)、雷射三角法(Laser triangulation)以及ToF。後三種方法屬於自動成像系列,需要用到人造光源。

立體視覺法 立體視覺法需要安裝兩台攝影機來取得物件的不同視角(圖1)。採用校正方法調整攝影機與準確深度資訊之間的畫素資訊使之一致,這類似於大腦目測距離的原理。因此,在系統中融入認知過程仍離不開大量的運算工作。

立體視覺法採用標準影像感測器,因而降低了成本。感測器越複雜(例如高性能感測器或全域快門裝置),系統成本越高。其應用的距離範圍受到機械局限的限制:過程中需要一條實體基準線,因而需要更大尺寸的模組,同時還需要精確的機械對準與重新校正。此外,此方法不適用於光線條件差或變化不定的情況,很大程度上取決於物件的反光特性。

20180316_ToF_TA31P1 圖1:立體視覺(來源:Tech Briefs)

結構光法 在結構光方法中,預先確定的光圖案被投射於物件上,然後透過分析圖案如何失真變形而取得深度資訊。由於訊框(frame)週期並無概念上的限制,也不至於造成任何動作模糊不清,對於多路徑介面非常適用。然而,自動照明要求配置複雜的攝影機,以及在鏡頭與圖形投影儀之間提供精確、穩定的機械校正功能。此外,這種方法存在著標定降級(de-calibration)的風險,反射的圖案對於環境中的光干擾非常敏感,而且也僅限於室內應用。

20180316_ToF_TA31P2 圖2:結構光法(來源:University of Kentucky、Laser Focus World)

雷射三角法 雷射三角法針對一條光束的幾何偏移量進行測量,其數值與物件高度相關。這是一種基於物件掃描的單維成像方法。雷射點出現於攝影機視野範圍內的不同位置,具體取決於雷射打在物件表面的距離範圍。由於雷射點、攝影機與雷射發射器形成了一個三角形,因此這種方法被稱為三角法。

20180316_ToF_TA31P3 圖3:雷射三角法

位移與位置監控應用要求高準確度、高穩定性以及低溫度變化,因此,一般採用高解析度雷射。雷射三角法的缺點在於這種方法只能覆蓋到一段較小的距離範圍,易受環境光線影響,並且僅限制於掃描應用。同時,它需要用到複雜演算法與校正,而且受到結構性或複雜表面的影響。

飛行時間法 此方法體現了在攝影機與場景之間,透過光子雙向飛行時間直接擷取或計算距離的所有測量實施方法——可透過直接飛行時間法(D-ToF)或間接飛行時間法(I-ToF)測量方式執行。D-ToF的概念很簡單,但需要配置複雜且具有限制時間解析(time-resolved)的裝置;I-ToF的操作更簡單:光源與影像感測器同步。光的脈衝以與攝影機快門一致的相位發射。採用光脈衝去同步化作用計算光子飛行時間,就能推導出發射點與物件之間的距離。

20180316_ToF_TA31P4 圖4:ToF運作原理

這確保我們能夠對每個畫素的深度與幅度進行直接測量。這種影像稱為深度圖像。該系統具有較小的高寬比,只需一次校正,即可在環境光線條件下運作良好。不足之處在於它需要主動照明同步,而且可能出現多路徑干擾與距離混疊。

3D成像技術方案比較

每種方法都具有各自不同的優缺點,如表1。

目前,3D系統的應用尚未普遍,因此主要採用3D立體視覺法、結構光攝影機或雷射三角法系統。這些系統在固定的工作距離內運作,針對特定的測距區域則需要進行大量的校正工作。

ToF系統可克服這些方面的挑戰,從應用面提供更大的靈活性。目前,由於畫素的複雜度或耗電問題,大部份的商用解決方案仍受限於採用視訊圖形陣列(VGA)或更低的影像解析度。

20180316_ToF_TA31T1 表1:常用的3D成像技術比較

飛行時間法的CMOS感測器方案

看好ToF的應用前景,Teledyne e2v開發出首款3D ToF解決方案,支援130萬畫素解析度深度以及1英吋光學格式,並配置高靈敏度、高動態範圍的CMOS感測器。

這種ToF途徑可實現灰階影像與深度融合功能:

  • 先進的130萬畫素深度圖解析度:全解析度的深度圖,準確度達±1cm、速度快
  • 可擷取快速移動的物件3D影像:速度高達120格/秒(fps),30fps的全解析深度圖、全域快門效率高
  • 3D檢測範圍大:0.5-5m,支援90dB高動態範圍(HDR)
  • 可見光與近紅外光(NIR)高靈敏度感測器:850nm波長時量子效率約50%,支援HDR:夜間/日夜視覺
  • 嵌入式3D處理:多個感興趣區域(multi-ROI)——雙視窗、畫素合併(binning)、晶片長條圖資料統計功能

最新開發的展示平台可用於評估以深度圖或點雲格式輸出的獨特1.3MP深度解析度。

如圖5所示的ToF系統展示平台由一個精巧的1英吋光學成像系統構成,配置高靈敏度的1.3MP感測器。該平台內建多整合晶片功能(閘極感測器)、光源以及相關光學元件,並以1.3MP全解析度實現ToF成像。

20180316_ToF_TA31P5 圖5:ToF展示平台(來源:Teledyne e2v)

採用ToF的5T CMOS感測器主動成像

主動成像使用同步光源。輔助自動對焦功能是主動成像的簡單形式,可見於低光條件下採用紅外光訊號測距的現代攝影機中。主動成像可應用於惡劣天氣條件(如下雨或起霧時)。而採用同樣的感測器則可能實現兩種主動成像方法:距離選通法與ToF。

距離選通法(range gating)結合了兩種組成:脈衝光波前端裝置與一台專業高速快門攝影機。首先將光線發射至目標物件,當反射光從反射表面返回時,攝影機高速電子快門適時地開啟。距離選通成像可依據光與感測器的同步特性選擇影像平面距離。因雨天、多霧或霧氣粒子彌漫的環境導致目標物件與攝影機隔離時,部份光子仍得以穿過介質返回攝影機。這些光子被稱為「彈道光子」(ballistic photon)。雖然這類光子數量較少,但可同步擷取這些光子,因此可透過散射介質進行成像。距離選通方法可在遠距離成像,且幾乎不受任何限制,但具體也取決於光源的強度。

飛行時間法(ToF)的工作原理不同於距離選通。它可以直接測量ToF光線,從而推導出反射面的距離。由於物件與攝影機之間距離短,因此,基於ToF的系統需要配置一個全域快門攝影機。相較於主動成像,ToF並非聚焦於特定的影像平面,因而能在理想範圍內直接成像。

如圖6所示,距離選通影像擷取的建置主要依據同步的攝影機光源系統。它能在主/從模式下運行,具體採用哪種模式取決於應用環境的狀況。攝影機配置了快速的全域快門,速度快達數百奈秒(ns)。光源根據T0時間點攝影機的觸發情況發射光脈衝。經過一段時間後(T1),光脈衝到達此距離範圍,並根據是否存在物件而發生反射與否。

在發生反射的情況下,光線在T2期間返回攝影機;在此情況下,T3 = T0 + 2 τ,其中τ是攝影機快門開啟並擷取到反射訊號的返程飛行時間。在訊號格的時間內,這種週期過程週而復始幾千次,最終累積到足夠的訊號雜訊比(SNR)。產生的影像為灰階影像,且僅與出現在距離範圍內的物件一致。為了產生一個深度影像,必須在距離選通模式下掃描多個深度以取得一組影像,或調整延遲時間。然後根據這組影像計算各個點的距離。

20180316_ToF_TA31P6 圖6:距離選通工作原理

圖7描述了全域快門的畫素感測器結構,以及其產生短曝光與訊號同步的原理。最簡單的全域快門形式採用五個電晶體(5T)構成的畫素,以及一個專用相位驅動器。因此,訊號積分相位並不是一次性完成的,而是隨著同步多次積分而逐漸形成的。

20180316_ToF_TA31P7 圖7:全域快門畫素結構

Teledyne e2v的專利技術基於5T畫素結構與計時產生器,以實現Δt週期(Δt週期縮短至10ns左右)。這表明在暫態解析度方面已獲得了巨大的提升。支援高靈敏度/低雜訊的1.3MP CMOS影像感測器正配置了這項功能,並帶有多暫態積分模式(又稱「累積」模式)。此外,在影像感測器還需要有高寄生電荷靈敏度(PLS),也稱為「消光比」(extinction ratio),能避免攝影機選通「關閉」期間的雜散光線,進而獲得清晰的影像。

20180316_ToF_TA31P8 圖8:支援計時調整與同步電路的5T畫素CMOS需要充份的「消光比」,以避免場景的背景光線

結語

為了提高工業系統的有效性與自主性,視覺系統在視覺引導機器人與其他自主機器設備中的應用日漸增多,目前已開始採用3D視覺系統(如物件辨識、準確度)。現有的幾種3D方法都各自具有優點與限制,可取決於具體的應用要求作選擇;其中,飛行時間法(ToF)提供了非凡的3D視角,可望推動新一代專用CMOS影像感測器的發展。