「車載攝影機」本身並不算明確的詞，因為現今的汽車搭載越來越多的攝影機，而不同作用的攝影機，其規格和標準又不盡相同。Yole Développement曾將車載攝影機大致分成了ADAS攝影機、視覺攝影機(如環視、前視、盲點監測等)、車艙內攝影機(如駕駛監測、手勢UI、存在檢測等)、後照鏡攝影系統(Camera Mirror System，CMS)、自動駕駛(前視、環視攝影機等)。

這個分類似乎有些重疊，但大方向上卻又讓人認為車內與車外的攝影機有差別，而讓人看的攝影機與純粹用於資料分析的攝影機又有不同。打個比方，手機攝影機拍的照片要求拍得好看；而車載攝影機要以「拍得到」為最高準則。

汽車上的攝影機依照是否給人看，也可以分成兩大類。視覺攝影機即視覺應用是需要給人看的，像是電子後視鏡、某些環視系統。還有一類是電腦視覺(機器視覺)，應用於自動駕駛、自動停車，這種攝影機所攝畫面價值不在於給人看，而是為進行資料分析。

本文要探討的是後一類車載攝影機，以及與智慧交通相關話題的攝影機。ADAS與自動駕駛的許多攝影機都屬於這一類，在這種情況下，以人類視覺友好性為目的影像處理，就沒有價值了——電腦視覺就是指，以影像或視訊為輸入，輸出的則是距離、色彩、形狀、物件分類、語義分割等屬性資訊，電腦視覺所期望達成的是理解看到的世界(雖然當前的運算攝影實則也有一部分這種屬性)。

自機器學習成為新的熱門領域，人工智慧(AI)的發展也變得如火如荼。機器學習是電腦視覺可應用的一種解決問題的方法。越來越多的神經網路把一些傳統的電腦視覺方法遠遠拋在後頭，在電腦視覺領域，AI成為一個不得不談的話題：電腦視覺因此能夠實現更快速和準確的影像分類、目標檢測、目標跟蹤、語義分割等。

而AI機器視覺影像的辨識是透過影像感測器擷取影像之後，將影像資料傳送到個人電腦或是雲端進行判讀，再將結果傳送給機器；然而這樣的過程若是要用在需即時做出反應的機器視覺系統，例如車輛判定道路上是否有行人，以決定是否啟動自動煞車等諸如此類的應用，則可能導致延遲時間較長。因此，邊緣運算興起，讓機器或是作業現場工作站具備一定程度的AI運算能力，已成為大勢所趨。

要讓機器設備具備AI運算能力，最快的作法是，添加具備AI運算的微控制器(MCU)或是微處理器，再與影像感測器相互搭配；亦有業者選擇在影像感測器中直接加入AI運算功能，或是將影像感測器與AI晶片封裝成單晶片。無論何種做法，影像感測器也須進行一番的「升級改造」，才能與AI晶片相得益彰，甚至協助後端AI運算能更快速精準地做出判斷。

恩智浦半導體(NXP Semiconductors)大中華區資深行銷經理黃健洲表示，以往視覺化相關的感測器無非就是鏡頭相關的產品，如最常見具備RGB感測器的攝影機模組。但為了因應各種環境的要求，許多新型的感測器也相應推出，如DVS感測器可以針對光源小、曝光強的環境做偵測。一旦AI落實在物聯網(IoT)領域的應用，這種針對個別應用環境的感測器將會更具專用性，亦即蒐集環境資料後，AI運算需要高頻的CPU、NPU、GPU，以及處理影像的影像訊號處理器(ISP)。感測器除了感知和顯示當下環境的周邊狀況，未來也會針對這些運算體蒐集更具適配性的資料。

因此，本文嘗試探討當車載攝影機(主要是ADAS與自動駕駛相關的攝影機)應用於電腦視覺時，影像感測器會有哪些新的發展方向和技術要求。而既然電腦視覺與AI又有著這麼大的關聯，那麼也可理解為車載攝影機採用AI技術時，影像感測器會有哪些新的進展。

車載攝影機已開始導入AI，為影像感測器帶來新挑戰。

車規級影像品質規範

越來越多的影像感測器製造商，都愈發注重AI時代下自家產品的發展。較具代表性的是安森美半導體(ON Semiconductor)、上海思特威、意法半導體(STMicroelectronics)等影像感測器廠商，其普遍宣傳自家的全域曝光CMOS影像感測器，並且作為機器視覺的必要技術。因為在拍攝高速運動的物件時，唯有全域快門(Global Shutter)才能確保將物件拍清楚，才能實現準確的電腦視覺分析。

雖然這些並非全部針對車載攝影機應用，但也能從中窺出ADAS/自動駕駛攝影機對於影像感測器而言意味著什麼。

不過廠商從個體技術發展角度來談車載攝影機的影像感測器技術要求，可能不夠全面。從更全面的角度來理解這個問題，應看看標準和規範。市面上已有的標準似乎還是很多，不過目前比較知名的汽車相關的影像品質規範，應該是IEEE P2020與ISO 16505。從中應可發現，現在的車載影像感測器，到底有哪些技術要求。

ISO 16505針對的主要是人眼視覺相關系統品質的規範，比如說電子後視鏡、環視系統等；不對人眼可見的機器視覺部分是非強制的。很早之前，Imatest創辦人暨CTO Norman Koren曾公開嘲笑過ISO 16505，認為這是不熟悉影像品質測試的人開發的(雖然這可能與Imatest實際參與IEEE P2020有關)。

那麼就來看看IEEE P2020標準。IEEE P2020對於人眼視覺和機器視覺應用都有對應的規範，但這類規範推進的速度似乎還是比較緩慢。2018年9月發佈的《IEEE P2020 Automotive Imaging White Paper》提到汽車攝影機影像品質尚未被完全定義好，諸多關鍵指標不明確；也可在IEEE官網看到，IEEE P2020目前似乎仍停留在這一階段。不過這份白皮書列舉了現有的一些影像品質規範，與車用攝影機實際需求之間存在的差異，這其中的一部分對於影像感測器，以及整個攝影機系統而言提出了新的思考，相比ISO 16505也多出高動態範圍(HDR)、眩光(veiling glare)等的測試。

其中包括Tonal Response (動態範圍、SNR、低光照表現、色度陰影)、Spatial Response (解析度、銳利度、景深、紋理、運動模糊)、Temporal Response (閃爍)、 Spectral Response (光譜量子效率、演色性、交通相關色彩區分性)、光學偽像(鏡頭眩光、鬼影、眩光/雜光、鏡頭色差、雜散光)、雜訊、不均勻性(PRNU等)、熱性能(高溫下的SNR、解析度等變化)、功能表現(自動曝光、自動白平衡控制)、系統(多攝影機系統)、其他(鏡頭畸變、HDR多重曝光等)。

與此同時，IEEE P2020明確包含7個工作組，還是多少能夠看到未來的趨勢。與本文探討的話題比較相關的有幾個，其一是工作組一研究「LED Flicker Standards」，也就是LED閃爍。思威特副總經理歐陽堅提到，「交通領域中會採用LED燈，紅綠燈即為高頻閃爍的LED燈，如果不處理高頻閃爍的頻率，抓拍的資訊就會殘缺不全。」人眼對於頻率高於90Hz的閃爍不會有所察覺，但對影像感測器而言，曝光時長與LED光源調變訊號產生一些錯位時，就產生了閃爍資訊擷取不全的問題。

這一點事實上也是思特威、OmniVision這類影像感測器廠商研究的重要課題之一，雖然可能並非單純針對車載領域。而IEEE P2020工作組一針對這種閃爍，所做的工作包括闡明閃爍產生的原因和細節；列舉閃爍出現的情況和潛在影響；定義閃爍的測試方法和關鍵測試指標，以及定義閃爍對人類視覺/機器視覺影響的客觀測試指標。

其二，IEEE P2020工作組三研究針對電腦視覺的影像品質(Image quality for computer vision)。其方向主要偏系統級測試。相比EMVA 1288這種偏向單個元件的測試，系統級測試對於實際應用更有價值。前面提到許多影像品質規範，比如一些光學偽像、多攝影機系統就不只是攝影機乃至後端運算中，其中一個元件的問題。

車載影像感測器有哪些技術需求？

要將所有標準規範中提及的測試項悉數列出還是不夠實際，所以以下根據影像感測器供應商目前著力的宣傳點、新標準中針對車載攝影機新出現的部分嘗試總結ADAS/自動駕駛機器視覺對影像感測器，提出了哪些要求，又有哪些新的發展方向。本文只討論影像品質，不探討車規級本身對於電子元件在溫度、天氣等方面的嚴苛要求。

2018年，Smithers曾撰寫過一份名為「Autonomous Vehicle Image Sensors to 2023-a State of the Art Report」的報告。除了未來全自動駕駛將變得更依賴機器視覺，針對人類視覺的影像增強要求越來越低之外，還提到了幾個趨勢：

1.達到140dB的動態範圍，800萬畫素單目解析度、200萬畫素立體視覺相機，超過60fps的影格率及高靈敏度；

2.在0.001lux照度下，曝光時間不大於1/30秒的情況下，訊噪比大於1；

3.HDR功能開啟的同時，要求運動偽影更少；

4.消除LED閃爍問題。

這幾點都不令人意外，也是當代影像感測器廠商普遍努力的方向，包括影像感測器自身更高的解析度、影格率，以及低照度下的靈敏度和低雜訊。雖然報告中列舉的部分參數還有些超前，現在的影像感測器製造商在這些目標的實現上，卻都有自己的殺手鐧。例如針對低光照環境，不少廠商在變革畫素結構，同時開始採用雙增益轉換來兼顧白天和夜間場景。

這裡比較值得一提的是趨勢中提到的後兩點。首先是HDR，以及要求更低的運動偽影。其中HDR是車載攝影機所需實現的基本特性。畢竟當環境光對比很大時，如果攝影機拍攝的畫面有部分區域過曝或欠曝，電腦視覺分析工作就無法拿到對應的資料。從影像感測器的角度，實現HDR有多重曝光、雙增益、大小畫素分離，以及提高畫素阱容等方法。

時域多重曝光的HDR方案在成像領域很常見，但在ADAS/自動駕駛方向上的適用度正逐步降低——因為車載攝影機要求畫面不能有運動偽像，且必須抑制LED閃爍。所以像思特威這樣的廠商，開始傾向於採用單影格空間域多曝光的方案，典型的方法如隔行多曝光：影像感測器上每兩行為長曝光，另兩行為短曝光。

另外，抑制運動偽像一個重點就是全域曝光(或全域快門)。全域曝光也是現在幾乎所有影像感測器製造商都在爭奪的技術領域，傳統捲簾快門(rolling shutter)因為採用逐行曝光的方式，拍攝高速運動物體時會有果凍效應(圖1)。全域快門是讓所有畫素同時開始和結束曝光，也就規避了這種形式的影像失真。

圖1：傳統捲簾快門因採用逐行曝光的方式，拍攝高速運動物體時會有果凍效應。

(來源：思特威)

Sony的Pregius全域快門感測器較為知名——ISSCC曾收錄過Sony一篇每個畫素都應用獨立ADC的論文(畫素級互連)，這是快速實現全域快門的技術之一；OmniVision也有類似的技術介紹。Sony今年發佈的第四代全域快門影像感測器終於導入背照式(BSI)技術，縮小了畫素尺寸。

至於先前提到的LED閃爍消除(圖2)，這兩年思特威、OmniVision都在不遺餘力地宣傳自家的影像感測器LED閃爍抑制技術。畢竟在自動駕駛、智慧交通領域，LED閃爍導致攝影機擷取到的交通標誌、紅綠燈讀秒資訊不全，會導致後端AI系統的誤判。

圖2：LED閃爍消除。

(來源：IEEE P2020 Automotive Imaging White Paper)

一般來說，LED閃爍抑制可以透過保持LED閃爍與影像感測器快門同步的方式，問題是不同LED規格不一致，所以這種理論上的方案是不可行的。另外，也可以透過HDR，在捕捉LED燈的畫面時，確保能夠用更長的曝光時間來擷取更全面的資訊。影像感測器廠商應用的都是這個大方向，雖然在具體的實現上存在著差別，例如OmniVision應用的是大小分離畫素。

另一方面，若從晶片的角度出發，影像相關的介面就變得很重要，如MIPI-CSI、USB等。這些介面的數量也很重要，有時一個影像AI裝置至多需要8~10個攝影鏡頭，意味著就需要有足夠的影像傳輸介面。黃健洲指出，在AI運算力方面，以往單核、雙核或多核心的強運算力CPU也會慢慢走向更貼近機器學習演算法(如類神經網路演算法)的NPU、GPU等，以提升整體運算效率。

除了影像感測器本身技術的進展，以能與AI處理器搭配得宜外，價格和性能往往是終端裝置的蹺蹺板，如何在其中取得平衡更是工程師在設計上的藝術。黃健洲認為，面對許多AI在IoT領域未知的應用，大部分的廠商會先選擇通用型、能在不同場合都能運用的視覺感測器，但隨著應用趨於明確，這些通用型的感測器會逐漸被專用型感測器取代。更重要的是，針對特定應用的感測器，雖然沒有通用型感測器具備應用領域的彈性，但在價格還有開發速度上相對很有優勢。

機器視覺感知的未來

從系統的角度來看，大概還有一些技術趨勢值得一談。例如在感測器角度，車載領域各種感測器的融合會是個趨勢，不僅是多攝影機系統，還可能是不同類別視覺感測器的融合，比如LiDAR與攝影機融合的感測器；還有RGB-IR感測器，為影像感測器融入紅外線感知能力。

從整個成像/視覺系統的角度看，影像感測器將融合部分邊緣的運算力，可能也會成為一個趨勢。比如Sony就結合AI邊緣運算與影像感測器；SK Hynix去年也在新聞稿中提到，基於先進半導體製程，在堆疊式感測器中，將一個簡單的AI硬體引擎加入到感測器下層的ISP中，已經是可行的了，雖然這些暫時還不是針對汽車應用市場的感測器產品。

NXP目前則是採用晶片和感測器分離的方式。這是由於NXP在通用應用處理器(Application processor)和MCU著墨甚深，而通用型的處理器往往是一個新興應用領域的主要選擇。因此，在實際應用環境尚未明確的情況下，強大的運算力及廣泛型的介面就能讓整體裝置在設計上有很大的彈性。黃健洲說明，NXP在AI領域已有很好的出發點，再結合其他廠商的各種影像感測器模組，搭配介面豐富的MCU和運算功能強大的微處理器，將可實現更具彈性的開發和更廣泛的AI應用。

黃健洲進一步解釋，過往在AI的領域，尤其是機器學習相關的應用，會把資料送到雲端進行模型演算法的訓練，還有推論運算(Inference)，所以邊緣端就只是一個資料傳遞的中介站。但現今越來越多應用因頻寬、時效性等考量，需要把推論運算放到邊緣端，也就是說在訓練完模型後，把這個模型傳遞到邊緣端，等到新的資料進來，即可馬上進行推論。

在這種情況下感測器介面速度，還有和AI晶片適配性就會變得尤其重要。

思特威前兩年推出AISENS感測器晶片平台，亦即「感知與運算一體的通用AI感測器晶片平台」。之前思特威也提及以3D堆疊的方式將資料處理裸晶與感測器裸晶封裝在一起，這個平台似乎正趨於進一步的商用化。

黃健洲強調，AI可謂應用的翅膀，能進一步智慧化裝置或設備所有包括影像、語音、視覺…等五感應用，涵蓋並滿足車用、工業、商業或家庭…等領域。對於機器視覺來說，AI的應用更是早已被導入到工業或是消費性領域，隨著ADAS功能持續進入智慧車輛中，以及自駕車逐漸成為現實，與AI結合的影像處理器在車用市場的地位也將跟著水漲船高。

去年Yole Développement發佈了《2019影像訊號處理器與視覺處理器市場與技術趨勢》報告。該報告明確提到：「AI徹底改變了視覺系統中的硬體，對整個產業都造成了影響。影像分析增加了很多價值，影像感測器供應商們開始對將軟體層整合到系統中感興趣。因此現在影像感測器必須跳出單純的擷取影像這一能力之外，再對影像進行分析。」

本文同步刊登於《電子工程專輯》雜誌2021年5月號

活動簡介

從無線連接、更快的處理和運算、網路安全機制、更複雜的虛擬實境(VR)到人工智慧(AI)等技術，都將在未來的每一個嵌入式系統中發揮更關鍵功能。「嵌入式系統設計研討會」將全面涵蓋在電子產業最受熱議的「智慧」、「互連」、「安全」與「運算」等系統之相關硬體和軟體設計。

會中將邀請來自嵌入式設計相關領域的研究人員、代表廠商以及專家，透過專題演講、產品展示與互動交流，從元件、模組到系統，從概念設計到開發工具，深入介紹嵌入式系統設計領域的最新趨勢、創新和關注重點，並深入分享關於嵌入式系統設計的經驗、成果以及遇到的實際挑戰及其解決方案。

贊助廠商

立即報名