在過去兩年,我們已經見證到在大眾市場上的大多數智慧型手機對雙鏡頭技術之採用,而且幾乎是跨所有手機業者;雙鏡頭出現在前置或後置攝影機,有不同的配置以及終極目標。

根據市場研究機構的報告指出,2018年有30%的智慧型手機將採用雙鏡頭,明年該比例將成長至50%。而雖然智慧型手機市場花了超過十年時間才添加第二個鏡頭,看來第三個鏡頭也馬上要登場了──在雙鏡頭方案被採納的兩年之內。

本文將探討智慧型手機影像系統添加第三個鏡頭的一些動機、所帶來的挑戰,以及一些可能的解決方案。

雙鏡頭發展回顧

智慧型手機的厚度一直是行動攝影技術的挑戰;隨著技術演進,攝影機光圈尺寸可以非常迷你,畫素(pixel)尺寸也越來越小,此外自動對焦與影像穩定也仍然需要能放進去。而最近,智慧型手機廠競相實現不錯的低光線拍照性能、高解析度、低SNR,甚至還能以僅6mm的攝影機高度來變焦。

雙鏡頭技術的誕生,除了為相機模組製造商與智慧型手機業者帶來救贖,同時也帶來挑戰;它提出的方案是:如果單支攝影機已經充分發揮潛力,為何不合成兩支攝影機的輸出,好讓它們能各自貢獻其特殊優勢?

最早搭載雙鏡頭的智慧型手機是HTC One (M8),應用於後置攝影機;其唯一目的是提供景深與對焦效果。而雙鏡頭手機發展的第一階段持續至2016年中,當時有多家智慧型手機業者都在旗艦機種嘗試採用雙鏡頭技術,利用不同的設定,包括僅支援景深、RGB-單色(Mono),以及廣角-超廣角(Wide-Wider)等組合。不過並沒有出現「殺手級拍照應用程式」,也沒有任何一種配置方法勝出。

2016年9月,Apple發表配備後置雙鏡頭攝影機的iPhone 7 Plus,以「廣角+望遠」(Wide+Tele)的高階雙鏡頭配置,強調支援兩種消費者最想要的功能:光學變焦(optical zoom)與數位散景(digital bokeh;或稱「人像模式」)。從那時候起,雙鏡頭智慧型手機市場地位確立,各家高階與旗艦機種都採用了與Apple類似的配置,中低階手機則仍僅支援景深功能。

20180330_3cameras_NT01P1

Corephotonics (以色列新創公司,本文提供者)是在 2014年推出變焦雙鏡頭系統,能在不犧牲攝影機Z軸高度的前提下支援真正的光學變焦
(來源:orephotonics)

然後是三鏡頭!

雖然雙鏡頭智慧型手機已經在高階市場普及,在近期內仍將會有許多新的雙鏡頭拓樸亮相,以強化今日的雙鏡頭方案性能;一個下一代雙鏡頭進化的案例即將發生,即是可折疊攝影機架構的應用,不只能大幅改善變焦倍數以及低光線拍攝性能,也能實現更低的攝影機模組高度以適應更薄的手機機身。OPPO在2017年MWC就曾發表過採用這類技術的初期原型──配備5倍變焦鏡頭的智慧型手機攝影機技術。

另一個智慧型手機攝影機的有趣變化,會是利用三鏡頭組合;不過說比做容易得多,添加第三個攝影機鏡頭會帶來明顯的挑戰(以及獎賞),也為智慧型手機製造商開啟了更廣泛的可能性與配置選項。

20180330_3cameras_NT01P2

三鏡頭智慧型手機可以有很多不同配置
(來源:Corephotonics)

接下來讓我們來看看三鏡頭相機系統面臨的三大挑戰:

挑戰一:「坪數」與成本

三鏡頭解決方案不但增加了攝影機系統物料清單(BoM)成本,也會因為其他可能整合到手機內的技術(例如紅外線感測、近接感測器、結構光、更大的電池…等等),而在機體內部空間佔據更多「坪數」。這種「懲罰」幾乎是不可避免的,但廠商必須要以整體金錢價值來衡量,有部分取決於其目標受眾的優先性。

第三支攝影機添加的成本會與其配置直接相關,這點筆者在接下來會進一步解釋;其金額估計在10美元至30美元之間。

挑戰二:校準

為了要達到在視訊/影像預覽的無縫使用者體驗,並避免在影像融合或散景時出現殘影或過長的處理時間,必須要在此三鏡頭成像系統的內部與外部屬性上仔細校準,而且要在攝影機的生產線上進行,必須一絲不苟甚至可能以連續、自動化的執行方式來補償物理性動態變化,例如溫度變化與設備掉落衝擊等。

攝影機系統的校準以及訊框同步(frame-to-frame synchronization),為攝影機模組製造商以及這種更複雜攝影機系統供應商帶來挑戰;因為如果三個鏡頭每一個都需要完美校準,組裝程序必須要謹慎設計,而良率預期會較低,如此可能會直接影響整體攝影機成本。

挑戰三:韌體、演算法與功耗

三鏡頭攝影系統在韌體方面也會更複雜,新架構會必須能像是只運作一支攝影機那樣搞定三支攝影機;處理程序例如電源管理、訊框要求(frame request)、記憶體管理,以及其他攝影機管理員程式內部的狀態機(state-machines),會需要處理更多的邏輯、更多資料並允許在流水線內更多的平行處理,同時以更有效率的方式支援應用層以因應即時性能。

在另一方面,演算法也面臨相同挑戰,包括確保合理的處理運作時間,以及避免來自多個鏡頭的多輸入影像而導致的殘影;同時還要處理三鏡頭在訊框同步、遮蔽(occlusions)方面的不精準,以及三鏡頭校準資料中的缺陷。因為這些複雜性,這種配置的整體系統(包括攝影鏡頭與處理平台)功耗會大大受影響。

接著讓我們來討論幾種三鏡頭配置方法,這些案例各有優缺點,當然也可能還有其他的配置…

 
繼續閱讀:手機攝影鏡頭再進化:三個比兩個更厲害?(下)

編譯:Judith Cheng