根據市場研究機構Yole Developpement的預測,受益於消費電子市場可預見的爆發式成長,3D成像與感測的市場規模將從2016年的13億美元增長至2022年的90億美元,其中用於消費電子的3D成像與感測市場將從2016年的2,000萬美元成長至2022年的60.58億美元,複合年均增長率(CAGR)達到158%。

20180709_OPPO_NT61P1

2011~2022年全球3D成像與感測市場收入預測
(來源:Yole Developpement)

而比「驚人」預測資料更有說服力的,則是產品走入消費市場。

2017年,蘋果(Apple)在iPhone X中去掉Touch ID功能,轉而採用3D感測技術的Face ID。今年,Android陣營廠商也陸續開始探索類似的3D感測技術。

現階段,3D攝影機演進出了三條主流技術路線:結構光(Structured light)、飛行時間(Time of Flight,TOF)和雙目視覺技術(Stereo Vision)。技術上雖各有千秋,但終極目的是相同的——構建一個3D的生態帝國。

帝國之前——選什麼槍炮,又從哪找彈藥?

不同於過去的「百萬畫素戰爭」,大多數智慧手機從業者可能會在3D感測技術這條新戰線上打得更辛苦。

首先是方案的選擇問題。從技術角度來看,3D結構光成像原理,是結構光投射特定的光資訊到物體表面後,由攝影機採集反射資訊,然後再根據物體造成的光訊號的變化來計算物體的位置和深度等資訊,進而復原整個三維空間。該技術優勢在於技術成熟,深度影像解析度比較高,但缺點是容易受光照影響。

而TOF成像原理,是發射一束經過相位調變的紅外雷射到被測物體,當紅外雷射被反射回攝影機時,會因為光飛行時間的延遲,導致相位與發射時的相位有微小的變化,透過計算相位的變化,就可以計算出被測物體到攝影機之間的距離。

TOF方案基本不需要使用光學稜鏡,抗干擾性能好,視角更寬,不足是深度影像解析度較低。而且目前TOF方案實現AR功能的體驗並不太理想,業內人士分析認為這與設備不想佔用太多CPU資源從而降低運行速度有關。

雙目視距則利用雙攝影機系統,透過兩個攝影機的夾角形成3D影像,原理類似人眼。目前雙攝影機基本已經和快充一樣成為手機的標配,所以這一方案理論上成本應該最低,但整體系統的複雜性、高功耗、不理想的暗光環境表現,以及低精度卻會帶來較大的侷限性。聯想(Lenovo)曾在支援Project Tango的Phab2 ProAR手機上嘗試類似的方案,但體驗並不樂觀。

20180709_OPPO_NT61P2

雙目視覺、結構光和飛行時間技術對比
(來源:Yole Developpement)

其次,更重要的是3D感測系統極高的複雜性以及關鍵元件的生產問題。因為3D攝影機包含眾多需要運作一致的零組件,還需要充分的供應鏈管理。有人甚至將3D攝影機形容為“一堆子裝置(sub-devices)”。

與傳統攝影機產業鏈相比,3D攝影機產業鏈新增加了「紅外光源+光學元件+紅外感測器」等部分,這使得垂直腔表面發射雷射器(Vertical-Cavity Surface-Emitting Laser,VCSEL)、晶圓級光學鏡頭(WLO)、繞射式光學元件(DOE)等一躍成為核心元件。

雖然3D攝影機早期一般使用LED作為紅外線光源,但LED不具有諧振器,導致光束更加發散,而VCSEL在精確度、耦合性、小型化、低功耗、可靠性方面都更有優勢,所以現在常見的3D攝影機系統均採用VCSEL作為紅外光源。

有分析機構認為3D感測技術在Android陣營的大規模普及可能要到2019年,主要因為現階段3D感測模組的生產良率偏低:第一,高效率VCSEL元件生產不易,目前平均光電轉換效率僅約30%;第二,結構光技術的必要元件DOE以及紅外光鏡頭的CIS,都需要極高的技術底蘊;第三,3D感測模組生產過程需考慮熱脹冷縮的問題,提高模組組裝的困難度。

帝國第一步——設計支援3D結構光的手機

6月19日OPPO Find X橫空出世,和雙軌潛望結構一樣引人注目的,是整合在這一結構中的OPPO FaceKey 3D結構光系統。5月初,OPPO就曾宣佈過將在6個月內將結構光商用在OPPO手機中,而很多人沒想到的是,OPPO竟會在一個月內就發表產品。這讓OPPO收穫了很多“第一”的名號,更重要的是,OPPO讓整個產業的大規模量產時間表提前了一年。

20180709_OPPO_NT61P3

Find X 3D結構光相機的組成部分
(來源:OPPO)

要在半年時間內完成包括結構光發射端、接收端和結構光解碼晶片在內的整個硬體方案的選型、預研、試產和驗證工作,同時快速攻破結構光模組選型、基線選型、結構光深度圖出圖、深度圖校準、深度相機與RGB相機校準、人臉安全方案驗證等重重難關,OPPO面臨的硬體開發難度可想而知。

與硬體方案同樣難啃的,是軟體方案的設計。安全人臉框架與方案的核心,包括硬體出圖、影像校正、網路演算法驗證等,必須全部在安全的TEE環境中運作,以解決人臉資訊、支付環境和演算法的安全性。但在OPPO之前,3D人臉演算法在中國無成熟經驗可借鑒。在演算法自研剛啟動時,OPPO演算法團隊在3D資料、伺服器環境、演算法方案上也均是零經驗。

然而在隨後短短的3個月內,OPPO演算法團隊與硬體團隊使用結構光硬體完成了10萬人次的3D人臉資料擷取,人臉資料分佈覆蓋全球,並在此期間完成了500TFlops大型訓練伺服器的搭建。同時,為了達到百萬分之一的誤識精度,OPPO還與AI演算法開發商曠視科技Face++與商湯深入探討了3D人臉識別演算法,並在人臉檢測、人臉識別與活體檢測算法上形成了一套屬於自己的演算法方案。

20180709_OPPO_NT61P4

OPPO 3D人臉支付所包含的安全技術
(來源:OPPO)

最終,透過4輪硬體方案反覆運算和10輪人臉演算法反覆運算訓練,OPPO成功完成了現今頂級體驗的結構光方案。對比資料顯示,在單張深度圖3D渲染、3D渲染精度、抗強光以及50~70cm距離識別方面,OPPO Find X方案較iPhone X更為成熟;在20~50cm距離識別、功耗、解析度、幀速、體積等方面也毫不遜色。而中國首例3D人臉識別演算法的問世,也標誌著OPPO在技術研發領域已經是業界一個不可忽略的力量。

除了OPPO,生態其他廠商也在摸索3D成像的技術未來。與Find X同期,小米在小米8發佈會上推出了小米8探索版,在異形屏的「瀏海區」整合了3D結構光系統。而就Find X發佈後不久,vivo也在上海MWC期間演示了其ToF方案。

帝國發展——3D資料要安全到可以用於支付

生物識別技術最重要的因素就是安全,不應該有「之一」;這也是3D結構光人臉認證相較於2D人臉識別最大的優勢之一。雖然後者在過去一年也成為手機發佈會上必提及的功能,但以演算法為主要實現方式的2D人臉識別雖然實現了非常極速的解鎖速度,依然面臨非常嚴重的安全問題,一些評測機構甚至發現僅僅通過用普通印表機列印一張A4的照片,就可以解鎖很多2D人臉識別的手機。

比設備被解鎖更嚴重的,則是個人資訊的安全性。這一方面指私人的敏感性資料,包括個人身份資訊、以及像銀行卡號、密碼等財務資訊;另一方面則是生物資訊本身,比如說指紋資料以及面部資訊。銀行卡丟失還可以補辦改密碼,但是指紋或者面部資訊一輩子也無法更改,外洩之後的風險是永久的。因此,這也是支付機構如果要支援人臉或者指紋認證的時候,必須要經過非常嚴苛認證過程的原因。

從另一個角度來說,支付機構對3D結構光技術認可,一方面是可以對這一技術的安全性背書,另一方面則是肯定這一技術未來能否普及的重要因素。所以技術OPPO在Find X上支援支付寶刷臉支付的意義就更加重大了。

Find X和支付寶的合作,是OPPO與螞蟻金服達成的戰略合作夥伴關係的一部分。除了支付以外,雙方還將成立「聯合創新實驗室」,探索硬體和軟體底層技術的深度整合,比如支援OPPO手機上支付寶的性能優化和高頻支付場景的一步直達。

在聯合創新實驗室的推動下,Find X就可以做到一上市即可支援支付寶的人臉支付。以結構光為硬體基礎,並結合OPPO基於深度學習的人臉智慧識別自研演算法,3D人臉支付可以精確比對使用者錄入與識別的資訊,將誤識別率控制在百萬分之一的支付精度,遠高於當前約為五萬分之一的指紋識別誤識別率。用戶可以期待在未來更多OPPO手機中利用這一技術,放心地用面部替代指紋、密碼或PIN碼作為移動支付應用的主要驗證方式。

帝國初現——打通端到端的3D資料流程

3D結構光技術獲得的3D資料如果只用於解鎖和支付,那麼對豐富資料的利用顯然不夠充分,手機廠商也不會只停留在這一層面。所以雖然iPhone X和Find X 3D結構光目前給使用者帶來了安全又新奇的體驗,但更有意義的則是兩家廠商對整個3D資料潛在佈局的想像。

就在Find X發佈前不久的5月,OPPO宣佈成功實現全球首個採用3D結構光技術的5G視訊通話演示。透過OPPO手機的結構光系統採集3D資料,利用高通(Qualcomm)的5G新空中介面終端原型機,最終在遠端接收顯示器實現三維人像畫面的還原。

在6月的WWDC 2018上,蘋果除了重點介紹ARkit 2,更隆重推出“USDZ”的3D檔案格式。有開發者評論稱“這一成就堪比秦始皇統一六國之後實施的‘車同軌’,這種3D檔案格式讓跨App間的3D資料傳輸成為可能。”就在這一發佈會上,蘋果演示了同一組3D圖像可以在Safari、新聞以及是相機中跨應用呈現。從去年第一次在iPhone X上搭載3D成像系統,到今年發力3D圖像的呈現場景,不難看到蘋果在這一技術領域的佈局。

作為電腦視覺的一個分支,3D成像功能提供了底層的技術能力,並由此讓設備具備了增強現實(AR)、3D人臉這些新功能,而這些新功能又賦能了經典的SoLoMo業務以及新興的短視訊、直播、遊戲等等業務,給予用戶新鮮的體驗。除了之前重點談及的安全支付外,三維重建、AR和遊戲將極有可能成為未來通過3D結構光技術實現的突破性應用場景。

以AR應用為例,在3D AR遊戲中,利用結構光對周圍的環境進行精確3D建模,將模型即時導入遊戲中,實現虛擬遊戲與現實三維世界的緊密融合,實現逼真的立體效果。或是透過精確的結構光雙攝影機拍攝的三維資訊,可以實現精確的AR帖子與微表情效果。Gartner預測到2021年,40%的智慧型手機將會配備可用於AR的3D攝影機,分析師Jon Erensen甚至表示:「這種功能對AR來講非常重要,我認為那是一種你絕不想落在後面的事情。」

所以我們看到蘋果和OPPO都在佈局AR。前者在近兩年的WWDC都把ARkit作為重點之一來介紹;後者也聯合商湯科技、浙江大學CAD&CG國家重點實驗室打造出名為ARunit的開發平面,能夠支援即時定位與地圖構建(SLAM)、多平面恢復、非平面表面上放置虛擬物體、平面標誌識別、光照估計、地圖保存與狀態設置、遮擋處理等特性,可以幫助開發者打造出新一代的全新AR應用。自3月19日發佈,已吸引了包括京東、王者榮耀13家合作夥伴產品的入駐,並預計在2018年全年為8,000萬支OPPO手機提供AR支援。

在OPPO看來,行動寬頻正在模糊現實世界和數位世界的邊界;虛擬影像+虛擬影像、虛擬影像+實景圖像、實景圖像+實景圖像的兩兩結合,將帶來泛在現實(Ubiquitous Reality,UR)的全新一代用戶體驗,這遠不是我們今天所看到的VR、AR這麼簡單,而未來真正進一步推動沉浸式用戶體驗的,將是3D內容和「即將來臨」的5G。

因此,透過主動式結構光感知目標物體位置和深度資訊,對整個三維空間實現高解析度、高精確度的復原,然後透過低延遲5G網路對3D視訊進行即時傳輸,將成為下一代行動用戶體驗泛在現實的關鍵。

通俗點說,OPPO是打算利用5G網路高速率的特性,來支撐3D視訊訊號的大資料傳輸,從而給用戶提供全新的通話體驗;這顯然不再僅僅只是二維層面的視訊通話,而是在一個立體空間展示下得到的視訊通話體驗。雖然現在因為顯示技術的侷限性,並不能直接呈現3D資料,但可以看到的是未來在3D資料呈現端的技術發展到位之後,我們就可以體驗科幻作品中的「全息投影」一樣的數位生活。

總結

3D影像技術確實已經成為諸多手機廠商的技術發展重點方向,其重要性在未來可能不亞於5G和AI;但因為技術應用規模化的問題,目前除了解鎖和支付,還沒有出現全新的殺手級應用。

廠商們普遍認為成本高、良率等問題會導致3D感測攝影機在2018年只適用售價高於3,000元(人民幣)的旗艦機型中,但從2019年初開始,會與指紋、雙攝等技術一樣,成為2,000元以上智慧型手機的標配,而到2020年,覆蓋面將進一步擴大,千元機型配備3D感測攝影機將不是一件令人驚訝的事情。

20180709_OPPO_NT61P5

3D感測攝影機市場滲透預估
(來源:OPPO)

而隨著3D技術在智慧手機這一最大消費電子市場中的廣泛應用,應用場景必然會更加豐富。屆時,OPPO和蘋果的3D帝國又將表現出怎樣的活力?

(本文原刊於EE Times China,作者為EE Times駐北京特派員)