新型演算法讓平價手機也能拍攝高品質視訊

作者 : Nitin Dahad,EE Times歐洲特派記者

Immervision開發出能夠對視訊失真進行即時校正的軟體演算法,比如校正被拉伸的物體,改變線條、物件和人臉比例,或是即時調整手機拍攝之影像和視訊中的場景...

成像技術開發商Immervision宣稱,他們已經開發出能夠對視訊失真進行即時校正的軟體演算法,比如校正被拉伸的物體,改變線條、物件和人臉比例,或是即時調整手機拍攝之影像和視訊中的場景。該公司將透過通路合作夥伴和主要投資者CEVA將這些新演算法直接授權給手機廠商。

Immervision共同創辦人暨副總裁Patrice Roulet Fontani在接受《EE Times》採訪時表示,這種新的即時失真校正演算法可說是前所未有;「有一些類似的東西,但是無法在不額外消耗電池電量的前提下於可攜式裝置上執行並提供適當的校正,這在以前是沒有的。」

Fontani解釋了相關背景:「智慧型手機的螢幕越做越寬,但是到目前為止,無論怎麼看,手機上的視訊仍然是4×3比例;如果要讓視訊全螢幕呈現,則需要處理影像,先裁剪再分割,然後增加感測器上的影像大小。現在的攝影機和廣角鏡頭可以支援全螢幕,但仍存在一些人工痕跡或者失真。圖片校正相對簡單,你拍攝一張圖片,也許只花半秒鐘的時間就可以完成處理和修改;但是對於30~120 fps的視訊來說,就沒那麼簡單了。」

他指出:「為了實現失真校正,我們導入了一種新演算法,不僅可以根據一種設置來校正失真,還可以根據不同情景來選擇不同類型的失真校正。這種校正可以即時進行,例如在有人的畫面,我們可能會希望人物看起來更正常一些。而對全景圖,你可能想要提供一種廣闊、無邊際的感覺。」

「現在的裝置根本無法校正失真,也許有一些針對影像與視訊的失真校正,但大都集中在直線處理上,而且提供單一種方法因應所有的應用場景,問題是你無法實現以一次處理校正直線同時維持身體或人臉比例;」Fontani表示:「因此,在今日大多數智慧型手機中,當你朝著視野(FOV)邊緣移動時,身體和人臉會扭曲變形,它們會被拉伸到比實際要寬的比例。」

「我們並不是為所有場景提供單一種處理方法,而是會根據不同場景為智慧型手機業者提供不同的視訊失真校正處理。因此,如果要拍攝風景,那麼對它的處理將與人群或肖像場景的處理不同。」他進一步指出:「我們開發了視訊失真校正以及我們稱之為『人臉保護』(face protection)的功能,可以使人臉看起來更真實,不會扭曲和拉伸;而且這個過程是即時進行的,我們對客戶的承諾是『所見即所得』。」

許多較新款手機都擁有更寬的視野,但也會產生更明顯的失真。Immervision聲稱其新軟體演算法可提供一站式解決方案,即時校正拉伸的物體、改變線條、物件和面部比例,以適應不同場景,並縮減編輯時間。該軟體可提供不同等級的校正、變化的投影,並且即時適應場景。手機廠商採用它就能夠為使用者提供多種選擇──例如保留預設配置不變,或者完全自訂,又或者讓使用者自己決定;同時還可以讓手機定向,支配或利用機器學習來強化使用者體驗。」

Fontani表示,能夠即時校正失真非常重要,「因為拍攝時會同時發生兩件事,一是錄製,二是廣播,這兩個功能需要同時進行,你不能錄下來等之後處理。」

Immervision表示,隨著手機視訊錄製需求的飛速成長,需要使用軟體來為高品質視訊創建理想的取景框;該公司與客戶合作已有20年,其硬體和軟體專家一直與廠商緊密合作,微調演算法以滿足特定需求。他們的新演算法有助於在一系列智慧手機中實現「20/20視覺」,即時糾正視訊失真,在不須對視野進行妥協的情況下改善視訊擷取體驗。

 

隨著手機錄影需求激增,需要使用軟體來為高品質視訊創建理想的取景框。

(圖片來源:Immervision

 

添加現成的125度廣角鏡頭

Immervision在聲明中還介紹了一款號稱市面上性能最佳的125度廣角鏡頭,該鏡頭已預先配置於主流感測器,無需客製攝影機,其目標客戶為二線和三線手機廠商。

廣角鏡頭可以減少攝影機數量與成本,同時提高用手機拍攝風景、人群、特寫和視訊的影像品質。大多數一線手機廠商現在都已經在產品上採用廣角鏡頭,二、三線的手機廠牌則未採用。Immervision的技術已經預先配置一些主流感測器上,包括Sony、Omnivision和Samsung。

「二、三線手機廠商面臨的挑戰,是如何提供與領導品牌手機同等水準的影像品質;」 Immervision執行副總裁、營運/商務長Alessandro Gasparini表示:「Immervision的125度廣角鏡頭將產業所有的領先指標整合在一起;過去這些一流指標分散在不同廠牌手機中,現在可透過現成的軟體整合到一個鏡頭,以減少攝影機客製化與整合所需的開發時間,並提供與知名手機品牌同等級的影像品質。」

「這是一種新的光學設計,可在不同參數之間實現最佳平衡,以盡可能獲取最大的視野,而不會影響f值和相對照明度,而且即使在邊緣處解析度都不會下降,高達21百萬畫素(megapixels)。它能讓二、三線手機廠商只要用一個攝影機,就可以提供從廣角到傳統成像的完整體驗。換句話說,同一個攝影機能有兩種不同的功能。」

他補充:「我們致力於讓這項技術變得簡單易用,因為這些功能通常僅在大品牌旗艦手機中才有;我們提供的會是在廣角性能上最好的鏡頭。」

 

本文同步刊登於《電子工程專輯》雜誌2020年9月號;責編:Judith Cheng

(參考原文 :Distortion Correction Algorithms Adapt Video in Real-Time;Nitin Dahad)

掃描或點擊QR Code立即加入 “EETimes技術論壇” Line 群組 !

 EET-Line技術論壇-QR

發表評論