身為電子、半導體產業看重的新興市場,虛擬實境(VR)領域的發展速度令人驚歎,雖然頭戴式顯示器仍然較為笨重,但卻為人們帶來越來越棒的身臨其境體驗。同時,隨著Pokemon GO遊戲的風行,擴增實境(AR)也再度獲得產業的重視。2016年已被視為VR技術與應用發展的元年,2017年,AR是否也會跟上VR的腳步同時起飛?

根據去年市調機構IDC統計數據顯示,全球包含VR與AR技術於2016年所創造營收將達52億美元規模,同時該單位也預期,VR與AR市場從2015年到2020年的年成長率將高達181.3%,2020年將可達1,620億美元規模。

20170605_AR-VR_NT31P1 圖1:2020年全球VR、AR產值預估將突破1,620億美元 (來源:IDC)

年初美國的消費性電子展(CES)中,VR與AR仍是眾家廠商展出的重點之一,全球各家市調機構也都相當看好VR/AR技術所帶來的市場產值,預估10年內總產值至少增加10倍。其中,高盛認為,2025年,VR/AR商機將達800億美元(約新台幣2兆5,000億);SuperData也預測,VR/AR軟硬體市場規模,4年內會成長20倍。

除了市調機構看好VR/AR的市場前景外,相關廠商也很期待VR/AR的應用發展。不過,業者普遍認為,VR與AR的成長「曲線」目前較為平緩,並非「一飛沖天」,屬於細水長流、可長期耕耘的市場,原因在於——殺手級應用尚未出現,以及仍有些技術難題待突破。

商業應用紛出籠 VR/AR市場逐步成長

雖然一開始VR/AR的應用是從遊戲與手機的手遊開始,但其實這兩項技術最有可能發光發熱的應用會是在商業領域,而從一些國際大型展覽(如CES、MWC)或是相關大廠(例如NVIDIA近期甫結束的GTC)舉辦的活動,即可見端倪。

VR位居主流

2016年可以說是VR技術鹹魚翻身的一年,經過幾番寒徹骨,終盼得市場起飛。安謀國際(ARM)行動應用市場事業部生態系統市場經理莊智鑫表示,2016年可以說是VR技術發展元年,原因在於,近1~2年智慧型手機的運算能力持續增強、影像與巨量資料的處理能力也隨之提升,促使許多VR應用得以實現,在各種VR使用案例越來越多的同時,意味著消費者對於VR的接受度也逐漸升溫。

舉例來說,今年VR技術最受矚目的應用之一,是Facebook在2017 FB 開發者大會中公佈旗下首個VR社群功能「Facebook Spaces」,並開放Beta測試,使用者可透過Oculus Rift進行體驗。未來使用者能在VR中與朋友互動,例如一起做任何有趣的事情、探索各個VR場景,同時還有自拍功能…等。這樣的VR應用已跳脫單向使用情境,可以多人同時互動,對VR技術而言是一種突破;而對使用者來說,能夠和朋友進一步在遊戲或社交媒體上互動,是有其吸引力的。

20170605_AR-VR_NT31P2 圖2:配戴Gear VR頭戴式裝置,Oculus Rooms變得更有魅力 (來源:Facebook)

此外,一些商業(B2B)線下體驗、車廠使用VR介紹汽車各部份零件與維修教學、礦坑偵測…等商業及工業方面的應用,也開始成為促使VR市場成長的推手。

莊智鑫強調,殺手級應用的出現,將有機會使VR市場呈現爆炸性成長。目前,VR遊戲或其他應用的內容還未有足夠的力道刺激消費者大手筆買一套VR裝置在家玩,加上頭戴式VR頭盔長時間使用造成的暈眩的問題,尚未獲得最佳的解決,因此VR市場仍需等待其殺手級應用的發生,才能擁有更強勁的成長力道。

NVIDIA技術行銷蘇家興則認為,在遊戲中加入VR其實是相當大的挑戰,也導致VR遊戲內容尚有進步空間,還不夠吸引消費者;VR頭盔延遲的問題也造成玩家無法久戴。再加上,現階段還是以商家較有能力負擔整套VR的成本,因此VR出貨量也還沒到達市場所期待的「量」。

20170605_AR-VR_NT31P3 圖3:在遊戲中加入VR其實是相當大的挑戰,不僅VR遊戲內容有待進步,VR頭盔延遲的問題也造成玩家無法久戴… (來源:Nvidia)

因此硬體與軟體業者需要持續合作,以開發出滿足VR環境的內容與應用,若能進一步導入更多真實環境,以及更多互動,相信能讓VR產業更加蓬勃。不過,導入更多真實環境與互動功能,勢必也將帶來更多技術上的挑戰。

而畢竟VR較早開始「啟動」,因此現階段仍是業者發展主力。至於先前市場曾經認為VR將是AR的過渡技術,業者皆不認同此說法,並認為VA與AR將同步發展,各自擁有自己的一片天。

** 2017年輪到AR**

至於AR,雖然使用者無需戴上有一定重量的頭盔,也不需要另外的「傢私」,也就是說透過具備攝影機與螢幕的裝置,就可以使用該技術衍生出來的應用。不過,隨著Pokemon GO遊戲逐漸退燒,可以發現,也許和VR一樣,消費類型的應用,並非AR的殺手級應用。

蘇家興解釋,目前AR的發展就如同VR發展初期,VR裝置影像解析度不足,無法提供消費者更好的沉浸式體驗。而AR目前也面臨解析度不足,以及如何進到下一步——準確辨識物體——的問題,但這些挑戰,要以現有的智慧型手機或其他行動裝置處理器解決,難度相當高,還是得仰賴x86架構的處理器,導致相關配套裝置的佈建成本也不是消費者能夠負擔得起的,因此現有的應用會以商業或工業居多。

即便目前AR相關應用仍屬少數,但AR市場的確仍有成長。莊智鑫認為,若去年市場與技術發展的主力在於VR,今年就會偏向AR,並從包括醫療、汽車組裝與維修…等企業應用發展為主。

技術日新月異 VR/AR未來更有「看」頭

無論是去年開始大放異彩的VR,或是今年急起直追的AR,受益於半導體元件、行動通訊技術的不斷創新,在VR/AR影像視覺的進展,都有顯著的進步。

5G巧扮推手

首先是5G行動通訊技術的發展。莊智鑫表示,5G技術的逐步實現一定對VR/AR拓展至更多市場應用領域有幫助。舉例來說,現階段VR/AR影像解析度不足、延遲太長,以至於造成VR頭盔無法長時間配戴、感到暈眩,或是內容不夠吸引消費者,就無法讓VR/AR變成使用者「必須」擁有的裝置。

但透過5G技術,不僅讓VR/AR的新應用可以不受網路頻寬的限制,也可以更快速傳輸人眼辨識所需要的8K畫質,可望進一步將現在的20ms延遲降低到1ms。這樣一來,未來買不到熱門歌手如五月天演唱會門票的粉絲,就可以利用VR觀賞整場演場會,享受身歷其境的沉浸式體驗,且也無須擔心網路的服務品質(QoS)。

高通(Qualcomm)認為,可預見5G將促成越來越多影片密集的使用,這也可望促使VR與AR迅速發展。5G所打造出的行動寬頻,可以滿足VR與AR的終端裝置的連結能力,豐富內容、連結穩定,以及長時間續航力將都是加速VR/AR發展的主要因素。

高通進一步總結未來VR及AR技術得以發揮的應用。該公司援引ABI Research公佈的一份有關AR/VR帶領5G殺手級應用的白皮書中,提出了關於5G的四大應用領域:

(一)汽車電子中AR/VR於影像傳輸上的使用: 無論是半自動或是無人車的汽車電子領域中都會增加VR與AR的使用機會,5G使用的多重輸入多重輸出(MIMO)天線技術,以及5G新空中介面(New Radio,NR)兩大技術將提供應用上的可能性。

(二)社群媒體活動平台分享應用: 密集大量的社群媒體平台上的分享,數千位使用者同時於活動平台上傳資訊,需要10Tbps/km2的流量密度,5G可透過5G高頻段接取技術(5G mmWave)支援相關應用所需。

(三)下一代六自由度(6DoF)影片: 在AR與VR的應用中,影片應用更顯重要。新一代的影片內容若是運用六自由度的影片傳輸,會增加蜂巢式網路的流量負擔——從200Mbps增加到1Gbps,但這個問題也會因為5G技術迎刃而解。

(四)遙控與觸控式網際網路: 一般在遙控機械控制,以及互動式網際網路中,對於端對端網路延遲為10ms,這相當挑戰蜂巢式網路的極限。在5G新空中介面技術中,無線網路的延遲性最低標準可達到1ms,因而大幅增加遙控與觸控式網際網路架構的可行性。

強化「人眼」視覺效果為趨勢

VR/AR雖然一個看的是虛擬影像;一個是在真實場景上疊加環境資訊,但這兩項技術都需要滿足人眼視覺觀看的特性,才能有更好的體驗效果。因此,半導體業者即相當關注如何讓VR/AR能夠符合人眼「看東西」的行為模式。

鈺創科技(Etron)董事長暨執行長盧超群表示,雲端運算、巨量資料分析、機器學習與人工智慧(AI),以及半導體製程技術(亦即Silicon 4.0)的進展,都能促使VR/AR不再是「虛幻」的技術。例如,VR/AR需要更低功耗、延長裝置電池續航力,這時候就需要系與非矽晶片的異質整合製程技術,才能達到。

而要讓AR/VR這樣智慧的「機器」所看到的東西,更接近人眼所視,且不會有暈眩的問題,就需要3D視覺晶片的輔助,且也可藉此開發更多相關應用,如無人商店。更重要的是,一定得和人工智慧技術結合,盧超群強調,透過人工智慧,半導體產業才能夠從科技端跨足應用端,真正了解應用所需。

高通指出,為了提供貼近人眼視覺模式效果,在VR領域中,有一種新技術叫「注視點渲染」(foveated rendering),基本原理是根據人眼生理結構——人在任意時刻看一個點時,餘光看旁邊的場景其實是模糊的,甚至被忽略。注視點渲染的基於此人眼特點,可做到當得知用戶眼睛球注視一個點時,對這個點進行集中渲染,對其他部分進行較低等級的渲染。這個渲染技術只需眼球跟蹤技術夠快,能捕捉到眼球位置的變換、轉動,基本上就沒有影響,且該技術對整個系統的繪圖處理器(GPU)功耗的降低與性能節省發揮非常大的作用。若在支援3D遊戲的場景中,能同時針對左右眼分別進行渲染,將能獲得更好的體驗。

20170605_AR-VR_NT31P4 圖4:「注視點渲染」可減少畫素處理,讓人眼只看到注視點所聚焦的高解析度部份 (來源:Qualcomm)

由此擴展出另一項技術稱作「視野渲染」(viewport rendering),這是針對線上全景影片的標準所研發。高通強調,當人們看一個全景360度影片的時候,即使360度影片全都在,但實際上只需顯示180度,因為人眼大概可以看到180度左右,所以身後的串流媒體影片是浪費的。如果雲端知道用戶在某個時間點觀看的方向,對那個方向做100%的渲染和頻寬下載,同時對一些不太關注的地方做頻寬壓縮,使解析度降低,如此,不僅可節省頻寬、降低成本與功耗,也不會影響用戶體驗。

透過這些新的技術,VR/AR可以更為擬真人眼狀況,不但提高使用者體驗,也可以讓VR/AR應用能受到一般消費者青睞。

單一主處理晶片v.s多晶片分工架構

先前VR/AR技術發展時,產業界的目光焦點都鎖定在主處理器,如中央處理器(CPU)與GPU運算的效能何者較佳,抑或者運算效能如何再提升以滿足需求。現在有業者認為,若只是將影像運算功能全部放在GPU或是CPU上,會延伸出增加發熱和功耗的問題。

莊智鑫指出,VR與AR應中的反影像扭曲功能、眼球追蹤或模擬…等,其實可以分擔給顯示處理器、數位訊號處理器(DSP)或是其他元件去執行,CPU和GPU只要專注在運算,不需要時時處於運作的狀態。不僅可以顧慮裝置功耗的問題,也可以減少散熱,讓VR頭戴裝置可以進一步減輕重量。

即便如此,GPU或CPU的處理效能仍需要再提高。蘇家興進一步說明,若要將現有VR裝置20ms的延遲時間降低到1ms,需要高達8K解析度的影像才能達到。而要符合人眼辨識則需要8Kx8K的影像解析度,與現在的4k影像相比,有高達20多倍的差距,因此勢必仍要有更高處理效能的CPU或GPU才足以應付。

再者,其他可分擔影像處理功能的元件,尚未有針對VR/AR專門打造的最終產品出現。舉例來說,DSP價格較高是眾所周知的事,在VR/AR產業尚未成熟之際,DSP業者也不會投入太多成本開一顆新的DSP IC。更何況,據了解,目前市面上的DSP產品也還不能支援360度視訊所需的4K或8K影像處理功能,因此,現階段VR/AR應用仍相當倚賴CPU或GPU的運算能力,也將促使CPU與GPU不斷提升現有的運算效能。

下一步——行動VR/AR?

目前要獲得較佳的VR效果,必須透過電腦連接VR頭盔;而AR也是如此,要進行精密的遠端操控時,需要較大的顯示器、反應速度較快的電腦。這樣的使用限制,也侷限了VR/AR的發展,因此,已有業者預期下一步將朝行動化發展。

莊智鑫認為,未來VR很有可能會走向行動VR領域,預期行動VR的出貨量會提升但並不是現在會看到的利用厚紙板摺出來,將手機架上去看的那類簡易型VR,而是VR頭盔連接到智慧型手機或是所謂的VR背包。

此時,USB Type-C的高資料傳輸速率將使其成為VR頭盔與裝置連接線的首選技術。此外,若是連接智慧型手機的行動VR,智慧型手機本身功能也要有所提升,才能帶給使用者更好的體驗。高通表示,在手機產業,尤其在旗艦手機的使用情境中,VR沉浸式體驗非常重要,比如更好的影片顯示品質、更好的音訊品質、以及更好的遊戲性能,都能大幅提升行動VR頭盔連接手機時的沉浸感。不僅如此,音訊在VR應用也是十分重要,有接近一半的沉浸式體驗是透過音訊實現。

甚至,無論是連接個人電腦的VR頭盔,有廠商開始致力於將連接線給「剪掉」,以實現更佳的行動性,讓使用者不會只能在連接線的半徑長度的範圍內動作。不過,這就會需要去考慮無線通訊技術資料傳輸安全性及個人隱私的問題。莊智鑫指出,若是在VR頭盔或是連接的行動裝置先行運算,例如選擇特徵或是先過濾有用的資訊,再上傳到雲端,再加上導入較好的安全機制,應該可以避免大部分的安全性疑慮。

蘇家興則認為,行動化還有許多需要待克服的問題,而使用無線傳輸技術,如Wireless HDMI,則會有頻寬、傳輸距離限制與延遲更高的問題發生。單就VR背包來說,重量、價格與電池續航力,都是大問題;這也是VR/AR應用目前多為商用領域的原因之一,因為商用市場對於價格接受範圍較大。就比如過去3D、立體螢幕價格動輒新台幣10~20萬元,當時就只有特殊商業或工業廠商有能力,也願意購買;一直到現在降到2~3萬之後,消費市場才開始起步,這樣的發展軌跡也可以套用在VR/AR的市場拓展上。

MR接著來了?

事實上,未來AR/VR若要能吸引更多人使用,行動化只是第一步,要能將虛擬與真實環境進一步結合,才是終極目標,這也就是所謂的混合實境(Mixed Reality,MR)。盧超群點出,與現實環境進一步連結後,每個使用者都能夠自行結合現實與虛擬世界,並能夠與其他使用者進一步互動,這會是加速AR/VR或是MR更普及的動力。蘇家興則表示,MR技術或許會在日後開始發展,但其需要更高解析度、技術難度更高,有哪些應用可以利用MR技術,以及成本…等,都會是影響MR技術出現的因素。

不過,在MR開始發展之前,VR/AR也會先與人工智慧(AI)、深度學習進一步連結,提高辨識效果。

無論MR技術是否將隨著VR/AR日臻成熟之後出現,台灣廠商需要把握這一波VR/AR商機。業者普遍認為,台灣廠商可以著墨VR/AR內容的開發,以及去思考如何讓VR/AR實現更好的互動性,別只是將目光鎖定在主CPU或是裝置上。

盧超群強調,台灣半導體或其他相關廠商不應該在VR/AR市場持續當個跟隨者,預計未來3~5年會看到VR/AR進入爆發期,也將促使未來5年內會有超過10種以上的半導體技術因應AR/VR所需而出現,進一步催生AR/VR市場發展。因此,現階段若是能大刀闊斧的快速從半導體的角度去投資AR/VR這類更智慧化的技術,再結合軟體,未來台灣業者可望能更加壯大。

現階段,影響VR/AR持續發展的幾項因素可歸納為,殺手級應用尚未出現、商業模式仍不夠明確、政府及領導企業的是否願意繼續投資,以及相關技術能否持續突破目前的限制。但可以說此次VR/AR「起死回生」的力道比過去以往都來得強,這兩大技術未來應該能夠穩健地發展下去,為半導體、硬體裝置與軟體…等業者帶來新的市場前景。