所謂的虛擬實境(VR)擁有一個環繞頭戴式裝置使用者視野的完整環境,整個世界的呈現以及讓人沉浸的方式,讓觀看者能以第一人稱或是旁觀者的角度參與其中;而擴增實境(AR)則是呈現頭戴式裝置使用者所在之真實世界場景,但添加、或說擴增了電腦產生的影像,讓觀看者感覺那好像是現實世界場景的一部分。

無論是VR或AR,帶給觀看者的感官體驗都很難形容;只有2D平面的文字或是螢幕,無法傳達3D空間的運動。為此,頭戴式裝置業者Meta的創辦人暨執行長Meron Gribetz在他去年2月發表的TED專題演說中(參考下方YouTube視訊),讓聽眾能充分欣賞AR的藝術並展示了利用該技術助力醫療研究的方案。

Gribetz描述他在2011年冬天美國紐約市的某個酒吧裡經歷的靈機一動,當時他坐在一個同事對面討論事情,突然那個同事的手機響了、他接起電話,於是那支手機打斷他們的對話分散了注意力;但在房間的另一邊,有人是拿著手機分享Instagram照片給旁邊的朋友看。所以只是因為手機顯示螢幕朝著不同的方向,Gribetz與他的同事是被隔開,酒吧另一邊的小團體則是更為貼近。

從這裡他想到,我們應該利用機器把我們的工作、甚至是概念性的工作在現實世界呈現,而不只是將它們緊緊捂在自己手裡,無論是用智慧型手機或是桌上型PC;也就是說,我們可以環繞著以全像(holographic)方式虛擬出的營火,與眾人會面、分享與合作。

在Gribetz的TED專題演說視訊裡,顯示美國加州大學舊金山分校(UCSF)的Adam Gazzaley博士,在他的實驗室裡以直觀的自然手勢存取、操作並分享3D數位全像資訊;他是利用Meta的Meta 2頭戴式裝置開發套件之神經科學驅動介面(neuroscience-driven interface),進行「玻璃大腦(glass brain)」研究專案。

最近於美國舊金山舉行的穿戴式科技大會(Wearable Tech Conference)上,筆者有機會從Meta技術長Soren Harner那裡更進一步了解這種簡單直觀介面背後的辛苦工作;他表示:「我們的任務是透過將顯示器、嵌入式系統、光學元件、感測器、電腦視覺以及同步定位與建圖(simultaneous location and mapping,SLAN)整合在一起,把AR推向下一個階段,然後將有所這些先進技術裝進手機或頭戴式裝置。」

光學技術的突破

在光學技術方面的突破,包括完整的90度視野以及2,560 x 1,440高dpi顯示。在可看透的頭帶顯示器的上方區域解析度較高,讓使用者能更清楚看到資訊;下方的工作區域則是較寬廣,以適應人們在工作時用雙手操作物體的方式,而這部分的顯示器也是透明的,好讓使用者能與同事對視。

20160818 AR NT01P1

Meta 2擴增實境(AR)頭戴式裝置
(來源:Meta)

Meta 2的較寬廣視野以及感測器陣列,讓使用者能像是對待實體物品一般,看見、抓取以及移動全像物品,就像是上面的視訊中Gazzaley博士所做的;與全像互動的直接手勢,完全是自然而且直觀,不需要任何學習曲線。

Harner表示,在工程技術這端:「我們積極建立自己的電子工程師團隊,他們需要在集合感測器、光學元件、成像、追蹤技術與電腦視覺的嵌入式系統領域有豐富背景;」他在專題演說中並指出,使用Meta的系統:「使用者自己就是作業系統。」

他進一步解釋:「這意味著我們透過將內容空間化(spatializing)於使用者面前,降低了複雜度;而不是將內容以層層套疊的方式來放置,像是傳統作業系統裡的檔案管理員那樣。這改善了工作記憶體,並減輕了機器的負擔。」

這也是一直以來人類在3D空間中使用實體工具的模式,我們會伸手拿取而且將那些工具到處移動;換句話說,要讓處理過程更快、更精確且有效率,輸入與輸出──也就是思考/行動以及導致的結果/反應──必須要最大化。

傳統2D空間的作業系統採用一條抽象鏈(a chain of abstraction),使得思考與行動之間脫節(disconnect),也為工作記憶體帶來難以承受的負擔。因此Meta的技術能允許在使用者實體工作空間的實體工具旁邊,建立AR工具以組織數位內容。

Harner表示:「藉由讓使用者有機會能讓實體與數位工具在身體周遭相同的3D、實體環境中共存,而不是以抽象語意架構的形式呈現,我們能實現在該空間中更自然的組織工具方式,降低認知循環以及系統負擔,因此將使用者體驗推向一個全新層次。」

允許直觀運動為運算建立了一個阻力最小的神經通路,以及全新的零學習曲線方法,使用者現在能用數位裝置將自己的肢體向實體世界伸展;因為那就是我們一直以來做事情的方法,所以不需要學習。

傳統的電腦介面要求我們在遇到每一種新作業系統時,就得學習新的抽象概念以及階層式的架構,或許這是在2D平面我們能做到的最佳方法;但透過利用我們週遭的3D區域,以空間花方式來安排內容,就具備能降低存取資訊以及與之互動的複雜性。總而言之,AR技術具備能讓所有使用者朝著更強、更直觀生產力發展的龐大潛力。

編譯:Judith Cheng

(參考原文: Augmented Reality System Lets User “Be the OS”,by Tom Mahon)