近來有許多不同的技術開始發揮作用,包括虛擬實境(VR)、擴增實境(AR)、嵌入式視覺、嵌入式語音以及認知(推理、思維)系統等;預計在2017年,當這些技術的力量開始結合,共同為嵌入式系統創造迄今能力所不及的先進功能時,可望使今年成為AV、VR與認知技術的轉捩點。

認知能力

讓我們從思考認知系統開始,在此情境架構下,這是指使用自然語言進行處理的系統與機器學習,讓人們和機器得以更自然地互動;同時,它也指觀察和學習周遭發生事物的系統。

資訊技術研究與分析公司Gartner創造出「Gartner新興技術成熟曲線」(Gartner Hype Cycle for Emerging Technologies),為業務策略家、首席創新長、研發(R&D)主管、企業家、全球市場開發商,以及新興技術團隊在開發新技術產品組合時,提供針對技術與趨勢發展的跨產業觀點。

技術成熟曲線的五個階段分別是科技誕生的促動期 、過高期望的峰值、泡沫化的底谷期、穩步爬升的光明期,以及實質生產的高原期。在2014年版的技術成熟度曲線(Hype Cycle)中,機器學習(machine learning)雖然已在學術界引發濃厚的興趣,但卻還未能佔有一席之地。

20170609_AV-VR_NT31P1 圖1:2014年版Gartner技術成熟度曲線:機器學習尚未出現 (來源:Gartner)

令人驚訝的是,僅僅在一年後的2015年版技術成熟度曲線中,機器學習突破了「過高期望的峰值」階段。

20170609_AV-VR_NT31P2 圖2:2015年版Gartner技術成熟度曲線:機器學習迅速發展達到高峰 (來源:Gartner)

人工神經網路(ANN)是由神經元分層形成的。早期的系統支援包含很少神經元的幾個分層,網路本身在本質上也是線性的。而最近的神經網路,如Google TensorFlow支援多輸入與多輸出,以及每個層級多個分層。

20170609_AV-VR_NT31P3 圖3:支援多輸入多輸出以及多分層的神經網路 (來源:Max Maxfield)

此外,現在還能打造出包含多達1,000個這種分層的深度神經網路(DNN)。採用提高抽象能力的前端工具,以及將訓練用的浮點網路轉換成適於部署之定點網路的後端工具,進一步擴增了這些網路。

其結果是深度學習能力的驚人成長。大多數人涉及的深度學習任務是嵌入式視覺。確實,在今年的嵌入式視覺高峰會議(Embedded Vision Summit)上,展覽區充斥著辨識隨機影像的系統。最有趣的部份在於有人說:「這裡的空間太狹窄了,如果不放幾套嵌入式視覺系統的話,連要轉個身都很困難!」

但是,深入學習並不僅止於此,還有各種新應用正如雨後春筍般陸續出現。例如,經過適當訓練的系統可以觀看視訊、確定可預期的聲音,並以一種可能騙過人類觀察者的方式產生那些聲音。或者,以嵌入式視覺實現的頭戴式眼鏡,能夠偵測並辨識物件,以及為配戴這種裝置的盲人或視障人士描述場景。

在此,真正的意義在於我們僅僅觸及了機器學習系統可執行任務的表面。根據預測,50%的嵌入式系統將在2021年以前擁有一定程度的認知能力,距今僅五年之遙。

虛擬實境與擴增實境

虛擬實境的整個使用者體驗其實是由電腦產生的。雖然複雜的虛擬實境系統已經存在學術界、工業與軍事環境中有一段時間了,這種系統一直是相當龐大、耗電,而且也極其昂貴,從而使其難以達到商業應用和個人。

隨著高階的Oculus Rift和HTC Vive虛擬實境頭戴式系統推出,這一切都在2016年開始變化。接著是諸如PlayStation VR等中階系統,以及像三星(Samsung)的Gear VR和Google Daydream等低階系統也陸續出現。

當有人第一次體驗這些高階VR系統後,他們經常將其描述為星艦迷航記(Star Trek)中的「全像甲板」(Holodeck)。身歷其境的感官體驗幾乎就像是真實的。例如,看看那些有懼高症的人,當他們站在虛擬城市的高樓大廈邊緣時,你可以感覺到他們的膝蓋開始發抖。

基於當今虛擬實境系統的各種遊戲與應用蔚為壯觀,但人們已經開始思考結合虛擬實境與認知功能的觀點。例如,想像自己在遊戲中扮演一位神秘謀殺案的調查員,你可以漫步在豪宅周圍、檢查物體下面和後面、詢問每一位角色(與他們說話)事發當時在哪裡以及在做什麼,並且觀察他們的反應,例如他們環顧四周的眼神或抿嘴唇等等。

或許更令人興奮的是增強實境技術,藉由電腦產生的感官輸入,如聲音、視訊、文本、圖形和/或GPS資料,增強(或補強)了實體、現實世界環境的直接或間接視圖。例如,Magic Leap技術。

擴增實境可支持娛樂應用,最佳寫照就是《精靈寶可夢》(Pokemon GO)的蔚為風潮。在2016年夏天發佈的Pokemon GO很快地襲捲全世界,成為一種全球現象,同時也是2016年最具吸引力以及最有利潤的行動應用程式(App),在全球創下5億次的下載量。

然而,娛樂還只是增強實境應用的冰山一角,你幾乎可以在人類生活的各方面發現它的潛在應用。

當擴增實境系統結合深度學習系統,並提供認知能力時,事情才真的開始變得令人振奮。例如,您正嘗試修復家中的某些東西,擴增實境系統除了能指導您的工作程序以外,具認知能力的擴增實境系統還可以觀察您隨手將物品(如螺絲)放在何處,在需要的時候指點您。或者,假設您正在跟試圖向你推銷商品的人交談時,擴增實境系統將會傾聽雙方對話,同時觀察其非語言的線索,讓您隨時都能知道他們是說實話還是在說謊。

在2015年時,還有很多人認為上述提到的一些概念是「遙不可及的夢想」。到了2016年,這些技術已經發生在我們的週遭了。我相信在2017年,我們將會看到擴增實境、虛擬實境與認知技術以一種令人振奮且意想不到(甚至是令人恐懼)的方式結合,並進而創新更多功能與應用。

編譯:Susan Hong

(參考原文:VR, AR, and Cognitive Capabilities in Embedded Systems Get Real,by Max Maxfield, Designline Editor)