研究顯示人類透過視覺與世界互動時,處理影像的速度比處理書面文本等其他不同形式的資訊要快許多倍。「擴增實境」(AR)類似於其近親「虛擬實境」(VR),能讓用戶增強對周邊環境的洞察力。它們之間的主要的區別是:AR 藉由文本或其他可視物件等虛擬物件豐富或增強自然界。這樣能讓AR系統的使用者更安全、更高效地與其環境互動。

這與使用者沉浸在人工創建環境的虛擬實境不同。擴增實境和虛擬實境的結合,經常被描述成為用戶呈現混合實境(MR)。我們之中有許多人在日常生活中已經不知不覺地採用了AR,例如我們的行動裝置在進行道路導航時,或是玩《精靈寶可夢》(Pok?mon GO)等虛擬遊戲時。

20170616_Xilinx_TA31P1 圖1:虛擬實境、擴增實境和混合實境(VR/AR/MR)

當提及「擴增實境」(AR)及其應用時,首先想到的事情之一是抬頭顯示器(HUD)。它們被用於航空和汽車應用中,讓用戶無需低頭看儀錶板就能看到相關的飛行器/汽車資訊。抬頭顯示器是較簡單的AR應用之一。擁有可穿戴技術等更高階功能的先進AR應用,往往被稱為智慧擴增實境;根據Tractica預測,其市場規模到2020年將達到23億美元。

擴增實境應用

AR正進軍眾多應用領域,涵蓋工業、軍事、製造、醫療、社交和商業等不同產業,大量的用例推動其被廣泛採用。在商業領域,AR主要側重於社交媒體提供應用,例如能夠辨識交談的物件並添加履歷資訊。AR還能讓消費者看到有時難以參觀到的產品或地點,例如汽車、遊艇、建築物等。

許多AR應用都離不開偵探佩戴的智慧眼鏡。這些智慧眼鏡能提高製造環境內的效率,例如便於更換操作手冊、向用戶展示如何組裝零件等。在醫療領域,智慧眼鏡有助於分享醫療記錄以及創傷和損傷的詳細狀況,能為現場急救人員和後續急診室人員提供治療資訊。

20170616_Xilinx_TA31P2 圖2:AR眼鏡在工業環境的應用

一個典型的例子是一家大型倉儲物流公司。這家公司目前使用AR智慧眼鏡閱讀出貨標籤上的條碼。在條碼掃描完畢後,智慧眼鏡就能透過Wi-Fi無線網路基礎架構與公司的伺服器通訊,判定包裹的最終目的地。在已知目的地後,智慧眼鏡還能向用戶提示包裹的堆放處,以便繼續出貨。

就算不考慮應用和用例,設計一款AR系統也會面臨多重相互矛盾的要求,包括性能、安全、功耗和未來的相容性。如果設計人員要為AR系統提供理想的解決方案,就必須全面考慮上述問題。

實現AR系統

這些複雜的AR系統必須能夠連接多個攝影機感測器,並處理來自這些感測器的資料,從而讓系統瞭解周圍環境。這些攝影機感測器還可能在電磁頻譜的不同頻段上操作,例如紅外線或近紅外線等。此外,這些感測器可能提供電磁頻譜之外的資訊,從而為檢測移動和轉動提供輸入,例如微機電系統(MEMS)加速度計和陀螺儀,以及全球導航衛星系統(GNSS)提供的位置資訊等。融合來自多種不同類型感測器資訊的嵌入式視覺系統一般也稱為異質感測器融合系統。AR系統也要求較高的畫面更新率(frame rate),以及展開即時分析、逐格擷取以及處理每格畫面所含資訊的能力。提供滿足這些要求的處理能力成為元件選擇的決定性因素。

20170616_Xilinx_TA31P3 圖3:AR系統架構

例如,All Programmable Zynq-7000 SoC或Zynq UltraScale+ MPSoC可用於實現AR系統的處理核心。這些元件本身屬於異質處理系統,可將ARM處理器和高性能的可編程邏輯完美結合在一起。Zynq UltraScale+ MPSoC屬於新一代Zynq-7000 SoC,額外提供了一個ARM Mali-400 GPU。該系列中的某些成員還包含支持H.265和HVEC標準的視訊編解碼器。

這些元件能讓設計人員使用處理器理想地細分系統架構,實現即時分析功能並傳遞給生態系統中的傳統處理器任務。該可編程邏輯可用於實現感測器介面和處理,從而帶來多重好處,具體包括: ?根據應用要求,平行實現N個影像處理流水線; ?任意連接,能定義和連接任意感測器、通訊協定或顯示標準,提供靈活性和未來升級路徑。

要實現影像處理流水線和感測器融合演算法,我們可充份運用Vivado HLS和SDSoC等工具中提供的高層次綜合功能。這些工具擁有包括支援OpenCV等各種專家級庫。為縮短AR系統的上市時間,還可以利用廣泛的協力廠商IP。這些IP專為AR、嵌入式系統和專用的技術開發。這些IP模組的供應商中包括Xylon。Xylon提供能在Vivado設計環境中迅速整合的LogiBRICKS系列IP核心,同時提供便於系統快速啟動和運行的拖放功能。另一IP模組供應商是Omnitek,提供一系列針對AR要求的關鍵IP模組,例如即時折疊模組和3D處理模組。

設計人員還必須考慮AR系統的獨特性。它們不僅需要連接至觀察使用者周邊環境的攝影機和感測器,還必須執行應用和用例所需的演算法。同時,它們還必須能夠追蹤用戶的眼睛,判斷它們的視線,從而確定他們所注視的地方。這一般是透過增加觀察用戶臉部的攝影機和執行眼睛追蹤演算法而實現的。在實現後,該演算法能讓AR系統追蹤使用者視線並確定要發送到AR顯示器上的內容,從而高效利用頻寬和滿足處理要求。但是執行檢測和追蹤本身就是高運算強度的工作。

大多數AR系統屬於可攜式的無線系統,而且很多時候是和智慧眼鏡一樣的穿戴式系統。因此,如果在供電受限的環境中實現這樣的處理功能,就會面臨特有的難題。Zynq SoC和Zynq UltraScale+ MPSoC系列元件都能提供最出色的單位功耗性能,透過實現多重選項之一,進一步降低運作功耗。在極端條件下,這些處理器能夠進入可被任意一種來源喚醒的待機模式,從而關斷佔元件一半資源的可編程邏輯。一旦AR系統檢測到自己被閒置,這些選項都能實現,從而延長了電池使用壽命。

在AR系統工作過程中,當前未被使用的處理器單元可以透過時脈閘控來降低功耗。在可編程邏輯單元內,經由遵循簡單的設計規則,如高效使用硬巨集、精心規劃控制訊號和在目前不需要的元件區域考慮使用智慧時脈閘控,也能實現極高的用電效率。

有幾種AR應用,例如病患醫療記錄或生產資料共享,要求在資訊保障(IA)和威脅防範(TP)領域提供高安全等級,尤其是在AR系統具有高度行動性、可能被放錯地方的情況下。資訊保障要求我們能夠信賴儲存在系統裡的資訊以及系統發送和接收的資訊。這樣對於綜合人工智慧(AI)領域而言,我們需要使用Zynq的安全引導功能來實現加密,並使用AES解密、HMAC和RSA驗證來進行驗證。只要設備正確配置和運行,開發人員就能夠使用ARM Trust Zone和管理程式實現安全的、外人無法存取的環境。

在威脅防範方面,這些元件能使用系統內置的XADC來監測供電電壓、電流和溫度,以發現任何試圖篡改AR系統的企圖。如果發生這樣的情況,Zynq元件可提供多種選擇,包括記錄該企圖、擦除安全資料,防止AR系統再次連接到支援性基礎設施。

結語

AR系統在商業、工業、軍事等幾大產業的應用正日趨普及。這些設備也為它們帶來了高性能、系統級安全性和高能效等一系列自相矛盾的難題。透過Zynq SoC或Zynq UltraScale+ MPSoC等異質處理系統,可望讓實現AR系統的種種難題迎刃而解。