微軟(Microsoft)在日前於布魯塞爾舉辦的IMEC技術論壇上揭密其HoloLens增強實境(AR)眼鏡及其專用加速器——Holographic Processing Unit (HPU)處理單元。

在今年3月下旬,微軟已經開始出貨HoloLens的開發人員版了。這款開發人員版HoloLens一發佈,網路上隨即充斥著各種拆解分析,但至今卻未見來自這款頭戴式顯示器的設計者發表任何評論。

「我們已經發表HoloLens約18個月了,通常僅強調使用體驗與軟體——這是第一次我們打算討論硬體部份,」微軟HoloLens開發部門副總裁Ilan Spillinger表示。

微軟的HoloLens頭戴式顯示器包括4個環境感測器、Kinect微型深度相機以及慣性量測單元(IMU)。而在其核心部份的HPU基本上是一款數據融合感測器,可以從HoloLens上的一連串感測器擷取輸入。同時,它還能加速演算法,以利於追蹤用戶的環境、運動與手勢,以及顯示全息影像。

這款28nm HPU基本上採用高度客製化的DSP陣列設計,執行功耗還不到10W。它包括多顆Tensilica DSP核心,從而為執行數百個HoloLens特定指令集實現最佳化。

每個核心都針對一種特定功能與功能子集而客製化。在聽起來像是范紐曼(Von Neumann)的架構中,每個核心通常都有其獨特的記憶體單元組織,用於加速「需要特殊本地記憶體與獨特記憶體架構的新型演算法,而不是典型的1-2-3級快取,」Spillinger解釋。

20160526 HoloLens NT01P1 該HoloLens HPU設計在一款專為其頭戴式裝置量打造的精簡主板上

HoloLens頭戴式裝置採用英特爾(Intel) 14nm Cherry Trail SoC,以及執行於Windows 10的嵌入式繪圖核心。在主板的兩側還搭載64 Gb快閃記憶體與2 Gb外記憶體,平均分佈於其HPU與Cherry Trail SoC之間。

Spillinger並未透露這款HPU的開發藍圖,但表示他已經「看到一些可執行該演算法的新機會」。

該HPU也適用於Google上週為其資料中心發佈的新款加速器,以及一家新創公司正開發中的設計。

Spillinger呼籲半導體工程師儘快為開發更高性能、更低功耗的晶片做好準備,從而協助其打造更輕巧、更低成本且搭載更多感測器與功能的頭載式顯示器。

Ilan Spillinger的職業生涯一開始是先在英特爾開發Centrino——其首款筆記型電腦專用處理器。接著曾經在IBM設計Infiniband與Power晶片,後來則協助微軟與任天堂(Nintendo)為Xbox 360與Wii遊戲機開發ASIC晶片。

Spillinger在2007年底加入微軟,並開始開發Kinect。該計劃後來與其他工程師的計劃合併,共同開發擴增實境頭戴式顯示器,而HoloLens計劃也隨之誕生。

複雜的感測器陣列

20160526 HoloLens NT01P3

如上圖中的HoloLens感測器陣列包括4顆環境感測器,用於追蹤頭部動作以及控制顯示器的手勢。深度感測器是縮小版的Kinect,可支援手勢追蹤約1公尺範圍的短距離模式,以及映射室內的長距離模式。200萬畫素(2MPixel)的高解析度視訊相機則用於投射使用者看到的影像。

光學內部真相

20160526 HoloLens NT01P3

光學子組件(上圖)包括合專用規格的慣性測量單元。光學元件使用由微軟開發和生產的光柵技術,支援較寬廣的瞳孔間距離,並可為配戴隱形眼鏡或眼鏡的用戶進行調整。

LCoS顯示器支援230萬畫素與精確度,讓用戶預測與讀取Web瀏覽器上的精密文字。

從原型到成品

20160526 HoloLens NT01P4

早期的原型(上圖)採用全尺寸的Kinect深度感測器和各種子組件,最終重新設計成封裝大量材料成本(BOM;見下圖)的簡潔消費版)。

20160526 HoloLens NT01P5

編譯:Susan Hong

(參考原文:Microsoft Shines Light on HoloLens,by Rick Merritt)