DMS應用將催生處理器領域新星?

作者 : Colin Barnden,EE Times專欄作者

Seeing Machines與Arm相似的地方在於,前者決定開發一個專屬架構,能盡可能以最高效率執行DMS導向的處理任務...

在2022年度國際消費性電子展(CES 2022)剛落幕時,友刊《Ojo-Yoshida Report》發表了一篇題為「駕駛員監控系統嵌入式挑戰」(The DMS Embedding Challenge)的技術白皮書,供稿的是澳洲DMS方案供應商Seeing Machines,文章作者描述了產業標準CPU與SoC通常與高效率DMS處理所需的專門處理與流水線架構不甚匹配的情況。

文中寫道:「DMS產品本質是高性能的即時運算系統。從處理技術的角度來看,視訊被推向一條流水線,於一系列階段以連續的畫素串流(stream of pixels)運作,在其中互連演算法(或者稱之為DMS「引擎」)的階層結構(hierarchies)會從影像資料中『榨』出並提取所需資訊,將高階層資訊從一個階段傳遞到下一個階段,最後產生一組低頻寬的高水準(高價值)結果,像是駕駛員正往哪裡看,以及他們是否分心或受到損傷。」

該文章作者接著寫道:「在包含DMS功能的車用嵌入式系統中,可以說幾乎都得採用專門的處理器設計以加速流水線的各個階段。不是因為通用CPU不能執行該流水線作業,只是因為通用CPU的資源幾乎永遠都不夠,而且通常有更有效率的方法可執行特定類型的功能,包括影像預處理、電腦視覺運作、訊號處理和神經網路。」

根據Seeing Machines的說法,將DMS演算法映射到既定晶片時,遇到的問題幾乎都與資料流程效率不彰,以及晶片上/晶片外記憶體未達最佳標準的使用有關。該文章作者的觀察是:「加速器通常能以閃電般的速度完成數值運算,但將資料移動到流水線的下一階段時,不得不在外部DDR記憶體中緩衝資料,而這會讓我們大失所望。這再次表明晶片在設計時並未將針對DMS流水線配置納入考量。」

Seeing Machines與Arm相似的地方在於,前者決定開發一個專屬架構,能盡可能以最高效率執行DMS導向的處理任務。

其技術文章作者敘述了一種軟硬體協同設計方法的優點,然後為該公司開發的Occula神經處理單元(neural processing unit,NPU)之優勢做出總結:「雖然Occula NPU起初是為DMS解決方案所設計打造,但它與Seeing Machines的DMS演算法堆疊結合後,可為更廣泛的產品提供性能優勢——包括所有對價格或功率敏感的產品,並且能藉由理解人類的情境資訊(contextual information)帶來優勢。」

作者的結論是:「開發Occula不僅是為了解決範圍有限的DMS應用,還能更廣泛地用於理解人類。」

始於微末

Arm在嵌入式處理領域的勝利果實種子,是在1990年代初期播下的,當時的願景出自於市場對省電處理器核心的龐大需求,結合IP授權的商業模式結合起來。其商用化的成功首先是在手機應用領域,始於與TI合作為Nokia設計的GSM基頻處理器。

從英國劍橋(Cambridge)郊外一座改建穀倉草創的Arm,躍升為在手機(以及後來的智慧型手機)領域佔據全球主導地位,並將其業務穩步擴展至消費性電子、車用、工業、醫療和通訊基礎設施等領域。在過去的30年,Arm利用CPU核心──從最初的ARM1到最新的Cortex-A710和Cortex-X2──授權模式,建立了一個廣泛的合作夥伴生態系統。

起家於澳洲首府坎培拉(Canberra)市郊一個鮮為人知的區域Fyshwick,Seeing Machines數年來也在追求與Arm大致相似授權商業模式;該公司在2020年9月宣佈其新一代車用市場戰略,其中包含三大支柱:

  1. Fovio晶片,採用了Xilinx Zynq-7000 FPGA技術針對駕駛員和乘客監控進行了最佳化。
  2. 嵌入式駕駛員監控引擎(e-DME),對已加速處理技術(如Qualcomm、TI)和未加速處理技術(如Nvidia)都進行了最佳化。
  3. Occula NPU,能以ASIC形式提供授權。

正如在CES 2022所展示的,Seeing Machines以授權模式為基礎的車用市場戰略,正在快速形成一個廣泛的合作夥伴生態系統;以下是一些相關的新聞訊息發佈。

Omnivision

 在2021年CES,Omnivision宣佈其成為第一家Occula NPU的授權客戶;CES 2022,Omnivision推出了OAX4600系列ASIC,將影像訊號處理器(ISP)與Occula NPU結合。Omnivision還發表了用於座艙內監控的500萬畫素RGB-IR影像感測器OX05B1S。

總體而言,該雙晶片解決方案可以被視為高度最佳化的「成像訊號鏈」(imaging signal chain)實例,包括一個與前端OX05B1S影像感測器和後端Occula NPU都調諧的ISP。該解決方案在乘客監控後視鏡中的應用看起來非常成功,像是Magna的產品,在空間與功率都高度受限的情況下整合了光學元件和影像處理器。

與其他車用影像感測器供應商(如Onsemi、Sony和ST)相較,Omnivision因為是目前Occula NPU唯一的授權客戶,具有明顯的競爭優勢,其目標是進入將於今明兩年決定於關鍵大眾市場推出配備駕駛/乘客監控功能車款的車廠供應鏈。

 

Magna配備乘客監控功能的後視鏡。

 

Ambarella

Ambarella很少會被認為是車用領域處理器的供應商,但該公司於CES 2022期間舉辦的一場簡報內容顯示,這種情況正開始改變。Ambarella不久前發表了以其CV2x處理器為基礎的參考設計平台,可支援視訊處理,並融合了Seeing Machines的駕駛員監控軟體與前向ADAS功能,可提供完整的、整合的DMS與ADAS解決方案。

現在看來Ambarella正以「開放式平台」策略(Qualcomm也採取了相同策略)為基礎,在ADAS領域與Mobileye展開競爭,同時低於Nvidia方案的性能與價格鎖定軟體定義平台應用。

根據Nvidia副總裁暨車用部門總經理Ali Kani在CES 2022的專題演說內容,該公司似乎對ADAS應用逐漸冷淡,對DMS則完全不感興趣。正如《EE Times》專欄作者、資深汽車市場分析師Egil Juliussen最近在一篇文章中所點出的,Nvidia在自動駕駛計程車(robotaxi)平台處理器供應中佔據主導地位,或許這也解釋了為何Nvidia顯然聚焦於最高等級的自動駕駛。

眾家供應商似乎已經掌握了此一策略轉變,如Ambarella正在努力建構自家的車用市場生態系統,包括與Seeing Machines合作。

 

Ambarella的車用軟體生態系統夥伴。

 

Qualcomm

而Qualcomm則以CES 2022為舞台,再次挑戰Mobileye和Nvidia在高性能車用處理器領域的領導地位。在過去三年,Nvidia陸續宣佈與Hyundai Motor、Mercedes-Benz三大車廠建立合作夥伴關係;為了證明其影響力,Qualcomm又在今年CES宣佈了與Honda、Renault和Volvo Cars (又一次)達成合作。

Qualcomm在CES 2022展示了Snapdragon Ride視覺系統平台,是一款4奈米SoC,專為最佳化用於ADAS和自動駕駛應用的前置與環景攝影機實作所設計。而Seeing Machines現在是Qualcomm Snapdragon Ride平台上唯一指定的專業DMS軟體供應商,該平台經過最佳化,能於Spectra ISP上執行。

Seeing Machines還在CES 2022宣佈擴展其軟體堆疊,包括整合在Qualcomm Snapdragon座艙平台上的乘客監控功能;幾乎可確定該平台採用了前面提到的500萬畫素Omnivision OX05B1S影像感測器進行最佳化。

Ford與Volkswagen將合作開發ADAS

而有充分證據顯示,Ford與Volkswagen兩家車廠將在自動駕駛技術上展開合作──線索來自於Mobileye創辦人暨執行長Amnon Shashua在CES 2022的簡報檔案。這意味著兩家車廠之間的技術合作現在也會擴展到ADAS和下一代免手動「高速公路駕駛輔助」系統;該系統由Mobileye的EyeQ處理器驅動,並使用Mobileye的REM地圖。

 

Mobileye在CES 2022的簡報透露Ford與Volkswagen兩家車廠的合作訊息。

研究顯示,Ford與Volkswagen都將整合Seeing Machines的DMS;Ford的BlueCruise平台是採用Veoneer開發、由Seeing Machines的Fovio晶片驅動的系統,Volkswagen則採用Magna開發的系統,該系統是由執行於TI TDA4VM Jacinto處理器的Seeing Machines軟體驅動。

更理解人類行為的機器

美國作家Mark Twain有一句名言:「歷史不會重演,但經常有相似的事件再現。」Arm或許一開始只想開發一種省電的處理器架構,後來卻顛覆了通訊與消費性電子領域,並推動了物聯網(IoT)的發展。同在1990年代,還有68000、MIPS和Power Architecture等另外三個成熟的嵌入式處理器架構,但Arm生態系統的強勢崛起使它們全部銷聲匿跡,正可謂成功只會孕育更多成功。

Seeing Machines的商業模式並非完全仿照Arm,但也有所參考;最初只是用於監控礦場卡車司機是否分心和打瞌睡的普通軟體,現在則演變成基於神經網路的尖端技術,用於「理解人類行為」,不只是手臂動作,還包括臉部表情與眼睛視線。

相較於投入數百億美元追求以科技取代人類駕駛,鮮少有人關注能更理解人類的技術,而那不僅能實現安全更安全的駕駛,也能打造個人化座艙內沉浸式體驗。

Qualcomm只是第一家完全理解未來數位座艙和數位底盤革命的科技巨擘,這是一個才剛開始、將延續數十年的趨勢。Apple可能正在觀察將應用於未來「iCar」的技術發展,Amazon、Google (Alphaber)等公司亦然。

市場研究機構Semicast透對各項關鍵能力指標(KCI)的分析顯示,Seeing Machines正朝向取得DMS市場的領導地位邁進。值得玩味的是,其他業者Cipia和Smart Eye都沒有在CES發表任何合作訊息。

 

2026年車用DMS各家廠商市佔率預估。

 

一個圍繞Seeing Machines的車用生態系統正快速形成,其中包含Omnivision、Ambarella和Qualcomm等業者。憑藉Magna最近宣佈的1,000萬美元投資,以及Ford和Volkswagen等車廠的設計案,還有與16家Tier One供應商達成的合作夥伴關係(如2021年8月的宣佈),如今Seeing Machines不僅獲得市場青睞,也取得成長動力。

我們正見證的可能不只是一家新供應商的崛起,也是一個全新技術類別的誕生。在今年CES所有關於「消費性自動駕駛車輛」(consumer AV)與「個人自動化駕駛車輛」(personal AV)的討論,都顯示下一個大趨勢是將看到能理解人類的機器問世。

 

本文同步刊登於《電子工程專輯》雜誌2022年4月號

責編:Judith Cheng

(參考原文:Seeing Machines Might Be the Next Arm,By Colin Barnden)

 

 

 

加入我們官方帳號LINE@,最新消息一手掌握!

發表評論