高通:混合式AI將成大勢所趨

2023-06-01
作者 Tiffany Ma

高通在COMPUTEX演講中提出「混合式AI」的概念,意指將來AI的運算不會都在雲端上,而是和裝置設備一起分配運算。

高通(Qualcomm)在COMPUTEX演講中大談新AI處理器Hexagon,並強調其工作速度比intel的CPU快了五倍。此外,更提出「混合式AI」的概念,意指將來AI的運算不會都在雲端上,而是和裝置設備一起分配運算。高通也加碼曝光台灣相關供應鏈,廣達、緯創、瑞昱、創惟等皆在其中。 高通資深副總裁暨行動、運算與XR部門總經理Alex Katouzian,以及高通資深副總裁暨運算暨遊戲部門總經理Kedar Kondap,在COMPUTEX 2023發表主題演講。兩人皆不約而同地同時強調,隨著生成式AI的使用加速,將這些模型都放在在雲端上運作?是不切實際的,因為數據過多,資料中心的維護成本也會過高。 因此以後將以「混合式AI」來呈現,處理工作將在雲端和邊緣設備之間分配,未來生成式AI的訓練和推理不會只侷限於雲端。  

圖1:未來的AI運算將是混合式AI,共同存在於終端裝置和雲端中。

  Katouzian在展會介紹高通新AI處理器Hexagon,表示未來AI性能將成為消費者購買個人電腦時會關切的重要指標,就像消費者會比較CPU和GPU的性能。而AI的應用分成所謂的「前台」和「後台」,前台指的是利用生成式AI,讓文字可以轉影像、文字轉聲音等;後台則是像增強手機的攝影功能、影像功能、遊戲、電源管理等。 Katouzian表示,高通的AI堆疊可以經由20個推理步驟,可以在不到15秒的時間內生成的逼真影像,而且「是在沒有網路連接的情況下實現的」,而整個模型還可以存在手機上,專用AI引擎並能夠運行具備數十億參數的大型複雜模型。 Kondap說,我們每天平均花6.5小時在網路上,其中有超過2.8小時是在電腦上用網路。Katouzian則補充,未來這些AI模型將協助電腦用戶閱讀和撰寫郵件,快速起草文件,撰寫會議記錄或從腳本自動生成簡報等等。「這些大型語言模型的可能性確實是無限的。」 Kondap並秀出Hexagon處理器的工作速度,表示以跑分來看,Hexagon處理器比Intel的CPU快五倍,是Intel GPU的2.5倍。  

圖2:高通比較自家產品性能跑分比競爭對手高5倍。

 

圖3:高通展示相關供應鏈。

         
活動簡介

人工智慧(AI)無所不在。這一波AI浪潮正重塑並徹底改變科技產業甚至整個世界的未來。如何有效利用AI協助設計與開發?如何透過AI從設計、製造到生產創造增強的體驗?如何以AI作為轉型與變革的力量?打造綠色永續未來?AI面對的風險和影響又是什麼?

AI⁺ 技術論壇聚焦人工智慧/機器學習(AI/ML)技術,涵蓋從雲端到邊緣、從硬體到軟體、從演算法到架構的AI/ML技術相關基礎設施之設計、應用與部署,協助您全面掌握AI最新技術趨勢與創新,接軌AI生態系佈局,讓機器學習更快速、更經濟、更聰明也更有效率。

贊助廠商

發表評論

訂閱EETT電子報