MLPerf作為獨立第三方基準測試，仍然是AI效能的權威衡量標準。自MLPerf成立以來，Nvidia的AI平台在訓練和推論兩方面一直保持領先地位，包括新發佈的MLPerf Inference 3.0基準測試。

具體來說，在最新一輪的MLPerf測試中，運行於DGX H100系統中的NVIDIA H100 Tensor Core GPU在每個AI推論測試中均實現了最高性能。AI推論是在生產過程中運行神經網路的工作，歸因於軟體的優化，此GPU的效能較去年9月首次亮相時提升了54%。

在醫療保健領域，H100 GPU自9月以來在醫療成像的MLPerf基準3D-UNet (醫學影像分割)上實現了31%的效能成長。

憑藉其Transformer引擎，基於Hopper架構的H100 GPU在BERT方面表現優異，BERT是基於Transformer的大型語言模型，是現今生成式AI獲得廣泛應用的關鍵基礎。生成式AI能讓使用者能夠快速創建文本、影像、3D模型等等，這種能力從新創企業到雲服務提供商都在快速採用，以開創新的商業模式並加速現有商業模式的發展。目前數億人正在使用像ChatGPT這樣的生成式AI工具(也是一種Transformer模型)，期望獲得即時回應。

在這個AI的iPhone時代，推論的效能至關重要。深度學習現在幾乎被應用到各個領域，從工廠到線上推薦系統，對推理效能有著永無止境的需求。

NVIDIA L4 Tensor Core GPU在MLPerf測試中首次亮相，其速度是上一代T4 GPU的3倍以上。這些加速器採用低調外形封裝，其設計旨在為幾乎所有伺服器提供高吞吐量和低延遲。L4 GPU運行所有MLPerf工作負載。由於他們支援關鍵的FP8格式，他們在效能要求極高的BERT模型上的結果尤其令人驚嘆。

Nvidia的全堆疊AI平台在新的MLPerf測試中展現了其領先地位。所謂的網路劃分基準測試會將資料流傳輸到遠端推論伺服器，這反映了企業使用者在雲端執行AI工作，並將資料儲存到企業防火牆後的常見場景。

在BERT測試中，遠端NVIDIA DGX A100系統的表現達到了其最大本地性能的96%，速度變慢的部分原因是它們需要等待CPU完成某些任務。而在僅由GPU處理的ResNet-50電腦視覺測試中，它們達到100%的最佳表現。這兩個結果在很大程度上要歸功於NVIDIA Quantum Infiniband網路、NVIDIA ConnectX SmartNIC和NVIDIA GPUDirect等軟體。

另外，NVIDIA Jetson AGX Orin系統模組的能效和性能表現，與前一年的結果相較，分別提高63%和81%。Jetson AGX Orin可在有限空間以低功率水質準(包括僅由電池供電的系統)提供AI推論。

從MLPerf的測試結果便能看出Nvidia AI獲得業界最廣泛的機器學習生態系支持。本輪有10家公司在基於Nvidia平台上提交了結果，他們來自Microsoft Azure雲端服務和系統製造商，包括像是由華碩(ASUS)、戴爾科技集團(Dell Technologies)、技嘉(GIGABYTE)、新華三集團(H3C)、聯想(Lenovo)、寧暢信息產業(北京)(Nettrix)、美超微(Supermicro)和超聚變數字技術(xFusion)。它們的測試結果顯示，無論是在雲端或在用戶自己的資料中心伺服器上，使用Nvidia AI獲得絕佳效能。

Nvidia的合作夥伴深知，MLPerf是一項讓客戶用於評估AI平台及供應商的寶貴工具，因此才會加入測試。最新一輪的結果顯示，他們如今提供給用戶的出色效能，將隨著Nvidia平台的發展而更將持續強化。

活動簡介

從無線連接、更快的處理和運算、網路安全機制、更複雜的虛擬實境(VR)到人工智慧(AI)等技術，都將在未來的每一個嵌入式系統中發揮更關鍵功能。「嵌入式系統設計研討會」將全面涵蓋在電子產業最受熱議的「智慧」、「互連」、「安全」與「運算」等系統之相關硬體和軟體設計。

會中將邀請來自嵌入式設計相關領域的研究人員、代表廠商以及專家，透過專題演講、產品展示與互動交流，從元件、模組到系統，從概念設計到開發工具，深入介紹嵌入式系統設計領域的最新趨勢、創新和關注重點，並深入分享關於嵌入式系統設計的經驗、成果以及遇到的實際挑戰及其解決方案。

贊助廠商

立即報名