粥已少卻高手如雲 從SmartNIC到DPU路好走嗎？
2021-08-17
作者
邵樂峰
普通網路介面控制器(NIC)是基於專用積體電路(ASIC)設計的乙太網路控制器，定位於高效遷移伺服器的網路資料包，通常包括不同程度的為最佳化性能而設計的傳統卸載。而SmartNIC與它的根本區別在於……
不久前，中國一家新公司Dream Big Semiconductor創立，主攻智慧網卡(SmartNIC)和資料處理單元(Data Processing Unit，DPU)市場，一時間成為產業熱議。在如此眾多的「黑科技」面前，此新公司為何選中SmartNIC/DPU？「熱火烹油」、「蓄勢待發」、「爆發前夜」這樣的詞彙，是否與當前市場的真實狀況相吻合？本文將試圖對此加以分析。
什麼是SmartNIC？
普通網路介面控制器(NIC)是基於專用積體電路(ASIC)設計的乙太網路控制器，定位於高效遷移伺服器的網路資料封包，通常包括不同程度的為最佳化性能而設計的傳統卸載。而SmartNIC與它的根本區別在於，SmartNIC可以透過程式設計執行從最佳化流量到在惡意資料到達伺服器之前辨識和隔離它的任何操作，諸如遠端直接記憶體存取、非揮發性記憶體快速結構(NVMe-oF)、壓縮、加密和網路虛擬化等任務對伺服器核心持續的需求，降低了這些伺服器核心支援應用程式的能力。更先進的SmartNIC甚至可以虛擬化網路儲存，從而簡化虛擬伺服器和裸機伺服器的配置。
市場研究機構Dell’Oro的資料顯示，預計到2024年，SmartNIC市場規模將超過6億美元，佔全球乙太網路適配器市場的23%。而整體控制器和適配器市場將以7%的年複合成長率成長，其中25Gbps和100Gbps的銷售將是主要成長驅動力。
之所以能夠取得如此高的成長率，原因在於目前資料中心內部流量(也稱橫向流量)的年複合成長率都在25%以上，但與此同時，隨著SDN的增加，雲端伺服器會在CPU和軟體中使用很多SDN功能，使得高達30%的資料中心運算資源被分配用於聯網I/O處理雲資料。
坦白說，這個問題隨著時間的推移只會越來越嚴重。當前，以幾何級數幅度成長的連網埠速度，遠超摩爾定律和Dennard縮放比例定律(Dennard’s scaling)的運算週期速度，這種差距的存在使得伺服器中所有的CPU資源都將遭到擠佔，而無暇顧及應用處理，降低了CPU利用率。如果是公有雲的話，他們需要把這樣的資源出售給客戶進行變現。但如果不能出售這些核心內容，雲端服務商就會賠錢，這是一個非常嚴峻的問題。
2019年，Futuriom針對來自中/美/英三國雲端運算(49%)、電信(26%)和企業IT領域(25%)的200多位專業人士，就如何「有效利用伺服器和儲存」進行了調查。當被問及「對提高資料中心性能的技術進行排名」時，得分最高的選項是「使用對處理器卸載和SmartNIC等技術來提高網路效率」，得分最低的選項則是「部署更多的伺服器」，而「提高虛擬機器效率」和「虛擬化和共用快閃記憶體儲存以更有效地使用它」，成為了最具吸引力的SmartNIC應用。值得關注的是，中國受訪人員強烈認可SmartNIC最佳化儲存網路的作用。
CPU不能承受之重
據IDC統計，全球運算力的需求每3.5個月就會翻一倍，遠遠超過了當前運算力的成長速度。在此驅動下，全球運算、儲存和網路基礎設施也在發生根本轉變，一些複雜的工作負載，在通用的CPU上不能很好的處理，因此為減輕CPU核心的負擔，SmartNIC正在網路安全和網路互連協定方面逐漸取代CPU。
亞馬遜(Amazon)和微軟(Microsoft)這樣的一級雲端服務供應商在很多年前就意識到了問題的嚴重性，紛紛選擇卸載掉伺服器的連網功能，並將這部分工作轉移到SmartNIC上運作，以便釋放出更多的CPU核心，最佳化伺服器利用率，降低連網成本。
例如亞馬遜收購了一家名為Annapurna的新創企業，專門開發類似的元件和SmartNIC，並在2017年發佈了AWS Nitro；微軟此前也透過將FPGA整合到SmartNIC上去卸載伺服器的連網功能，並實現了數以百萬計規模的部署；VMware也已宣佈了將SmartNIC整合到VMware Cloud Foundation中Project Monterey的專案；阿里雲則在其神龍伺服器核心元件MOC卡中應用了專用X-Dragon晶片，統一支援網路、I/O、儲存和外設的虛擬化。
電信服務供應商則是另一大具有強勁成長潛力的市場，他們正考慮將SmartNIC從核心網整合到邊緣網，為NFV和AI推斷等應用提供服務。晶片廠方面，除了前文談及的Dream Big Semiconductor外，還包括英特爾(Intel)、博通(Broadcom)、Nvidia、賽靈思(Xilinx)、Marvell、Netronome，以及Pensando、Fungible這樣剛走出隱型模式，且「吸金」能力超強的新創企業。
不過，並非每一家公司都擁有足夠的研發能力和人才去部署SmartNIC，因此目前有80%以上的雲端服務供應商尚未採用SmartNIC。相比之下，二、三級的廠商們就更加需要現成且方便的SmartNIC解決方案，無需自行開發，只需隨插即用就可滿足資料中心的卸載、儲存和運算加速等需求。
NIC到SmartNIC需走幾步？
簡單來說，以下三種方法均有助於提升運算能力，使普通的NIC變得智慧：
- Arm CPU核心整合，有人稱其為叢集，有些人則稱其為「網格」或「區塊」；
- 客製網路處理器採用的流處理核心(FPC)，通常是P4；
- FPGA可程式設計邏輯。
為了理解SmartNIC與普通NIC的不同之處，可以透過深入瞭解全球知名企業的代表性SmartNIC產品，看看他們做出了哪些改進。
- 英特爾
英特爾在N3000 SmartNIC主機板上使用了五顆晶片，包括48通道PEX8747 PCIe第三代交換機晶片、一對XL710乙太網路控制器和Arria 10 FPGA、以及用於管理FPGA的MAX 10 FPGA基板管理控制器(BMC)。這是一種典型的bump-in-the-wire架構，它支持FPGA在XL710之前進行資料包處理。英特爾的FPGA具有115萬個可程式設計邏輯單元和兩個4GB的DDR4記憶體組，為處理SmartNIC任務提供了充足的空間。
- 賽靈思
隨插即用型解決方案Alveo U25主要針對二級和三級雲端服務供應商、電信和私有雲資料中心營運商，定位更強調「集網路、儲存和運算加速為一體的」SmartNIC平台屬性，而非透過配備強大的運算資源用以強化加速性能，去處理包括視訊轉碼、語音翻譯、資料庫查詢、電子交易、財務建模、影像壓縮與辨識在內的工作負載。
- 博通
博通NetXtreme-S BCM58800是一種單晶片SmartNIC解決方案，在板級生產方面的成本較低。然後，他們在集群配置中部署了主頻為3GHz的8個Arm v8 A72核心，邏輯單元能夠以高達90Gbps的速度卸載加密，同時卸載擦除編碼和RAID等儲存處理。最後，博通還採用了具有神秘色彩的TruFlow技術，這是一個可配置的流加速器，用於將常見的網路流過程轉移到硬體中。
- Nvidia
被Nvidia以69億美元收購的Mellanox是最早進入SmartNIC領域的公司之一，其代表性解決方案BlueField-2晶片包含8個Arm Cortex-A72核心、兩個VLIW加速引擎，以及ConnectX-6 DX NIC。華碩、戴爾科技、技嘉、雲達科技和超微已宣佈將提供採用NVIDIA BlueField-2 DPU加速的伺服器。
- Marvell
Marvell從很早之前就開始進行SmartNIC的研究，到2020年9月，Marvell的基於OCTEON的LiquidIO SmartNIC出貨量就已達到100萬。LiquidIO III是最新的解決方案，結合了此前廣泛部署的OCTEON TX2 DPU 和多達36個基於Arm V8的核心、5個x100G網路連接、多達2個PCI Express Gen 4×16主機介面和6個DDR4 3200控制器通道。甲骨文就是LiquidIO III 的首批客戶之一。
升級DPU後 市場一片混戰
2020年10月，Nvidia將基於Mellanox的SmartNIC方案命名為DPU，並將CPU、GPU、DPU稱之為組成「未來運算的三大支柱」。
不過，需要注意是，從SmartNIC變為DPU並非簡單的改改名字。為了在資料中心充分實現應用程式的效率，傳輸卸載、可程式設計的資料平面，以及用於虛擬交換的硬體卸載等功能是SmartNIC的重要部分，但只是DPU的最基本要求之一。要將SmartNIC提升到DPU的高度，還需要支援更多的功能，比如能夠運作控制平面，以及在Linux環境下提供C語言程式設計等。
簡單來說，DPU是針對資料中心的專用處理器，新增了AI、安全、儲存和網路等各種加速功能，將成為新一代的重要運算力晶片。它能夠完成性能敏感且通用的工作任務加速，更好地支撐CPU、GPU的上層業務，成為整個網路的中心節點。
當然，還是要佩服Nvidia共同創辦人暨執行長黃仁勳的「帶貨」能力，能讓DPU概念一炮而紅，吸引業內眾多競爭者紛至沓來。從英特爾、博通、Nvidia、賽靈思、Marvell、Netronome、Pensando、Fungible、Dream Big，到中國DPU新創企業中科馭數、星雲智聯、大禹智芯、芯啟源、雲豹智慧，每一家企業都在摩拳擦掌，躍躍欲試。
從Nvidia公佈的DPU產品路線圖來看，BlueField-3/3X和BlueField-4將分別於2022年和2023年問世，屆時，將可提供400TOPS的AI運算力和400Gbps的頻寬性能，從而解放GPU，只在單晶片DPU上就可實現網路、儲存、安全等關鍵任務的加速工作。
Marvell今年6月最新推出的OCTEON 10系列DPU，採用了Armv9架構的Neoverse N2 CPU核心和台積電5nm製程，支援最新的PCIe 5.0 I/O與DDR5記憶體。作為DPU的重要補充，Marvell還為OCTEON 10導入了內部機器學習(ML)引擎。這樣，從本質上講，Marvell正在成為Nvidia的直接競爭對手。
英特爾在6月15日Six Five峰會上推出的全新基礎設施處理器(IPU)也值得一提。依照英特爾的官方說法，IPU是一種可程式設計網路裝置，擴展了英特爾的SmartNIC功能，旨在使雲端和通訊服務供應商減少在中央處理器(CPU)方面的開銷，並充分釋放性能價值。利用IPU，客戶能夠部署安全穩定且可程式設計的解決方案，從而更好地利用資源，平衡資料處理與儲存的工作負載。
根據Canalys Cloud Channels Analysis預測，到2023年，中國DPU市場規模將達人民幣190億元。也有其他分析機構預測，中國DPU市場規模預計將在2025年超過37億美元，約合人民幣240億元。
中科馭數算是國內佈局較早的一家DPU企業，其DPU基於自主研發的KPU (Kernel Processing Unit)架構。以KPU架構為核心，中科馭數在2019年設計了業界首顆資料庫與時序資料處理融合加速晶片，已經成功流片。今年初，該公司又宣佈了其下一顆DPU晶片研發計畫，功能層面包括完善的L2/ L3/L4層的網路通訊協定處理，可處理高達200G網路頻寬資料，預計將於2021年底流片。
另一家DPU晶片企業「芯啟源」則在6月宣佈完成數億元Pre-A3輪融資。這是一家針對超大規模電信和企業級的智慧型網路提供核心晶片和系統的公司，可提供從晶片、板卡、驅動軟體和全套雲網解決方案產品，已獲得了中國移動蘇研院的首批SmartNIC訂單。
成立於2021年3月22日的星雲智聯專注於資料中心基礎互連通訊架構和DPU晶片研發，今年4月宣佈完成數億元天使輪融資。其正在研發的DPU將在IAAS和PAAS之間形成獨立的通訊服務層(CAAS)，實現物理資源的「多虛一」和近乎裸金屬性能的「一虛多」，簡化IAAS，提升資源利用率；卸載PAAS中與通訊資料流程相關的處理，提升應用的通訊效率和性能。
產業人士表示，未來，用於資料中心的DPU量級將達到和資料中心伺服器等量的級別。「每台伺服器可能沒有GPU，但一定會有一塊或者幾塊DPU/IPU卡，這將是一個千億量級的市場。」作為數位基礎設施中的新物種，火熱的DPU賽道未來會走出怎樣一波行情，值得期待。
本文原刊登於EE Times Taiwan
