2020年會是NVMe over Fabrics (NVMe-oF)最終起飛的一年嗎？

非揮發性記憶體儲存裝置規格——NVM Express (NVNe)協議現已比較成熟了；作為其擴展，NVMe-oF規範使用NVMe將主機連接到整個網路結構中的記憶體。NVMe-oF支援在主機與固態儲存裝置或系統之間透過網路進行資料傳輸，這些傳輸可使用基於NVMe消息的命令，利用乙太網路、光纖通道(FC)或InfiniBand完成。

這種結構的一個關鍵價值主張是，它可以連接分散式儲存池，最有可能是NVMe SSD，但將來可能會使用其他永久性記憶體(persistent memory，亦稱為持續性記憶體)。此外，由於能使用TCP進行連接，因此這也可以遠距離完成。該規範的最新修訂版NVMe-oF 1.1包括對TCP傳輸綁定的支援，這就使在標準的乙太網路上使用NVMe-oF成為可能，而無需進行配置更改或增加特殊設備。

可能正是這個能力使今年成為了NVMe-oF真正起飛的一年，同時其又擴展了NVMe核心價值—釋放了NAND快閃記憶體的全部優勢，最初為硬碟驅動器建構採用的iSCSI等協定體系結構，則無法做到這一點。

NVMe初始規範的發佈已有將近十年，它利用電腦的快速外部設備互連(PCI Express，PCIe)匯流排在本地傳輸資料。NVMe組織負責監督這類協定；根據其說法，NVMe-oF與初始協議有90%相似(圖1)。推出5年後，NVMe-oF率先獲得美光科技(Micron Technology)的擁護，該公司選擇使用自己的SolidScale架構來超越這個標準。這個架構是為低延遲、高性能訪問運算和儲存資源而創建，專門用來解決資料中心中CPU使用不充分的問題，當時部署在應用伺服器中的NVMe SSD所使用的IOPS和容量平均不到其50%。

圖1：NVM Express發展透過添加NVMe-oF來擴展其初始規範——NVMe-oF提供TCP傳輸綁定支援，因此可實現遠距離儲存。

(資料來源：NVM Express)

美光科技儲存系統架構師暨研究員Joe Steinmetz表示，此後，美光科技選擇將SolidScale淘汰，因為最終其可能使該公司與自己的某些客戶形成競爭，那麼就不合理。取而代之，該公司將專注於其作為NVMe-oF生態系統中SSD和記憶體供應商的核心優勢。與許多技術一樣，其採用所花的時間比預期要長，但他表示，2020年似乎是NVMe-oF之年，並且業界有足夠的一致性來達到這一點。

但是，採用也存在障礙。Steinmetz認為，雖然將TCP和非RDMA傳輸包括在內有所裨益，但這也確實造成了一些混亂。「這就是業界很多人預計NVMe-oF會很快採用，但是卻延後了一些時間的原因。」他表示。另一個重大障礙是軟體生態系統—取決於客戶計畫如何使用NVMe-oF，這個生態系統仍處於起步階段，Steinmetz補充。

雖然添加TCP確實解決了距離挑戰，並且TCP無處不在，這點很有用，但它並沒有否定RDMA RoCE的適用性——許多儲存OEM在這方面都具有豐富經驗。Steinmetz表示，「TCP很好、必要，最終會推動採用。但我看不到RoCE會消失。」

Steinmetz認為，在不久的將來，全快閃記憶體儲存陣列供應商會成為使用NVMe-oF的先行者，因為他們希望為客戶釋放昂貴快閃記憶體的價值，而使他們完全獲得高性能和低延遲。「我們在全快閃記憶體陣列方面看到了許多的應用和早期採用者。」他強調。

WD(Western Digital)也將NVMe-oF視為一場生態系統活動，並於今年早些時候推出了一些相互關聯的產品，包括雙埠的第三代Ultrastar DC SN840 NVMe SSD及其最新的OpenFlex Data24 NVMe-oF儲存平台，用於擴展其性能並共用可分解式(disaggregated)快閃記憶體。OpenFlex平台還整合了該公司RapidFlex控制器，實現了NVMe/NVMe-oF連接，同時兼顧了能效—這是其收購Kazan Networks所獲得的能力。

WD產品管理與市場行銷資深總監Scott Hamilton表示，該公司的NVMe-oF方法是故意無關的，但相信乙太網路會主導資料中心(圖2)。「我們認為這最終會是成本最低、普及率最高的情況。」同時，WD已支援RoCE並計畫支持TCP。

圖2：WD的NVMe-oF方法是故意無關的，它包括其兩年前推出的Open Composable架構，這種架構結合了多種產業標準來創建Open Composable API。

(資料來源：WD)

該公司對NVMe-oF支持的一個重要里程碑，是其自己兩年前推出的Open Composable架構，它具有多個層，可提供不同功能來支援可組合分散式基礎架構，同時，它結合了多個產業標準來創建Open Composable API。

Hamilton表示，其目標是在不同的解決方案、供應商、產品和使用者之間提供一致的體驗，從而可望減少供應商的鎖定並進一步推動與供應商無關的解決方案。他表示，NVMe-oF的早期採用是靠高性能和低延遲推動，那些早期採用者正在使用RoCE達到目的，而TCP具有降低複雜性的好處。

WD資料中心系統合作夥伴聯盟工程總監Mark Miquelon表示，如果延遲很重要，那麼客戶就會選擇NVMe SSD，而如果沒有NVMe-oF，那麼可透過PCIe連接的數量就有限。「借助NVMe-oF，我們可以大大擴展這個範圍。」他表示，雖然這會對延遲造成影響，但是卻很小，因此可以將應用擴展到整個網路規模。

但是在現實世界中，NVMe-oF並不能消除網路擁塞的可能性。Miquelon表示，同一網路結構上可能有很多應用試圖從相同的SSD或共用結構的不同SSD獲取資料。這就是WD設立了「相容性實驗室」(Compatibility Lab)的原因——該實驗室向所有人開放，供大家瞭解這些真實情況並協助客戶將以結構為基礎的產品推向市場。Miquelon說，「我們正在研究網路結構擁塞時的資料行為。」

Miquelon表示，另一個障礙是，即使交換機供應商都遵循標準，但每個供應商的標準都稍有不同，並且它們都使用自己的網路介面控制器(NIC)進行測試。因此，相容性實驗室還是個混合和匹配而創建配方的環境，這樣就能使不同的交換機和NIC供應商之間實現良好的互通性，並有助於減少供應商鎖定。

如今，SSD正在推動NVMe-oF的採用，NVMe會員公司——Nvidia網路業務部門儲存技術副總裁Rob Davis表示，「更快的儲存需要更快的網路。SSD變得越來越快，PCI匯流排也變得越來越快，兩者之間的網路也就要越來越快。對於未來而言，這確實是個很好的組合，尤其是在有大量資料、饑餓的應用(例如機器學習和人工智慧)時如此。」他並指出，從長遠來看，可以想像其他可分解式記憶體可能會使用NVMe規範，包括3D Xpoint。Davis補充，「現已生產多年的英特爾(Intel) Optane SSD，就對該低延遲堆疊進行了充分利用。」

內建TCP的NVMe-oF還可以實現SAS的替代，從而協助擴展企業儲存陣列，Davis表示，「實際上，這是NVMe-oF的主要目標用例之一。」他指出，另一種是去隔離式儲存(desegregated storage)模型，包括超大規模資料中心——在此，大部分流量都是發生在資料中心內部。Davis補充，「他們只是在擴展快閃記憶體，而與CPU、DRAM和運算無關。他們可以使用標準網路設備在資料中心內的任何位置存取快閃記憶體。」

市場研究機構Coughlin Associates總裁Thomas Coughlin表示，即使光纖通道解決方案獲得了NVMe-oF的早期採用，但由於普遍性，後者使用TCP的情況也越來越多。「基於TCP的網路可能已經獲得最大的成功。」他表示，總的來說，NVMe-oF在儲存系統和管理，以及運算儲存中都有明顯使用者案例，因為高性能介面可實現對不同位置(無論是不同的設施，還是不同的機架)的記憶體之間進行協調，加速器技術也可能會搭配使用。

Coughlin表示，雖然NVMe本身已經相對成熟，但TCP支援也已兩年，並對NVMe-oF提供了幫助。不過，他還沒有預見到來自運算快速連結(Compute Express Link，CXL)或Gen-Z等新興架構的直接競爭。他認為，「在未來幾年中，這三者將在儲存開發中發揮作用。同時涉足這三者的玩家很多，他們的目標可能是找到將它們一起使用的最佳方法。」

Davis認為Gen-Z已被納入CXL，並得到了英特爾的支持。「如果有英特爾支援，那麼情況就很好。」他表示，與NVMe一樣，CXL利用了PCIe這種成熟的標準化技術——每個人都已經習慣使用這個技術，這也促進了NVMe-oF的採用。即使人們不準備立即使用它，也可以為它做準備，也無須擔心受困於專有技術中。

本文同步刊登於《電子技術設計》雜誌2020年11月號

(參考原文：NVMe-oF Is Ready to Go the Distance，by Gary Hilson)

活動簡介

從無線連接、更快的處理和運算、網路安全機制、更複雜的虛擬實境(VR)到人工智慧(AI)等技術，都將在未來的每一個嵌入式系統中發揮更關鍵功能。「嵌入式系統設計研討會」將全面涵蓋在電子產業最受熱議的「智慧」、「互連」、「安全」與「運算」等系統之相關硬體和軟體設計。

會中將邀請來自嵌入式設計相關領域的研究人員、代表廠商以及專家，透過專題演講、產品展示與互動交流，從元件、模組到系統，從概念設計到開發工具，深入介紹嵌入式系統設計領域的最新趨勢、創新和關注重點，並深入分享關於嵌入式系統設計的經驗、成果以及遇到的實際挑戰及其解決方案。

贊助廠商

立即報名