乘載大量數據 PCIe「任重道遠」

作者 : Gary Hilson,EE Times特約記者

無論是相對較成熟的NVMe標準,或是初入市場,但快速成長中的CXL標準,都是運用了高度普及的PCIe介面;最新版的PCIe 6.0也預計在2021底正式發佈。

PCIe匯流排標準背負著許多期待;或許更精確的說,它需要乘載大量的數據。無論是相對較成熟的NVMe標準,或是初入市場,但快速成長中的CXL (Compute Express Link)標準,都是運用了高度普及的PCIe介面;最新版的PCIe 6.0也預計在2021底正式發佈。

Microchip Technology資料中心業務總監Mark Orthodoxou認為,PCIe的價值在於其普及性,以及和各種CPU之間的互通性。而PCIe開放的特性也促成了一整個依附其生長的生態系統。他表示,PCIe介面的缺點追根究柢皆源自於它隨時間已變得越來越複雜,但憑藉著市場上大量的可授權技術,這難題也並非難以克服。

 

隨著行動裝置和汽車產業中出現新商機,PCIe I/O匯流排規格預計會照著每三年一次的頻率持續更新,而NVMe和CXL等技術也將持續透過PCIe介面提供更佳的儲存與記憶體效能。

(圖片來源:PCI-SIG)

 

PCIe有一個根本上的缺陷:許多我們今天使用的功能,在PCIe發展的初期根本還沒有人想到。如Orthodoxou所說,隨著新的應用漸漸出現,一個個意料外的問題也相應而生。其中一個例子是支援熱拔插的伺服器NVMe固態硬碟(SSD)。

「這個介面在設計之初並沒有考慮到熱拔插,像這類的功能都需要經過額外的努力下去開發。隨著人們不斷發明運用PCIe的新方法,整個介面也逐漸變得越來越複雜;」但Orthodoxou認為,這些缺陷在本質上並不阻礙創新技術的發展。也因此出現了像CXL等運用PCIe的新技術,「CXL協定終究是依附PCIe而生。」

CXL雖可望比其他裝置更早運用PCIe 6.0,Orthodoxou認為CXL聯盟可能還需要一段時間釐清CXL的最終樣貌,才能真正發揮最新PCIe介面的價值,並滿足新的使用情境;「CXL也沒有其他更快速的介面可以選擇。」

CXL使用彈性化的處理器連接埠,能夠在標準的PCIe交易協定或CXL交易協定間自動協商。 (圖片來源:CXL)

CXL使用彈性化的處理器連接埠,能夠在標準的PCIe交易協定或CXL交易協定間自動協商。 (圖片來源:CXL)

Microchip旗下許多產品皆運用到PCIe技術,如PCIe交換器與NVMe控制器,其應用領域橫跨工業、汽車,以及資料中心等不同市場。Orthodoxou表示:「PCIe為我們創造了大量的市場機會;」該公司於CXL聯盟內相當活躍,但至今除了CXL重定時器(Retimer)以外,尚未發佈其他CXL產品。

市場研究機構IDC固態儲存與賦能技術研究部門副總裁Jeff Janukowicz指出,NVMe產品上市已接近十年,但直到去年,企業花費於購置NVMe PCIe產品的金額才終於佔了所有SSD產品的一半以上;「這個轉變花了好一段時間,PCIe的種種好處到了今天才終於逐漸顯現。」

他表示,NVMe 2.0上市將進一步推動PCIe技術的發展,並在外型尺寸方面開創傳統硬碟架構下無法實現的創新技術;「我們終於開始擺脫一些來自硬體方面的限制。」

Janukowicz指出,PCIe已經演變成一種基礎性的技術,而CXL和其他類似協定的誕生也反映出工作負載的逐漸多樣化;「為了滿足不同環境下的需求,業界做了非常多的創新。像CXL等技術也逐漸吸引到了人們的注意力。」

他表示,NVMe是為了儲存裝置而設計,但CXL為了推動更高的效能和更低的複雜度,卻是以記憶體為中心設計,因此也涵蓋了各種附帶記憶體的裝置、記憶體擴充裝置,以及加速器等面向。

Janukowicz認為,CXL的一大價值在於它是一個開放的標準。和PCIe一樣,任何人都可以投入開發更多能夠因應新型態工作負載的解決方案;「為了支援次世代的工作負載,業界投入越來越多資源在擴大記憶體的使用方式,如儲存於記憶體的應用程式和資料庫,或是人工智慧(AI)與機器學習等新興用途。」

然而,並不是所有人都將PCIe的開放標準視為唯一選項。Nvidia即選擇開發自家的PCIe替代方案:NVLink。2014年問世的NVLink是一種有線的通訊協定,專為近距離半導體通訊所設計,可用於CPU與GPU之間或是多個GPU之間的數據與控制碼傳輸。

Nvidia在七年前選擇開發自家的PCIe替代方案。NVIDIA A100使用的NVLink提供了比前一代多一倍的GPU間通訊頻寬,是第四代PCIe的接近十倍。

(圖片來源:Nvidia)

 

Nvidia產品管理資深總監Paresh Kharya表示,PCIe雖然普及,但效能上卻遠遠無法提供Nvidia自家伺服器在處理AI或其他高效能運算時需要的速度;「產業對於運算能力的需求時時在增加,一個擴充運算力的方法是將多個GPU結合為一個使用。」

NVLink為Nvidia的GPU提供了具延展性的高速互連能力,讓多個GPU之間可以交互運作,共同形成一個效能龐大的加速器。他表示,NVLink首度問世時即提供了PCIe 3.0五倍的頻寬,現在雙向頻寬更達到了每秒600GB,是主流PCIe 4.0的接近十倍。

雖然NVLink是Nvidia的專有技術,該公司的GPU還是支援PCIe。「這仍是我們現階段和CPU連接的方式;」Kharya表示,雖然也有其他廠商(如IBM)將NVLink技術導入它們的處理器,絕大多數的應用都還是集中在加速Nvidia自家的GPU。為了加速NVLink在廣大生態系內的普及,Nvidia對外供應內建NVLink連線能力的伺服器基板與主機板;全世界最快速的超級電腦中,有一些就使用了NVLink。

Kharya表示,NVLink讓Nvidia可以快速地創新,並為顧客持續改善產品效能。「我們計畫盡可能快速地持續開發NVLink;」雖然NVLink目前論及頻寬明顯勝過其他標準,但Nvidia仍舊積極地和CXL社群合作,推動PCIe標準的進展,「我們希望PCIe標準可以發展得越快越好。」

Janukowicz表示,客製化技術確實有其優勢,例如可針對特定環境優化效能、延遲、成本,或是功耗表現。但另一方面,開放性的標準光是在經濟規模方面就具有許多好處。「開放性標準在過去一直是推動市場的必要元素。」

他指出,顧客一向都不放心被任何單一廠商綁死,尤其是在現今供應鏈受到疫情影響甚劇的情況下;「疫情反映出了彈性的重要。在開放的環境下,你可以透過多個供應商分擔風險,或隨時有多個替代選項。」

而隨著CXL持續成長,PCIe的發展也絲毫沒有停下腳步。Rambus研究員Steve Woo表示,CXL是數據推動架構演化的絕佳範例。高頻寬記憶體(HBM)和GDDR的發展速度創下歷史新高,反映出數據與架構的重要性。「像CXL這樣的標準會持續推動PCIe速度的成長;」他指出:「PCIe在產業中存在很久了,它不只可靠,更已獲得人們的了解和信任。」

Woo表示,數據移動的速度正逐漸成為新的效能瓶頸,反而不是記憶體速度或運算速度。在過去,繪圖一向是PCIe速度的主要推手,因為市場對於解析度和影格率的需求不斷提高。但現今數據成長的步調已完全非昔日可比,短短幾年的發展就足以讓數據量翻倍;這意味著傳輸性能也必須跟上步伐。

這正是PCIe 6.0承諾要做到的。在今年5月底的一場網路研討會上,負責訂定PCIe I/O匯流排規格與相關尺寸的產業組織PCI-SIG表示,最新的PCIe版本將會提供自PCIe 3.0以來最顯著的升級。與上一版相比,新的PCIe版本提供了兩倍的數據傳輸率、更高的訊號速率,以及對訊號完整性更嚴格的要求。0.71版的PCIe 6.0草案已在7月初發佈供聯盟成員審核,0.9版草案預計將隨後發佈;在兩個月的審查期解決剩餘議題之後,正式版本的PCIe 6.0規格預計於年底發佈。

PCIe 6.0導入了PAM4信令和低延遲前向糾錯(FEC),前者讓一個序列通道可以在相同的時間內容納更多數據,後者搭配額外機制可改善頻寬效率與可靠度。此外,PCIe 6.0也包含了以AES-GCM為基礎的完整性與數據加密(IDE)功能,為整個TLP封包提供認證與加密保護。單一個PCIe 6.0 x16就可以支援800G乙太網路。此版本的主要目標是高頻寬應用,如雲端、人工智慧、機器學習、邊緣運算等。

PCIe 6.0規格預計會恰好在企業級PCIe 5.0裝置開始上市時完成。PCIe 5.0規格於2019年5月發佈,擁有比前代多一倍的頻寬,並向下兼容所有PCIe世代。此外,PCIe 5.0規格電路對提升訊號完整性與連接器機械性能進行了改善。

PCI-SIG總裁暨主席Al Yanes表示,組織的會員數持續成長,至今已有接近900家來自全球的公司加盟,聚焦於各種各類的裝置,有特別多來自於行動裝置和汽車產業的關注;「我們為此成立了一個工作小組並獲得熱烈參與,因此這就是我們的下一個目標產業。」

他估計,PCIe標準會持續以每三年一次或更高的頻率更新,並以相容性以及向下相容能力為持續的開發重點;這兩項在過去一直是該匯流排標準取得成功的關鍵要素。

 

本文同步刊登於《電子工程專輯》雜誌2021年10月號

責編:Judith Cheng

(參考原文:Data Movement Depends on PCIe,By Gary Hilson)

 

 

 

加入我們官方帳號LINE@,最新消息一手掌握!

發表評論