乘載大量數據 PCIe「任重道遠」
2021-10-13
作者
Gary Hilson，EE Times特約記者
無論是相對較成熟的NVMe標準，或是初入市場，但快速成長中的CXL標準，都是運用了高度普及的PCIe介面；最新版的PCIe 6.0也預計在2021底正式發佈。
PCIe匯流排標準背負著許多期待；或許更精確的說，它需要乘載大量的數據。無論是相對較成熟的NVMe標準，或是初入市場，但快速成長中的CXL (Compute Express Link)標準，都是運用了高度普及的PCIe介面；最新版的PCIe 6.0也預計在2021底正式發佈。
Microchip Technology資料中心業務總監Mark Orthodoxou認為，PCIe的價值在於其普及性，以及和各種CPU之間的互通性。而PCIe開放的特性也促成了一整個依附其生長的生態系統。他表示，PCIe介面的缺點追根究柢皆源自於它隨時間已變得越來越複雜，但憑藉著市場上大量的可授權技術，這難題也並非難以克服。
隨著行動裝置和汽車產業中出現新商機，PCIe I/O匯流排規格預計會照著每三年一次的頻率持續更新，而NVMe和CXL等技術也將持續透過PCIe介面提供更佳的儲存與記憶體效能。
(圖片來源：PCI-SIG)
PCIe有一個根本上的缺陷：許多我們今天使用的功能，在PCIe發展的初期根本還沒有人想到。如Orthodoxou所說，隨著新的應用漸漸出現，一個個意料外的問題也相應而生。其中一個例子是支援熱拔插的伺服器NVMe固態硬碟(SSD)。
「這個介面在設計之初並沒有考慮到熱拔插，像這類的功能都需要經過額外的努力下去開發。隨著人們不斷發明運用PCIe的新方法，整個介面也逐漸變得越來越複雜；」但Orthodoxou認為，這些缺陷在本質上並不阻礙創新技術的發展。也因此出現了像CXL等運用PCIe的新技術，「CXL協定終究是依附PCIe而生。」
CXL雖可望比其他裝置更早運用PCIe 6.0，Orthodoxou認為CXL聯盟可能還需要一段時間釐清CXL的最終樣貌，才能真正發揮最新PCIe介面的價值，並滿足新的使用情境；「CXL也沒有其他更快速的介面可以選擇。」
CXL使用彈性化的處理器連接埠，能夠在標準的PCIe交易協定或CXL交易協定間自動協商。 (圖片來源：CXL)
Microchip旗下許多產品皆運用到PCIe技術，如PCIe交換器與NVMe控制器，其應用領域橫跨工業、汽車，以及資料中心等不同市場。Orthodoxou表示：「PCIe為我們創造了大量的市場機會；」該公司於CXL聯盟內相當活躍，但至今除了CXL重定時器(Retimer)以外，尚未發佈其他CXL產品。
市場研究機構IDC固態儲存與賦能技術研究部門副總裁Jeff Janukowicz指出，NVMe產品上市已接近十年，但直到去年，企業花費於購置NVMe PCIe產品的金額才終於佔了所有SSD產品的一半以上；「這個轉變花了好一段時間，PCIe的種種好處到了今天才終於逐漸顯現。」
他表示，NVMe 2.0上市將進一步推動PCIe技術的發展，並在外型尺寸方面開創傳統硬碟架構下無法實現的創新技術；「我們終於開始擺脫一些來自硬體方面的限制。」
Janukowicz指出，PCIe已經演變成一種基礎性的技術，而CXL和其他類似協定的誕生也反映出工作負載的逐漸多樣化；「為了滿足不同環境下的需求，業界做了非常多的創新。像CXL等技術也逐漸吸引到了人們的注意力。」
他表示，NVMe是為了儲存裝置而設計，但CXL為了推動更高的效能和更低的複雜度，卻是以記憶體為中心設計，因此也涵蓋了各種附帶記憶體的裝置、記憶體擴充裝置，以及加速器等面向。
Janukowicz認為，CXL的一大價值在於它是一個開放的標準。和PCIe一樣，任何人都可以投入開發更多能夠因應新型態工作負載的解決方案；「為了支援次世代的工作負載，業界投入越來越多資源在擴大記憶體的使用方式，如儲存於記憶體的應用程式和資料庫，或是人工智慧(AI)與機器學習等新興用途。」
然而，並不是所有人都將PCIe的開放標準視為唯一選項。Nvidia即選擇開發自家的PCIe替代方案：NVLink。2014年問世的NVLink是一種有線的通訊協定，專為近距離半導體通訊所設計，可用於CPU與GPU之間或是多個GPU之間的數據與控制碼傳輸。
Nvidia在七年前選擇開發自家的PCIe替代方案。NVIDIA A100使用的NVLink提供了比前一代多一倍的GPU間通訊頻寬，是第四代PCIe的接近十倍。
(圖片來源：Nvidia)
Nvidia產品管理資深總監Paresh Kharya表示，PCIe雖然普及，但效能上卻遠遠無法提供Nvidia自家伺服器在處理AI或其他高效能運算時需要的速度；「產業對於運算能力的需求時時在增加，一個擴充運算力的方法是將多個GPU結合為一個使用。」
NVLink為Nvidia的GPU提供了具延展性的高速互連能力，讓多個GPU之間可以交互運作，共同形成一個效能龐大的加速器。他表示，NVLink首度問世時即提供了PCIe 3.0五倍的頻寬，現在雙向頻寬更達到了每秒600GB，是主流PCIe 4.0的接近十倍。
雖然NVLink是Nvidia的專有技術，該公司的GPU還是支援PCIe。「這仍是我們現階段和CPU連接的方式；」Kharya表示，雖然也有其他廠商(如IBM)將NVLink技術導入它們的處理器，絕大多數的應用都還是集中在加速Nvidia自家的GPU。為了加速NVLink在廣大生態系內的普及，Nvidia對外供應內建NVLink連線能力的伺服器基板與主機板；全世界最快速的超級電腦中，有一些就使用了NVLink。
Kharya表示，NVLink讓Nvidia可以快速地創新，並為顧客持續改善產品效能。「我們計畫盡可能快速地持續開發NVLink；」雖然NVLink目前論及頻寬明顯勝過其他標準，但Nvidia仍舊積極地和CXL社群合作，推動PCIe標準的進展，「我們希望PCIe標準可以發展得越快越好。」
Janukowicz表示，客製化技術確實有其優勢，例如可針對特定環境優化效能、延遲、成本，或是功耗表現。但另一方面，開放性的標準光是在經濟規模方面就具有許多好處。「開放性標準在過去一直是推動市場的必要元素。」
他指出，顧客一向都不放心被任何單一廠商綁死，尤其是在現今供應鏈受到疫情影響甚劇的情況下；「疫情反映出了彈性的重要。在開放的環境下，你可以透過多個供應商分擔風險，或隨時有多個替代選項。」
而隨著CXL持續成長，PCIe的發展也絲毫沒有停下腳步。Rambus研究員Steve Woo表示，CXL是數據推動架構演化的絕佳範例。高頻寬記憶體(HBM)和GDDR的發展速度創下歷史新高，反映出數據與架構的重要性。「像CXL這樣的標準會持續推動PCIe速度的成長；」他指出：「PCIe在產業中存在很久了，它不只可靠，更已獲得人們的了解和信任。」
Woo表示，數據移動的速度正逐漸成為新的效能瓶頸，反而不是記憶體速度或運算速度。在過去，繪圖一向是PCIe速度的主要推手，因為市場對於解析度和影格率的需求不斷提高。但現今數據成長的步調已完全非昔日可比，短短幾年的發展就足以讓數據量翻倍；這意味著傳輸性能也必須跟上步伐。
這正是PCIe 6.0承諾要做到的。在今年5月底的一場網路研討會上，負責訂定PCIe I/O匯流排規格與相關尺寸的產業組織PCI-SIG表示，最新的PCIe版本將會提供自PCIe 3.0以來最顯著的升級。與上一版相比，新的PCIe版本提供了兩倍的數據傳輸率、更高的訊號速率，以及對訊號完整性更嚴格的要求。0.71版的PCIe 6.0草案已在7月初發佈供聯盟成員審核，0.9版草案預計將隨後發佈；在兩個月的審查期解決剩餘議題之後，正式版本的PCIe 6.0規格預計於年底發佈。
PCIe 6.0導入了PAM4信令和低延遲前向糾錯(FEC)，前者讓一個序列通道可以在相同的時間內容納更多數據，後者搭配額外機制可改善頻寬效率與可靠度。此外，PCIe 6.0也包含了以AES-GCM為基礎的完整性與數據加密(IDE)功能，為整個TLP封包提供認證與加密保護。單一個PCIe 6.0 x16就可以支援800G乙太網路。此版本的主要目標是高頻寬應用，如雲端、人工智慧、機器學習、邊緣運算等。
PCIe 6.0規格預計會恰好在企業級PCIe 5.0裝置開始上市時完成。PCIe 5.0規格於2019年5月發佈，擁有比前代多一倍的頻寬，並向下兼容所有PCIe世代。此外，PCIe 5.0規格電路對提升訊號完整性與連接器機械性能進行了改善。
PCI-SIG總裁暨主席Al Yanes表示，組織的會員數持續成長，至今已有接近900家來自全球的公司加盟，聚焦於各種各類的裝置，有特別多來自於行動裝置和汽車產業的關注；「我們為此成立了一個工作小組並獲得熱烈參與，因此這就是我們的下一個目標產業。」
他估計，PCIe標準會持續以每三年一次或更高的頻率更新，並以相容性以及向下相容能力為持續的開發重點；這兩項在過去一直是該匯流排標準取得成功的關鍵要素。
本文同步刊登於《電子工程專輯》雜誌2021年10月號
責編：Judith Cheng
(參考原文：Data Movement Depends on PCIe，By Gary Hilson）
