助力HBM3 DRAM問世 創意電子擁三獨門武器

2022-09-26
作者 蔡銘仁,EE Times Taiwan

隨著人工智慧(AI)等新興應用發展,讓業界對高規格的高頻寬記憶體(HBM)需求越來越迫切。這樣的趨勢,也使創意電子與台積電及SK海力士合作打造的全球首款HBM3解決方案,格外引人注目。

AI受惠智慧應用等前瞻技術的蓬勃發展激勵,近年發展增速,越來越大量的資料,得頻繁在DRAM和做為核心的系統單晶片(SoC)間傳輸,使業界對記憶體傳輸頻寬的要求得不斷提高。以3D堆疊工藝打造的HBM對比過往DDR系列DRAM,更強調高頻寬的特色,與現行AI應用的需求不謀而合,因而被視為推動AI應用進步的關鍵要角之一

然而,AI訓練模組所需容量平均每三個半月會倍增,AI推論(Inference)應用的運算模組所需容量也越來越大,記憶體頻寬的提升卻未跟上腳步業者坦言,當前主流的HBM2E面對AI應用,最高每接腳3.6 Gbps (bit/s) 的資料傳輸速度已不敷使用。這也讓業界將目光擺到頻寬更快的HBM3上,且需求越來越急迫。著眼趨勢,創意、台積電和SK海力士三方通力合作,催生出全球首款HBM3 CoWoS平台。

創意運用其HBM3實體層及控制器、GLink-2.5D晶粒對晶粒(Die-to-Die)介面等矽智財(IP)技術,建立架構並設計SoC、中介層 (Interposer) 和DFT、實體佈局、高功率且高速的封裝,搭配SK海力士的HBM3樣本,以及台積電7nm先進製程和CoWoS (Chip On Wafer On Substrate)封裝技術,打造此頻寬最高可達7.2Gbps的HBM3 CoWoS平台。

「我們是全世界唯一一個真的拿出HBM3平台對外展示的公司!」創意IP銷售及行銷經理黃昱人指出,平台上具備功能完整並可量產的HBM3控制器及實體層(Port Physical Layer, PHY) ,並有HBM3記憶體可通訊,並矽驗證完成,可與SK海力士及三星的HBM3搭配正常工作,不少採用先進製程設計的客戶,都期待看到驗證的結果,「7nm功能已驗證過,代表導入其他如5nm或3nm等先進製程,風險相對更低。」 創意此款HBM3 CoWoS平台,打造出符合繪圖處理器(GPU)、中央處理器(CPU) 、AI、網路(Networking) IC的使用情境,已完成7.2 Gbps HBM3解決方案的矽驗證。今年陸續在台積電的北美論壇(TSMC 2022 NA Technology Symposium)及在台灣舉行的技術論壇亮相,獲得多數客戶的正面評價。

全球領先的成果 源於大膽的「超前部署」策略

為了這全球領先首發的成就,創意這段過程可說是吃足苦頭,因為他們在JEDEC固態技術協會將HBM3完整版規格確定前,就已經超前部署。黃昱人透露,JEDEC直到今年初才發表HBM3完整的規格,但去年客戶就已跟他們著手進行HBM3的特殊應用IC (ASIC) 設計,在規格還未完全明確的狀況開發,是當初開發面臨的最大難關,「但通常規格出來客戶已經等著要設計,我們必須提前準備好。」 創意合作對象雖是像SK海力士這類領先廠商,但規格的不確定性,讓他們必須得耗費更多心力在頻繁跟客戶端溝通上,確保雙方的產品可以對接,加上7nm製程的高昂成本,時間和金錢成本的壓力,讓他們這段超前部署的路,可說是走得舉步維艱。不過他們的大膽,最終換回不錯的成果,SK海力士也表明,已確認與創意在HBM生態系統內的合作關係。 跟台積電及SK海力士合作展示並證明業界首個HBM3解決方案,創意副總徐仁泰深感榮幸。他也指出,創意的HBM控制器及實體層,奠基於創意在CoWoS/HBM2產品上長久的量產經驗,7.2Gbps的高傳輸速度,讓他們可以因應客戶對速度持續不斷升級的要求,擁有HBM3、GLink-2.5D及GLink-3D IP產品組合,以及3D IC設計等專業知識,是他們能協助客戶開發CPU、GPU、AI及網路產品並快速量產的優勢。

手握三獨門技術 創意要當2.5D晶片設計最佳夥伴

特別的是,創意此款HBM3 CoWos平台內兩顆HBM3和SoC間的連接,其中一顆是常見的直線型走線,另一顆以45度走線。彎角會影響訊號的品質,最嚴重可能導致訊號丟失,創意靠自身獨門技術,讓HBM3 IP和記憶體間以不同角度在中介層上的匯流排佈線時,信號品質影響小於3%,與直線型相近。相較傳統直角鋸齒型HBM匯流排佈線,佈線更短、信號完整性更好、速度更快及功耗更低。 黃昱人解釋,SoC和外部記憶體的走線,理想是平行,但實際設計卻可能因佈局調整等因素,以及配合中介層的設計規範,未必能走平行,遇到這樣的情況就得轉彎才能順利連接,現在也有客戶在設計初期,就已經預期需要這類的特殊走線,特殊的走線法使晶片在結構設計及空間運用上更有彈性。 創意該特殊佈線技術,已在本次發表的平台上完成驗證,正申請台灣和美國專利中。另,創意還有㇐個正在申請專利的解決方案,則是能將HBM3記憶體匯流排拆分至位於2個SoC晶片上的實體層,以便在2顆SoC接6顆HBM3、或2顆SoC接10顆HBM3的使用情境下,充分利用HBM3的頻寬。 此外,以2.5D架構設計的晶片,不只佈線大有學問,也因為晶粒在晶片內部連接,使得晶粒與晶粒間每根訊號線的檢測相較過往DRAM和SoC各自獨立,變得更為困難,而限縮其應用場域。創意因此和以色列電子零件健康監測新創公司ProteanTecs合作,將其通用晶片遙測(Universal Chip Telemetry,UCT)技術整合進GLink、HBM等介面技術,這也是他們闖蕩2.5D晶片市場的重要武器之一。 UCT的概念,類似於在每一根接腳整合微型的感測器,以HBM來說就是1,024根接腳都有一個感測器;當收集到晶片運行時的訊號,再透過SoC的傳輸介面讀取數據,有助開發前期偵錯,更重要是可得知訊號的生命週期。黃昱人指出,訊號隨時間會逐步老化,最終可能導致讀寫動作錯誤,像資料中心、車用這類的場域,不容許這類錯誤發生,也就希望能在訊號老化前發現並修復。 黃昱人進一步解釋,過去沒有像UCT這類的方案,大多只能透過軟體做功能測試,確認功能是否正常,沒辦法偵測到生命週期或每根接腳資料傳輸的狀況,透過感測器可即時偵測訊號的情況,這對業界在發展先進封裝是蠻突破的技術,許多客戶也是看上這樣的技術而找上創意。

異質整合IC續向前行 EDA和封裝技術扮兩大引擎

AI運算力要持續提升,現階段記憶體的頻寬仍為瓶頸,因此記憶體廠腳步不停歇,由SK海力士及三星兩大巨頭領軍,替HBM3全新戰局的競爭點燃戰火。SK海力士率先最高頻寬達819 GB/s的HBM3產品,相當於每秒可傳輸163部Full-HD的電影;三星雖較晚發表HBM3產品,但其今年6月發表的產品,最高頻寬衝上1,024GB/s。三星和SK海力士產能開出的速度,也將是HBM3滲透率能否持續提高的關鍵。 業者評估,SK海力士的HBM3今年開始出貨,用於Nvidia的GPU,明年開始量才會拉升上來,相較Nvidia這類的大型業者,其他業者的ASIC受限產能,加上下線生產 (Tape out) 、封裝、系統驗證等流程,最快至少到2024年,才有機會量產帶HBM3的產品。由於成本相對較高,主要應用在AI、高效能運算 (HPC) 等重視頻寬的應用。 著眼HBM的未來方向,黃昱人認為將有三大重點,首先HBM每接腳傳輸速度從2Gbps到現在6.4Gbps,提升到8Gbps的可能性也在討論,持續提高頻寬並保持功效,是其中一個方向;再者儲存容量也會持續提升,每晶粒的儲存密度可能上看24Gb,目前堆疊來到12層,未來也有可能更多;最後就是因應HBM的用量不斷增加,現以看到3顆SoC配12顆HBM,封裝技術還會繼續進步。 CoWoS封裝技術將是這類2.5D IC,能否有技術突破的其中一個關鍵,台積電等廠商也繼續做技術升級;除了本次HBM3平台使用的CoWoS-S及CoWoS-R技術,台積電亦結合兩者優點開發CoWoS-L技術,據傳CoWoS-L最快兩年內進入商品化階段。 此外,2.5D IC設計流程缺乏工具,還相對不夠自動化的問題,也會是2.5D這類IC演進的課題。黃昱人解釋,以前電子設計自動化(EDA)的工具沒有考慮到這樣的設計方法,變成像CoWoS-R製程的SoC用到一般APR (Automatic Placement & Routing)設計,RDL (Redistribution Layer)階段就變成用封裝 (Package) 的設計工具,還沒有一套流程從頭做到尾,也較多時候需要手動。 黃昱人表示,2.5D或3D IC設計流程比以前複雜,也碰到很多跨不同工具的狀況,不同工具如何驗證跟整合也需要特別處理,若沒有整合就需要投入更多人力,使得設計效率相對較低,這部份包括台積電等業者都有看到問題,陸續有解決方案問世,創意也與EDA供應業者緊密合作,透過互相交流,看設計流程可以如何優化,以實現高度自動化,讓效率更加提升。
活動簡介

人工智慧(AI)無所不在。這一波AI浪潮正重塑並徹底改變科技產業甚至整個世界的未來。如何有效利用AI協助設計與開發?如何透過AI從設計、製造到生產創造增強的體驗?如何以AI作為轉型與變革的力量?打造綠色永續未來?AI面對的風險和影響又是什麼?

AI⁺ 技術論壇聚焦人工智慧/機器學習(AI/ML)技術,涵蓋從雲端到邊緣、從硬體到軟體、從演算法到架構的AI/ML技術相關基礎設施之設計、應用與部署,協助您全面掌握AI最新技術趨勢與創新,接軌AI生態系佈局,讓機器學習更快速、更經濟、更聰明也更有效率。

贊助廠商

發表評論

訂閱EETT電子報