愛普董事長陳文良以VHM技術向HBM下戰帖

作者 : Ryan Tsai,EE Times Taiwan

隨著人工智慧、HPC等前瞻技術的演進,業界對記憶體頻寬的要求與日俱進,目前以高頻寬記憶體(HBM)為主流。不過2021年8月,愛普宣佈成功實現異質整合高頻寬記憶體(VHM),意欲發起革命挑戰HBM的地位。

隨著人工智慧(AI)、高速運算(HPC)等前瞻技術的演進,業界對記憶體頻寬的要求與日俱進,目前以高頻寬記憶體(High Bandwidth Memory,HBM)為主流。不過2021年8月,客製化記憶體廠愛普宣佈成功實現異質整合高頻寬記憶體(Very High-Bandwidth Memory,VHM),並攜手台積電、力積電打造用於以太幣挖礦機的ASIC,意欲發起革命挑戰HBM的地位。

愛普董事長陳文良

愛普董事長陳文良

這顆ASIC是少見的3D堆疊IC,以38nm的DRAM和55nm的邏輯晶片堆疊而成。由力積電負責客製化的動態隨機存取記憶體(DRAM)晶圓代工服務,台積電提供邏輯製程晶圓代工及3D堆疊服務,愛普則拿出兩大武器,客製化DRAM設計及系統單晶片(SoC) 整合介面VHMLink IP,客戶是台灣的鯨鏈科技。這個多方合作的心血結晶ASIC,已於去年量產。

愛普自2019年轉型後,專注在DRAM的客製化;本就在極度碎片化市場拚搏的他們,對客製化DRAM的技術並不陌生,不過VHM技術卻是嶄新且難度相當高的嘗試。為了研發這堪稱革命性的創新技術,身兼技術長的愛普董事長陳文良親自主導研發,帶領團隊幾乎從零開始摸索,總算用三年多的時間,打磨出VHM的技術。

「AI或其他應用記憶體和SoC每秒數據的數據流量,是現行方案的10~100倍,這是無法解決的問題,」陳文良表示,HBM一般擺在邏輯晶片周邊,每顆晶片分別以1,024支接腳連接SoC,若要符合現行頻寬需求,增加HBM顆數是一種作法,但2.5D封裝需將晶片和SoC擺在矽中介層(Interposer)上再封裝,空間有所侷限,要擺100顆幾乎是不可能,這也是為何要客製化發明一個技術。

所謂記憶體頻寬,指處理器從記憶體讀取或儲存資料的速率。以HBM來說,已量產且頻寬最快為HBM2E,每堆疊記憶體頻寬最高461GB/s (Gigabyte per second),每個接腳的傳輸速率為3.6Gbps (bit per second),傳輸每位元約消耗6pJ的能量;據愛普提供的資料,VHM雖每個接腳的傳輸速率較慢,為0.5Gbps,不過提供比HBM多出近十倍的記憶體頻寬,來到4,600GB/s,傳輸每位元消耗的能量則不到1pJ。

 

 

VHM與市面上其他DRAM解決方案,高頻寬及功耗等特性有較佳的表現。

(來源:愛普)

 

3D堆疊IC設計難關多 愛普手握兩大武器

記憶體頻寬之所以能大幅提升,關鍵之一就在3D堆疊;藉由這樣的方式,比起用2.5D封裝的HBM,愛普所設計面積832mm2的DRAM晶片跟SoC透過數萬支接腳連接,實現頻寬大幅提升、功耗顯著下降,並節省空間的效益。單以規格來看,VHM確實展現優於HBM的特性,但之所以到現在才問世,原因在3D堆疊衍生出的良率、散熱等難題,讓業界對投入研發的態度相對保守。

3D堆疊IC概念約莫十年前出現,然而直到近年摩爾定律的延續遇上瓶頸,發展才開始緩步增速,像台積電這樣的領導大廠,也是到2020年才發表3D Fabric先進封裝技術。業界之所以保守,陳文良歸納出幾個難解的問題,包括堆疊造成良率下降;單片晶圓就有的散熱問題,堆疊後的問題更難解;還有晶圓的裸晶(Die)也要一樣大;另外還有同步性等難關,設計上的挑戰相當多。

再者,陳文良進一步指出,這類產品從前端架構就要跟客戶緊密合作,物聯網(IoT)記憶體的客製化,可能大多是接腳的修改,VHM產品針對晶粒的形狀大小、頻寬、功率、溫度等面向都要考量,尤其這類的記憶體非常重視功耗跟傳輸速度,功耗大一點點就會非常熱,需要極致的客製化,一個案子可能就要耗費數年,「但從產品需求來看,所有會面臨的問題我們都克服了!」

 

愛普耗時三年,掌握VHM和傳輸介面IP VHMLink技術。

(來源:愛普)

 

除了DRAM的客製化,愛普另一個、也是陳文良訪談時直呼「厲害」的技術,就是他們掌握的VHM Link IP。VHM Link IP是傳輸介面的IP,整合了DRAM的控制器,以及DRAM儲存及讀取資料時的時脈產生器;內建BIST (Built in Self test)修復功能,以提升良率與降低晶片的測試成本;定義邏輯晶片和VHM DRAM間的傳輸協定,確保DRAM能藉由邏輯晶片I/O順暢的進行數據傳輸。

「讓客戶的SoC,跟我們很多個記憶體的數個位址能頻繁且快速的溝通,這就是我們的Know how。」陳文良形容,以前2.5D只是單純到隔壁鄰居家敲門拿東西,3D堆疊則是1樓跟2樓間有很多電梯,如何控制電梯趕快把東西拿下來,就是厲害的地方。也就是藉由VHM Link IP,讓VHM能用更少的功耗實現跟SoC間的高速資料傳輸。據愛普內部資料,同樣支應4TB/s頻寬,VHM單顆即可符合需求,功耗不到20W;HBM則需使用10顆,總功耗超過200W。

提到這顆以太幣挖礦機ASIC,陳文良顯得信心滿滿,更豪氣的說,之後會慢慢看到那顆ASIC打死大廠的GPU,「以太幣挖礦機的演算法是純粹靠數據流量,量越大跑得越快。我們客戶導入VHM做出以太幣挖礦機的ASIC,數據流量是主流大廠GPU的十倍。現在的產品還只是原型(Prototype) ,未來效能還有機會再往上走。」

VHM挑戰主流地位 陳文良瞄準網通市場進攻

著眼AI等前瞻科技持續演進,未來高頻寬的需求可預見將只增不減。陳文良表示,挖礦機是現階段試驗技術最好的場域,接下來CPU、GPU都有機會採用這樣的架構。即便VHM仍處在有應用、非主流的階段,他堅信愛普獨門的VHM技術躍升主流,將是整個產業發展下必然的趨勢,「不可能有別的方法解決頻寬問題,一定要用3D解決,只是時間問題。」

陳文良點出網通產業,已看到現有技術無法滿足需求的現象。他解釋,網路交換器(Switch)的資料需要先經過緩衝(Buffer)辨識資料,才能正常運作,交換器現在每個接口(Port)速度接近1TB/s,5個接口就需求5TB/s的頻寬,靜態隨機存取記憶體(SRAM)容量不夠,HBM會需求太多顆放不下,到TB量體已經沒有記憶體解決方案,唯有VHM可以跟得上網通的速度。

任何技術要變成主流,需要時間,也需要關鍵應用,才有機會開枝散葉,陳文良預期,網通會是VHM第一個主流突破點。不過除此之外,他也坦言3D IC供應鏈現階段不夠成熟,影響客戶導入的意願,也是客戶最不滿意的環節,尤其3D堆疊技術,主流代工廠有在開發技術,但由於量還未起來,動作相對保守,建產能都是兩、三間非主流的廠商,還需要一點時間。

不像有些技術要成熟,需動輒數十年,陳文良認為憑藉過去三年多研發的經驗,VHM幾年內就有機會漸趨成熟。據悉,愛普在今年初,以發行普通股參與海外存託憑證形式,辦理發行總金額達1.89億美元(約新台幣57億元)的現金增資,其中一個目的,也就是為了更深度投入該技術的發展,和夥伴共同推動供應鏈加速邁向成熟。

愛普並仍積極向外尋找合作夥伴,盼進一步擴大VHM的應用市場,日前加入OpenCAPI聯盟,與業界一同加速近記憶體運算(near-memory computing)的發展;另,也成為由台積電、日月光、高通、AMD等國際大廠組成的小晶片互連產業聯盟(Universal Chiplet Interconnect Express,UCIe)的一員,目標與產業界共同完善小晶片(Chiplet)生態系。

遭遇逆風Q2毛利降 陳文良要靠技術力突圍

愛普歷經轉骨,近年在陳文良領軍下,營運趨穩,去年全年營收66.2億元,稅後純益20.3億元,每股純益13.67元,皆為歷年新高;今年上半年遭遇中國大陸封控、烏俄戰爭等逆風襲擊,加上產業進入庫存調整期,第二季單季毛利率降至41%,為近六季低點。但陳文良並不悲觀,日前法說會時,重申以提高產品IP含量拉升毛利率的策略不變,未來一兩季會調整產品組合,並釋出預期第三季單季毛利率將較第二季41%回升、第四季穩中求升的展望。

陳文良預期,在AI事業部分,VHM在以太幣挖礦領域新設計案不少,也有非挖礦的NRE,長期將專注在VHM跟各領域的推進,為建立完整生態圈及VHM導入主流努力。IoT部分,在IoT需求持續放大的趨勢下,公司已發展十餘年、擁有相對成熟技術的虛擬靜態隨機存取記憶體(Pseudo SRAM,PSRAM)產品,可望發揮競爭優勢,帶來穩定且持續成長的現金流。

IoT事業目前佔愛普八成營收,是其得以持續投入資源在AI事業的重要泉源。談及愛普的競爭優勢,陳文良指出,IoT設備要求體積小、續航力強,所需的記憶體容量落在16~512Mb間,SRAM容量多在8Mb以下、DRAM最低4Gb又太大,這就是PSRAM適合發揮的空間,而愛普的強項是會成為第一個為客戶應用量身訂做、定出規格的廠商,這是標準DRAM做不到的。

因應IoT市場的趨勢,愛普今年也推出512Mb UHS (Ultra High Speed)系列產品AP351216C及AP351208,以及32Mb ULS (Ultra Low Swing)系列產品AP43208B;UHS系列頻寬比傳統PSRAM高五倍,ULS功耗僅傳統DRAM的三分之一。陳文良表示,IoT著重小型化跟低功耗,比如,現在愛普產品的待機功耗落在10μA左右,以電池供電的電錶至少要能用十年是基本,至今仍在不斷最佳化內部電路,朝越來越細的環節做精進。

陳文良大膽預期:未來DRAM主流應用將走向客製化

AI跟IoT兩大事業體發展逐漸邁向穩健成長,愛普下一階段的重點,將鎖定近年當紅的元宇宙(Metaverse)。陳文良表示,元宇宙現在趨勢是終端裝置的極致微型化,一定會看到手機變得更輕、更小來搭配AR/VR智慧眼鏡,甚至慢慢發展到最後也不用手機,「就像智慧手錶以前要搭配手機,現在也能單獨使用,那也就是智慧眼鏡的進程。智慧眼鏡取代手機,是一定會發生的。」

當AR/VR追求微型化到極致,陳文良認為,記憶體一定要用非常小型的,那也就是客製化的戰場。綜觀未來DRAM發展趨勢,他甚至大膽預期,現在AI、IoT等前瞻應用,鮮少廠商使用雙倍資料率(DDR) DRAM,甚至HBM都有人不想用,這意味著主流應用,將可能走向極致的客製化,未來應用也會離標準品越來越遠,最後價值可能不在製造端,設計公司將掌握最多價值。

「高度客製化是肯定的,因為標準化到此為止!」陳文良進一步指出,任何客戶只要發現市場上買不到某些產品,就會尋找像愛普這樣的廠商來做客製化,誰是客製化的主要供應商還都不知道,愛普雖是規模相對小的公司,不過已站在DRAM客製化的最前端。

對於市場瀰漫著一股悲觀氣氛,陳文良形容,市場循環就像一天睡醒後很快到晚上又天黑,一陣子造成大家營收下來、過陣子又回來,循環相較於技術改進很短暫,「但技術循環是不會改變的,我們做的技術發展可以贏過市場循環。」展望未來,陳文良樂觀以對,「IoT現在市場規模是5億美元,AI規模是10億美元,兩個市場才剛開始,之後很可能是現在的數倍規模,潛在成長機會還很大。」

本文同步刊登於《電子工程專輯》雜誌20229月號

 

 

 

加入我們官方帳號LINE@,最新消息一手掌握!

發表評論