今年夏天,全球晶片領域的年度大事——Hot Chips大會,一共舉辦了25場會議,其中有16場或多或少都聚焦於處理人工智慧(AI)任務的晶片上。這些晶片應用涉及範圍廣泛,從瞄準物聯網(IoT)和智慧型手機的超低功耗元件,到資料中心所需的高耗電晶片等。

曾經圍繞著x86架構的產業整併,使得這一微處理器年度盛事有好幾年變得不那麼有趣。而今,隨著機器學習的崛起,Hot Chips再度成為專注於晶片架構的工程師熱烈參與的年度盛會。

不管你相不相信,晶片業近來關注的重點並不只是深度學習。例如,大會中的一位發言人還介紹了可能取代DRAM的競爭方案,並呼籲探討更多關於記憶體技術的話題。

賽靈思(Xilinx)展示了一款針對AI打造的全新FPGA變化版本,並邀請與會者針對基於安全的全新運算架構展開設計行動。

Alphabet董事長John Hennessey在發表專題演講時指出,在Google電腦架構師發現安全漏洞之前,業界廣泛使用的推測執行(speculative execution)技術易於遭受旁路攻擊(side-channel attack)的情況已經存在長達20年了。

Insight64分析師Nathan Brookwood說:「這不禁令人懷疑還有什麼是我們以往沒有注意到的......鑑於這些產品如此複雜卻仍能有效作業,這一點真的令人驚訝。」。

接下來,我們將重點介紹在今年Hot Chips大會上的一些有趣的討論。我們將從其中一些令人印象深刻的創新想法和目標設計開始談起。

新創公司Tachyum挑戰Xeon

新創公司Tachyum無疑是其中最具有膽識的,但卻並不被看好。該公司的目標在於透過其Prodigy晶片,從而在主流伺服器(server)用處理器和AI加速器市場分一杯羹。Tachyum宣稱其Prodigy晶片的核心「比英特爾(Intel)的Xeon更快,也比Arm核心更小」。

該公司表示,這款7奈米(nm) 290 mm2晶片支援多達64個核心,可在4GHz執行頻率下提供高達2TFlops的運算效能,預計明年出樣。

事實上,如果沒有重大的性能升級以及經過多方測試,資料中心營運商不太可能在其x86架構中採用新創公司的晶片和軟體。因此,分析師Brookwood對於Tachyum採用超長指令字(VLIW)架構抱持懷疑態度,畢竟這是英特爾在其Itanium中未能完美掌握的技術。他補充說,如果該晶片能取得任何市場吸引力,Tachyum很可能面臨來自英特爾等巨擘的專利訴訟。

1Tachyumcore Tachyum的Prodigy晶片支援九階整數和14階浮點運算管線架構(本文圖片來源:Hot Chips)

Optane引發法規爭議?

英特爾描述其最新的14nm Xeon伺服器處理器Cascade Lake。該公司在不久前的一場活動中才發佈這款晶片,但在Hot Chips大會上提供了更多細節,但也引發一些爭議。

Cascade Lake採用與英特爾現有14nm Xeon相同的機制、散熱和插槽介面,也支援相同的核心數、快取結構以及I/O速度。新增部份包括微調14nm製程,以提高一點性能和降低一些功耗。此外,該晶片還支援新的AI指令和硬體,以避免暴露於Meltdown/Spectre的旁路通道攻擊。

但其重點在於,Cascade Lakes是第一款帶有記憶體控制器的Xeon,可支援Intel Optane (即3D XPoint記憶體),可為每插槽提供高達3TB主記憶體以及帶來超越DRAM的讀/寫速度。

介紹該新產品的英特爾工程師並未評論Optane的耐用性。然而,他表示,這些主板使用的Jedec DDR4電氣匯流排採用英特爾的專有協議,這已能讓競爭對手近期內都望塵莫及。

Brookwood說:「我認為這並不至於構成法律挑戰。」

「如果我是IBM或AMD,當Optane DIMM普及於資料中心而我卻無法取得時,那麼我可能會要大發牢騷了!英特爾佔據了98%的伺服器市場,在我看來,這就是一種壟斷。」

2Optanex800 英特爾目前正主導儲存網路產業協會(SNIA),為Optane等替代主流記憶體打造軟體平台

NEC加速器低價挑戰Nvidia V100

NEC描述一款新的向量引擎,可搭載PCIe Gen 3板卡,而功耗還不到200W。該晶片專為搭配SX-Aurora超級電腦與Linux伺服器中的x86主機而設計,據稱其價格要比Nvidia V100更低得多。

NEC聲稱其向量晶片可提供高達307GFlops的雙精度性能。在大多數基準測試下,其性能可介於Xeon和V100二者之間。該公司還指出,NEC晶片的記憶體頻寬略高,而且在一些工作負載上的性能功耗比幾乎相當於Nvidia GPU。

相較於Nvidia V100晶片尺寸約840 mm2,NEC的1.6GHz、16nm向量晶片尺寸相對較小——480-mm2。此外,NEC的晶片支援多達6個Hi8或Hi4 HBM2記憶體堆疊,可提供高達48GB的總記憶體容量。

3NECvectorengine

為IoT打造超低功耗AI加速器

美國哈佛大學(Harvard University)和Arm的研究人員聯手發表一種用於物聯網中執行深度學習任務的超低功耗加速器。這款所謂的SMIV晶片採用台積電(TSMC) 16-nm FFC製程打造,晶片尺寸約為25 mm2。

SMIV可說是使用Arm Cortex-A核心的首款學術界開發晶片。它在always-on的加速器叢集中使用近閾值操作,並透過嵌入式FPGA模組提供大約80個硬體MAC和44Kbits RAM。

因此,該晶片能以低功率提供更高精確度。同時,相較於競爭方案,它的功率和面積效率都提高了近10倍。

4HarvardSMIVx800

MIT打造更低功耗導航晶片

美國麻省理工學院(MIT)的研究人員則為機器人和無人機打造了一款客製設計的導航晶片,據稱該晶片的功耗較Arm CPU核心更低。這款Navion導航晶片採用65nm CMOS製造,在20-mm2晶片面積上打造視覺慣性測距引擎。

研究人員稱,該晶片的性能是標準CPU的2倍至3倍,並可縮減多達5.4倍的記憶體佔用空間。它在最大配置下的功耗為24mW,而在最佳化配置時的功耗僅2mW,而仍能實現即時導航。

在Hot Chips大會的多場會議中只針對已發佈的元件(有的甚至都已經出貨)提供較多細節。接下來我們將先介紹用於客戶端系統的AI加速器和CPU,並將關注焦點轉向伺服器處理器和加速器。

5NavionMITx800

Arm展示新款機器學習核心實力

Arm深入探討其預計將在年底出現在晶片中的機器學習核心。新款機器學習核心可在1GHz提供約4TOPS運算性能,以及在以7nm製造的2.5-mm2核心上提供超過3TOPS/W性能。其乘法累加單元支援8個16位元寬點乘積。

6ARMMLperfx800 Arm介紹其機器學習核心上的8 x 8區塊壓縮

三星提升智慧型手機性能

三星舉例說明聰明的工程師如何在製程技術進展趨緩時顯著提升性能。因此,從一系列基準測試來看,目前在其智慧型手機中使用的2.7GHz M3應用處理器,輕輕鬆鬆地就能超越前一代M2至少50%以上。

這項進展來自於在其分支預測器中使用神經網路,以及利用德州農工大學(Texas A&M )教授Daniel A. Jiménez的學術研究成果。不過,M3應用處理器的晶片尺寸是M2的2倍以上,但採用了10 LPP製程——這是三星10 LPE製程的微幅升級。

7SamsungM3perfx800

Mythic展示記憶體處理器最新進展

Mythic描述其記憶體處理器(PIM)設計細節,它可用於處理具有0.5 picojoules/MAC的深度學習影像。該晶片設計針對監控和工廠相機,功耗約為5W,包括所有數位控制邏輯。

PIM概念已出現多年了,但一直到最近才被應用於AI。Mythic打造基於NOR單元的可變電阻器陣列,但並不在記憶體單元寫入和讀取深度學習權重。相反地,它將電壓施加到陣列線,以求和並讀取電流級,進一步達到省電的效果。

初始晶片可處理有限數量的權重,但基於磚式(tile)的設計可為全標線晶片擴展多達5倍權重。此外,還可以添加Arm核心以創建可編程元件,而且多個晶片間可以協同工作以執行更大的應用程式(app)或更快地執行。但缺點之一在於無法利用神經網路的稀疏特性。

Mythic聲稱,這款40nm晶片的功耗只有GPU的一小部份。該公司預計明年年中提供樣片,並預計於2019年底量產。

8Mythictable Mythic的PIM目的在於以MCU功率提供GPU性能,而不至於影響稀疏神經網路

Google側寫Pixel Visual Core

Google介紹在其最新智慧型手機中的Pixel Visual Core。這款基於A53的可編程引擎,專為手機攝影機執行目前仍在發展中的最新版HDR +演算法。一位Google工程師打趣地說:「它能讓你的社交媒體圖片看來不會太糟糕。」

有趣的是,三星記憶體部門的一位工程師問道,未來世代是否會放棄典型的影像處理管線,轉而採用新興的深度學習技術?Google工程師回覆說:「但我們還沒在這個領域發佈太多AI演算法啊!」”

9GooglePixel Google聲稱其28nm Pixel核心執行HDR+作業的速度比10nm行動應用處理器的CPU快至少2.8倍

IBM強化Power 9伺服器系統

針對伺服器領域,IBM與英特爾似乎都在14nm節點停擺一段時間了。IBM這次在Hot Chips介紹其最新的計劃,為基於其Power 9處理器的系統強化I/O和記憶體頻寬,不過,至少要到2020年或之後才會針對新製程提供新設計了。

11IBMPowerroadmap IBM的目標是在其Power 9伺服器上發掘更多記憶體頻寬,同時為基於7-nm處理器的設計做好準備

富士通將Arm核心帶入超級電腦

富士通(Fujitsu)描述了7-nm A64FX,其設計目標在於成為超級電腦中的首批Arm核心之一。該512位元SIMD晶片為Arm架構帶來向量擴展,以執行傳統的超級運算和新的AI任務。52核心的晶片使用32GB HBM2記憶體,可提供2.7TFlops性能和1,024GB/s的記憶體頻寬。

10FujitsuArm64FXx800 富士通的首款post-Sparc設計A64FX,瞄準用於將在2021年發表的日本新一代Post-K超級電腦

Nvidia展示其GPU伺服器實力

Nvidia透過其DGX-2及其內部NVLink互連,從晶片進一步擴展到系統。該公司展示了幾項基準測試,包括以DGX-2展現超越標準雙GPU系統的性能。

12NvidiaDGX2benchmarkx800

英特爾、AMD以及…中東和平?

英特爾介紹如何使用其嵌入式多晶片互連橋接(EMIB)技術,將其Kaby Lake桌上型x86 CPU與AMD Radeon RX Vega M GPU連接在一個模組(下圖)中,以用於輕薄型筆記型電腦。

分析師Brookwood還與英特爾主講人開玩笑說,「不管是誰來談成這項協議的,接下來應該可以派他去進行中東和平的任務。」

13IntelAMDcombo

編譯:Susan Hong

(參考原文:13 Hot Chips from Summer 2018,by Rick Merritt)