幾組數字看摩爾定律停滯的嚴峻性
2021-10-04
作者
黃燁鋒
談摩爾定律停滯的報告非常多，其共同點是會花很大篇幅去談摩爾定律放緩的事實。在大規模資料平行運算方面，AI晶片效率和運算力上，要是換算成摩爾定律，CPU需要26年時間才能達成這種程度的提升…
「摩爾定律」可能是半導體產業內被提及頻率最高的詞之一了，也是這兩年的熱門話題。從不同市場參與者的角度，大家對於摩爾定律是否放緩或停滯各有說辭，比如尖端製程晶圓代工廠，普遍會說摩爾定律還能延續很久；AI晶片廠商傾向摩爾定律放緩是事實，需要架構革新；學界則說，材料革命必將來臨…
這兩年我們探討有關摩爾定律的話題也不少，包括運算力需求依然強勁，但半導體元件尺寸微縮速度卻實實在在放緩，該怎麼辦的各類文章。本文再從相對實際的角度來談談，摩爾定律放緩的各種外在表現。
從AI晶片成本看摩爾定律的放緩
系統地談摩爾定律停滯的報告非常多，這些報告有個非常大的共同點，即本身是探討AI晶片，前面卻會花很大篇幅去談摩爾定律放緩的事實。在大規模資料平行運算方面，AI晶片效率和運算力上，甚至能夠達到CPU這種通用晶片的1,000倍。要是換算成摩爾定律，則CPU需要26年時間才能達成這種程度的提升。
雖然這種說法相當的「流氓」，通用晶片和專用晶片無論如何都不該這麼比，但這表達的是產業的整體轉向。因為AI晶片搶佔了原屬於CPU的市場份額，無論AI晶片形態是GPU、FPGA還是ASIC，CPU在未來甚至有被各類專用晶片邊緣化的可能性。
本文不會著重去談AI晶片，但即便是AI晶片，其效率也和製造製程關係甚大。傳統認知中，ASIC類別的晶片由於市場更窄，所以考慮到成本攤薄的問題，ASIC晶片總是更傾向於採用更舊的製程，而不是尖端製程。但AI晶片如今市場非常大，有相當規模的ASIC AI加速晶片也都開始用7nm這樣的尖端製程，或次尖端製程；而相對通用的資料中心GPU採用尖端製程則是必然。
拋開AI技術本身的高速發展，包括各種模型、演算法和程式庫最佳化方案造成的性能和效率提升，AI晶片在製造製程層面也受制於元件尺寸微縮，或其他先進製造封裝技術。所以本文首先來談談，摩爾定律如何影響AI晶片。
AI晶片選擇何種製程還是頗有講究。AI晶片的總「成本」需要考慮到後續的營運成本，例如用舊製程，則大規模AI運算(如資料中心訓練)的電力開銷和效率會顯著更低，甚至這種營運成本會遠高於晶片製造成本，這些也需要考慮到AI晶片的成本中，這就涉及到成本效益運算了。
具體應該計量的「生產成本」包括了製造成本——晶圓廠、設備架構消耗、材料、人力、R&D投入、利潤；設計成本——無晶圓廠企業需要投入；此外還有ATP (封裝測試，assembly、test、package)成本。所以這裡定義生產成本包括晶圓代工廠製造成本、晶片設計成本，以及ATP成本。另外還需要考慮到晶片的營運成本，主要是能耗成本。
圖中的比較基於相同電晶體數量，以Nvidia P100 GPU伺服器等級晶片為參考；對於一些更老的製程，也需要考慮到光罩限制，所以老製程實現同等電晶體數量，會換算成多顆晶片構成一個系統；請注意這個對比可能並未考慮其他層面的AI最佳化技術和系統互連折損。
從CSET這份報告建構的模型來看，在不到2年的時間裡，尖端製程AI晶片(7nm/5nm)的營運成本，就會超過其生產成本；而舊製程AI晶片(90nm/65nm)的營運成本在此期間可能達到生產成本的3~4倍之多。上圖是將一顆晶片的營運時間拉長到3年(也就是晶片使用3年)，則在不同製程之下的AI晶片，所需支出的能耗成本逐年增加。
這張圖表達的一個重要資訊在於，同時運算生產和營運成本，尖端製程AI晶片的成本效益會比舊製程AI晶片，高出至多33倍。
這裡隨即得出更有趣的一些結論，也就是在營運時間達到多久以後，新舊製程之間誰才更划算的問題，上圖作了這方面的表達。比如說90nm製程和65nm製程相比，營運時間以3年為界限，低於3年的情況下90nm製造AI晶片更划算；如果晶片要用3年以上，則65nm更划算。
這其中可表現出摩爾定律放緩的一點在於，在7nm vs 5nm這一代，營運時間臨界值顯著增加。對於一顆5nm製程的AI晶片而言，營運該晶片8.8年所需的成本，加上生產成本，可達成與7nm晶片相同的生產+營運成本。也就是說，在營運不足8.8年的情況下，以7nm製程來製造晶片更划算；而達到8.8年以上，5nm製程更划算。
事實上，企業更新伺服器晶片的常規週期是3年或以上，和如今製程新節點演進週期差不多——理論上，每次有新製程出現，伺服器晶片就可以做一次同步更新。但在5nm這一代，企業對這代製程的採用，恐怕需要更久時間才能達到成本效益。
這是摩爾定律對AI晶片達成直觀影響的重要表現。當然還是需要強調，該模型建構是CSET做的——它可能沒有考慮到元件微縮之外的其他技術因素。不過筆者認為，大方向的確如此；或者這個結論至少可表達摩爾定律的顯著放緩。
摩爾定律放緩的一些實際數字
摩爾定律從上世紀60年代提出，假設到如今是滿速運轉沒停過、沒放緩的，那麼現在晶片上單位面積內應有的電晶體數量，應該比現在實際的量多出15倍。這個結論來自Communications of the ACM雜誌2019年2月的一篇文章「A New Golden Age for Computer Architecture」。
從可追溯的數字來看，1978~1986年CPU每年速度提升22%，主要是基於時脈頻率提升(frequency scaling)；1986~2003年，CPU速度每年提升52%，主要是得益於頻率提升，以及設計最佳化——尤其是平行運算；2003~2011年，每年速度提升23%，這一階段頻率提升是放緩的，但多核設計依然實現了更高的平行度。而2011~2015，CPU平行運算再次發力，也才促成了12%的每年速度提升。
從能效的角度來看，2000年之前CPU最高達成每1.57年整體效率的翻倍提升；但自從摩爾定律放緩，以及電晶體功耗紅利的持續下降，這個速度放慢到了2.6年，這些數字基本也算是共識。一個更直觀的狀況在於，Intel的32nm與22nm製程都是在前代製程的2年後更新的，與摩爾定律基本保持一致；但22nm與14nm，中間隔了3年；14nm和10nm演進之間，中間隔了4年。
而且在元件尺寸微縮的同時，功耗表現和性能的提升未能保持同步。2004年前後，65nm節點實現電晶體密度提升之際，功耗降低和速度提升相對更加遲緩。上面兩張圖展示的是從90nm到5nm發展期間，台積電、三星與Intel各代製程節點之間的電晶體開關速度(frequency scaling)和功耗變化(相比上一代的變化百分比)。
台積電可能頗具代表性，即從擬合的趨勢線來看，符合對摩爾定律放緩的認知，一路在速度提升、功耗降低方面變慢或趨於平坦；Intel的情況是性能提升亦在放緩，但與此同時確保更好的功耗表現(這些數字主要是基於台積電、三星和Intel在發佈會上公開的資訊)。
其實將這些資料與處理器這些年的性能提升與功耗降低作比較，就會發現電晶體層面的創新，對於處理器過去15年的效率和性能提升，還是扮演了最重要的角色。之前AMD在HotChips上也明確表示過，即過去10年間，造成處理器性能提升的主要因素中，佔比最大的就是製程技術的進步。它比編譯器、微架構、電源管理等方面的貢獻都要大得多。
不過有個通用處理器性能與效率提升放緩的事實值得一提：拋開一些增加專用固定電路的方案不談(如為CPU加入AI指令支援等)，為通用處理器增加更多的電晶體能夠帶來的性能提升變得越來越有限。這主要是因為能夠從平行運算獲得的速度提升，這些年受到邊際遞減效應的影響。
平行度本身是受限於串列運算的時間佔比(如執行緒間的運算結果有關聯性，則無法實現平行運算)。某個演算法中即便僅有1%的部分需要串列運算，那麼處理器能耗也將有45%的浪費(因為此時處理器運算單元的閒置率很高)。
而實際上大部分應用所需的串列運算佔比還不止這些，則浪費也就更大。處理器架構拓寬、核心數增加、電晶體增加，很大程度都是增加平行度。其中的邊際遞減效應是存在的，這也是通用處理器在摩爾定律持續之際的尷尬所在。
製程演進的技術難度與成本飆升
有關製造製程技術提升越來越難，無論是材料、製造還是各不同角度，這已是共識，也是因為技術挑戰的存在，導致尖端製程更新越來越難。Intel 10nm，以及Intel 7製程的難產都與此有莫大關聯，更不用提GlobalFoundries很早就退出了7nm製程技術的競爭。
當前的普遍認知在於，單純就尖端製程的建廠成本之高，及每次演進帶來成本的急劇攀升，可能已經超過了半導體產業本身的年複合增長率。在這樣的大背景之下，唯有透過減緩製程演進的節奏，以及提升晶圓代工廠銷售服務的價格，並且還要侵吞更多屬於競爭對手的市場，才有生機可言。「AI Chips: What They Are and Why They Matter」這篇文章提供的數字是，如今半導體生產設備年增長率11%，平均每顆晶片設計成本增長24%，比半導體市場7%的增長率還要高。
這個數字比MIT給的還要悲觀。無論誰家數字更準確，尖端製程投入成本的增加是不爭的事實。在半導體製造設備中最為昂貴和複雜的組成部分，尖端製程微影機工具，1979年每台45萬美元；2019年是1.23億美元。
所以其實這麼多年來，參與尖端製程研發生產的晶片製造商，和微影機企業數量都在逐年下降(90nm以後，除了ASML之外，Nikon成為唯二的參與者；到5nm也就只剩ASML)。
上圖是不同製程節點，帶來晶片設計成本的提升，分別來自IBS (International Business Strategies)和Gartner，資料量級和趨勢都是一致的。設計成本提升，除了複雜度提升和時間成本增加，半導體產業用人成本也在顯著增加。據說2015年和1971年相比，人力研究投入增加18倍，每年提升7%。
以每一個電晶體的設計與製造成本為指標，來衡量製程節點演進是否保持經濟效益，聽起來是比較可靠。2018年有篇題為「Measuring Moore’s Law: Evidence from Price, Cost, and Quality Indexes」的文章內容做過這方面的考量，即歷史上曾有一段時間，這個指標每年下降20~30%——也就是製程演進帶來了更高的經濟效益。但部分分析師認為，自28nm以後，該趨勢便不復存在。
最後提出一些摩爾定律停滯和放緩的「解決方案」文章。比如電晶體結構革命，例如如今談得很多的more than Moore先進封裝技術；還有EDA廠商在提從系統層面來實現性能與能效整體提升，以及AI晶片及更多專用架構晶片的問世，大幅提升不同應用場景處理效率的方案；還有對馮諾依曼架構(von Neumann architecture)革命的記憶體內運算等新技術……都可能成為半導體產業續命的存在。
本文同步刊登於EE Times China網站
