攝影鏡頭的CIS將走向何方？
2021-08-18
作者
黃燁鋒
如果畫素尺寸微縮有摩爾定律的功勞，那麼顯然在單畫素尺寸0.7μm/0.8μm這個節點上，時代還是有所停留，所以手機攝影鏡頭也未很快朝著2億、3億畫素奔去…
大眾對於CMOS影像感測器(CIS)技術進化認知，應該主要就是解析度——或者說畫素數量的提升。誰家手機攝影鏡頭有1億、2億畫素，感覺就比4,400萬畫素鏡頭照亮我的美聽起來霸氣。
1億畫素攝影鏡頭普及的基礎主要是把畫素做小。如果畫素尺寸微縮有摩爾定律的功勞，那麼顯然在單畫素尺寸0.7μm/0.8μm這個節點上，時代還是有所停留，所以手機攝影鏡頭也沒有很快朝著2億、3億畫素奔去——當然CIS這類元件可不是畫素越小越好。不過，若玩笑地說當「摩爾定律停滯」，CIS的技術進步又靠什麼？應該是3D堆疊，就跟半導體產業的more than Moore那樣(當然這只是個比喻)……
似乎從Sony對大眾科普背照式(BSI) CIS (尤其在iPhone 4首次採用BSI CIS後)，以及三星(Samsung)這些年大肆宣傳CIS的單畫素尺寸以來，CIS這類元件的技術發展就得到了更多人的關注。除了要用手機拍出好照片，保全、汽車、工業領域對機器視覺技術的需求，也成為CIS技術發展的推力。
上圖是Sony在IEICE ESS Fundamentals Review發佈的一篇研究報告「Evolving Image Sensor Architecture through Stacking Devices」中出現的。這是Sony眼中，CIS堆疊結構的變化和展望，可感覺到疊層越來越多。
這篇報告從大方向總結了這些年CIS的結構發展。雖然大部分內容都是老調重彈，而且主要是從Sony的角度來看堆疊式CIS結構進化，但它仍具有總結技術發展的價值。
本文部分參考Sony發佈的這份報告，可能有些略偏手機應用。另外，本文探討的主要是CIS堆疊結構的進化，不涉及畫素微縮、DTI、PDAF等畫素結構變化；且本文不涉及攝影鏡頭的其他光學系統設計，如最近比較火的手機屏下攝影鏡頭(Camera Under Panel)。
BSI和堆疊式CIS技術背景
對CIS有瞭解的讀者對於BSI和「堆疊式」(Stacked，亦有譯作堆疊式、層積式)這兩個詞應該都不陌生。iPhone 4、iPhone 5~的攝影鏡頭較早應用背照式CIS和堆疊式CIS，也把這倆技術推向高潮。
對於BSI和堆疊式技術，這裡做個簡單的科普。CIS上的畫素就如一口口井，在製程還沒那麼成熟的時候，前照式(FSI) CIS是主流。一般CIS上每個畫素從外界獲得光，光則會被光電二極體轉為輸出訊號。
(來源：Omnivision)
早年的FSI結構，入射光在抵達光電二極體之前，還需要穿過金屬線路。入射光照在這些連線上還可能發生反射，造成效率損失。BSI也就是從金屬連線的背面，獲得入射光——或者說把金屬連線移到畫素後面，如上圖所示。
先前曾探討過BSI結構的價值，它實際不僅提升了畫素的感光效率，而且有利於畫素做小——BSI可認為是當今手機攝影鏡頭可做到1億畫素的基礎。
BSI之後，隨之而來的就是堆疊式技術。堆疊式CIS是把原本與畫素處於同一平面的邏輯電路移到下方的基板(substrate)上，這樣也就實現了影像感測器進一步的小型化(或者更準確的說，是畫素的進一步小型化)。
從這個時候開始，CIS就至少分成了畫素層和邏輯晶片層。這兩層堆疊結構要互連，常規方案自然就是用矽通孔(TSV)。不過Sony比較早開始應用Cu-Cu銅-銅混合接合(hybrid bonding)互連。Cu-Cu互連實現了多點連接，而且兩層晶片是更直接的連接。Sony在報告中提到，Cu-Cu互連「讓3μm的接合間距成為可能」。其實3μm就當代單畫素尺寸而言，也不算是特別小的值，但相比TSV已經是極大進步了。
疊3層以實現高速拍攝
事實上，在畫素層和邏輯層分開以後，當代CIS的這兩層也經常採用不同的製程，甚至不同的晶圓廠來製造。比如iPhone 6的堆疊式CIS，邏輯晶片層是台積電(TSMC)製造，而畫素層就來自Sony。影像感測器的3D堆疊，事實上實現了元件小型化、製造彈性化，以及功能的持續豐富化——比如融入邊緣運算。
3D堆疊結構帶來比較早期的一個好處是，實現高速拍攝——比如現在某些手機攝影鏡頭支援960fps 1,080p影格率的攝影功能，意即每秒要拍攝960張畫面，這和CIS的3D堆疊結構是分不開的。
這類高速CIS的一個特點是平行ADC，列平行ADC (column-parallel ADC)應該是較早就進行市場宣傳。在CIS上以列平行的方式，將每個畫素的類比訊號輸出轉為數位訊號——這個過程自然是越快越好。
堆疊式結構在此可以發揮作用。一般ADC電路必須以低雜訊、高速運作，要求低阻接觸。畫素陣列通常需要3~4層金屬互連；但如果要做高度整合的ADC，則就要用到大約10層的金屬互連。畫素與邏輯電路兩者用的製程，因此就需要做各種權衡。
如果採用堆疊式結構：如上面圖所示，下層包含了雙列ADC (Double Column ADC)，上層是畫素層。這一例中，畫素層用90nm感測器製造，常規的4層互連；下層則用65nm邏輯製程，7層互連。相比於早前一體的結構，上下層就不需要考慮那麼多製程最佳化等問題。
值得一提的是，這一例用到的是WoW (Wafer-on-Wafer)堆疊製程，就是從晶圓層面將兩者疊起來。另外還有一種CoC (Chip-on-Chip，或者而應該也稱為Die-on-Die)的製程，這兩者的應用場景有差別。WoW堆疊製程要求上下兩層晶片尺寸一致；CoC則在堆疊選擇上相對靈活——當前CoC在生產效率方面應該不及WoW。不過Sony認為隨著CIS複雜性提升，CoC的高自由度可能使其重要性逐漸增加。
上圖展示的是CoC堆疊，邏輯晶片層和畫素層以40μm間距的micro-bump連接。值得一提的是，這張圖的例子是35mm全畫幅影像感測器，似乎堆疊結構已經是大底相機實現高速拍攝特性的基本保證。
雙列ADC的價值在於可同時讀出兩行畫素，進行類比數位轉換。與此同時，用這樣的CIS來拍攝一般的60fps視訊，則一個畫素訊號提供2個ADC，還能實現降噪(報告中有大致提到降噪實現方法)。這種平行ADC方案因此就實現了高速拍攝或降噪——這部分又是也是由堆疊技術帶來。
而在列平行ADC之外，實現更高速的拍攝之路上，產業的既有方案是繼續做堆疊。所以就有了現在也不算少見的3層堆疊CIS：其中一層是DRAM儲存層，典型如上圖。DRAM層疊在中間，上層和下層分別是畫素層和邏輯電路層——這是Sony的方案。
此例的3層都透過TSV連接。畫素輸出訊號有兩級TSV連接到邏輯電路層。邏輯電路層把轉換後的數位影像資料，傳到DRAM晶片層儲存。DRAM層作為一個臨時儲存區，能夠加速畫素讀出掃描，進一步實現高速拍攝。Sony展示的這個例子，實現從DRAM到影像處理器200MHz 512bit匯流排連接、102Gbps頻寬；這是960fps 1,080p高速拍攝的基礎。這個資料量放在以前，應該是不可想像。
(來源：TechInsights)
其實比較早做DRAM堆疊的應該是三星，不過三星在方案上並不是將DRAM置於中間夾層，而是以倒裝的方式將DRAM層放在畫素層和邏輯電路層後方，然後用一個高厚徑比的TSV貫穿連接——這種方案相對暴力一些，Galaxy S10的攝影鏡頭就已使用這種方案。
畫素平行帶來的結構進化
疊層間的互連要從TSV轉往Cu-Cu互連——這可能也是Sony要宣傳自己在這方面的技術上領先三星的重要課題。而Cu-Cu互連要發展的就是將互連間距逐漸縮小，最終目標是小到畫素等級的尺寸。
ADC平行還限制在「列」這個單位上。如果Cu-Cu互連間距小到畫素等及，實現全畫素的平行，畫素平行電路結構，直接連接到邏輯晶片上就成為目標。Sony先前宣佈的所謂第五代BSI CIS就是畫素等級互連，實現全畫素平行ADC。
不過最早可追溯畫素級平行ADC技術的，應該是Olympus在2013年就發佈的。Sony和Omnivision是於2018年發佈同類技術，Sony著眼的是用這項技術來繼續提升高速攝影的速度，而Omnivision傾向於用該技術提升HDR表現。
上圖是2018年的一篇研究報告中出現的146萬畫素影像感測器，單畫素尺寸6.9μm。從結構不難發現，每個畫素都透過Cu-Cu互連連接到光電二極體下方的邏輯晶片。所有的畫素同時實現類比數位轉換。這一例中，ADC與畫素一一對應，下層邏輯晶片的其他週邊電路部分放在外面——下層邏輯晶片就比上層畫素層要大。
這種全畫素同時ADC平行，也就從根本上實現了「全域快門」(global shutter)。畫素級平行ADC的價值還包括：對於列平行ADC而言，每次類比數位轉換需要在10μs以內完成，而畫素級平行ADC即便用數百μs，也能確保高影格率。所以後者運作所需電流相較低很多，能夠緩解其峰值電流需求大的問題，Sony認為其總體能夠實現影像感測器的功耗下降。
事實上，這種畫素級互連方案有商用的例子，只不過比較偏門，亦即基於事件(event-based)的視覺感測器。這個領域內比較活躍的Prophesee這兩年和Sony合作推出產品，主要應用了Sony的BSI + 3D堆疊方案，實現了基於事件的感測器的畫素小型化。這類感測器和傳統CIS的原理差別還是比較大。
(來源：Prophesee)
基於事件的CIS是比較典型的畫素平行數位轉換結構，Sony的Cu-Cu互連技術對於Prophesee而言是比較大的突破。尤其是這類感測器有著相對複雜的畫素電路結構，採用Cu-Cu互連來做堆疊，對於基於事件的CIS獲得相對較高的解析度還是有相當的價值。Prophesee的這一代感測器單畫素尺寸為4.86μm——這種尺寸應該也是現在Cu-Cu互連得以應用的關鍵，畢竟它還是比現在市場上活躍的傳統CIS小至0.7μm大了不少。
再疊一層AI晶片
隨電腦視覺的發展，以及更多產業對於電腦視覺的需求，CIS固然變得很重要；另一方面在人工智慧(AI)也變得很重要。所以這兩年不少見到影像感測器廠商為其CIS產品融入AI運算力的新聞，Sony、中國思特威都是其中的先行者。
Yole Développement先前也曾預言，在電腦視覺發展的大背景下，影像感測器製造商的角色在發生變化。Sony去年5月推出過兩款「智慧視覺感測器」IMX500/501，就是把CIS和可做邊緣AI處理的卷積神經網路(CNN)加速器融合。不過這是針對工業，而非消費電子產品的方案。
這類方案的思路是，為CIS加入一定的AI邊緣運算力，在畫素層拍完畫面以後，立刻就能由AI處理器運算，降低資料處理延遲和功耗，因為以前這些資料都是傳往主處理器進行資料處理。
Sony在報告中提到，這種「智慧影像感測器」融入了ISP、CNN加速器、DRAM，疊層位於畫素層下方(應該不是在原有3層基礎上再疊一層，而是有個比較完整的邏輯晶片層)。整個CIS輸出的中繼資料(metadata)就可做為物件辨識的結果了，似乎AI inference的辨識精確度也蠻高，如下圖。
之前思特威就在進行類似的SmartSensor AI智慧感測器晶片平台研發，拉更多合作夥伴加入。2019年思特威就提過研發下一代AI視覺感測器平台晶片，準備將智慧化運算導入到感測器端。
半導體技術對CIS的推進
其實說摩爾定律推動CIS技術進步，這話也是一點都沒錯的，雖然這並非全部。除了像畫素尺寸微縮這類時代發展的變化，BSI、堆疊式、畫素級平行ADC、再往上堆這些技術的達成，無一沒有半導體產業技術發展的功勞。不過，CIS技術與應用需求的進步，都在推動堆疊式CIS技術「堆」出更佳的組合。
最後值得一提的是，Sony的報告其實還提到了用於測距的影像感測器，比如SPAD這類做光子計數的影像感測器(畢竟Sony也為蘋果打造LiDAR感測器)——Sony認為光子技術影像感測器是真正的數位轉換技術，不僅能夠無視讀出雜訊(readout noise)，而且HDR閃瞎鈦合金眼。該報告也指出，「SPAD光子計數影像感測器有希望成為最終的數位成像架構，儘管目前還存在著畫素數量、高功耗的挑戰。」
參考資料
Yusuke OIKE, “Evolving Image Sensor Architecture through Stacking Devices”, IEICE Fundamentals Review
本文原刊登於EE Times China網站
