攝影鏡頭的CIS將走向何方?

作者 : 黃燁鋒,EE Times China

如果畫素尺寸微縮有摩爾定律的功勞,那麼顯然在單畫素尺寸0.7μm/0.8μm這個節點上,時代還是有所停留,所以手機攝影鏡頭也未很快朝著2億、3億畫素奔去…

大眾對於CMOS影像感測器(CIS)技術進化認知,應該主要就是解析度——或者說畫素數量的提升。誰家手機攝影鏡頭有1億、2億畫素,感覺就比4,400萬畫素鏡頭照亮我的美聽起來霸氣。

1億畫素攝影鏡頭普及的基礎主要是把畫素做小。如果畫素尺寸微縮有摩爾定律的功勞,那麼顯然在單畫素尺寸0.7μm/0.8μm這個節點上,時代還是有所停留,所以手機攝影鏡頭也沒有很快朝著2億、3億畫素奔去——當然CIS這類元件可不是畫素越小越好。不過,若玩笑地說當「摩爾定律停滯」,CIS的技術進步又靠什麼?應該是3D堆疊,就跟半導體產業的more than Moore那樣(當然這只是個比喻)……

似乎從Sony對大眾科普背照式(BSI) CIS (尤其在iPhone 4首次採用BSI CIS後),以及三星(Samsung)這些年大肆宣傳CIS的單畫素尺寸以來,CIS這類元件的技術發展就得到了更多人的關注。除了要用手機拍出好照片,保全、汽車、工業領域對機器視覺技術的需求,也成為CIS技術發展的推力。

 

 

上圖是Sony在IEICE ESS Fundamentals Review發佈的一篇研究報告「Evolving Image Sensor Architecture through Stacking Devices」中出現的。這是Sony眼中,CIS堆疊結構的變化和展望,可感覺到疊層越來越多。

這篇報告從大方向總結了這些年CIS的結構發展。雖然大部分內容都是老調重彈,而且主要是從Sony的角度來看堆疊式CIS結構進化,但它仍具有總結技術發展的價值。

本文部分參考Sony發佈的這份報告,可能有些略偏手機應用。另外,本文探討的主要是CIS堆疊結構的進化,不涉及畫素微縮、DTI、PDAF等畫素結構變化;且本文不涉及攝影鏡頭的其他光學系統設計,如最近比較火的手機屏下攝影鏡頭(Camera Under Panel)。

BSI和堆疊式CIS技術背景

對CIS有瞭解的讀者對於BSI和「堆疊式」(Stacked,亦有譯作堆疊式、層積式)這兩個詞應該都不陌生。iPhone 4、iPhone 5~的攝影鏡頭較早應用背照式CIS和堆疊式CIS,也把這倆技術推向高潮。

對於BSI和堆疊式技術,這裡做個簡單的科普。CIS上的畫素就如一口口井,在製程還沒那麼成熟的時候,前照式(FSI) CIS是主流。一般CIS上每個畫素從外界獲得光,光則會被光電二極體轉為輸出訊號。

 

(來源:Omnivision)

 

早年的FSI結構,入射光在抵達光電二極體之前,還需要穿過金屬線路。入射光照在這些連線上還可能發生反射,造成效率損失。BSI也就是從金屬連線的背面,獲得入射光——或者說把金屬連線移到畫素後面,如上圖所示。

先前曾探討過BSI結構的價值,它實際不僅提升了畫素的感光效率,而且有利於畫素做小——BSI可認為是當今手機攝影鏡頭可做到1億畫素的基礎。

 

 

BSI之後,隨之而來的就是堆疊式技術。堆疊式CIS是把原本與畫素處於同一平面的邏輯電路移到下方的基板(substrate)上,這樣也就實現了影像感測器進一步的小型化(或者更準確的說,是畫素的進一步小型化)。

從這個時候開始,CIS就至少分成了畫素層和邏輯晶片層。這兩層堆疊結構要互連,常規方案自然就是用矽通孔(TSV)。不過Sony比較早開始應用Cu-Cu銅-銅混合接合(hybrid bonding)互連。Cu-Cu互連實現了多點連接,而且兩層晶片是更直接的連接。Sony在報告中提到,Cu-Cu互連「讓3μm的接合間距成為可能」。其實3μm就當代單畫素尺寸而言,也不算是特別小的值,但相比TSV已經是極大進步了。

疊3層以實現高速拍攝

事實上,在畫素層和邏輯層分開以後,當代CIS的這兩層也經常採用不同的製程,甚至不同的晶圓廠來製造。比如iPhone 6的堆疊式CIS,邏輯晶片層是台積電(TSMC)製造,而畫素層就來自Sony。影像感測器的3D堆疊,事實上實現了元件小型化、製造彈性化,以及功能的持續豐富化——比如融入邊緣運算。

3D堆疊結構帶來比較早期的一個好處是,實現高速拍攝——比如現在某些手機攝影鏡頭支援960fps 1,080p影格率的攝影功能,意即每秒要拍攝960張畫面,這和CIS的3D堆疊結構是分不開的。

這類高速CIS的一個特點是平行ADC,列平行ADC (column-parallel ADC)應該是較早就進行市場宣傳。在CIS上以列平行的方式,將每個畫素的類比訊號輸出轉為數位訊號——這個過程自然是越快越好。

堆疊式結構在此可以發揮作用。一般ADC電路必須以低雜訊、高速運作,要求低阻接觸。畫素陣列通常需要3~4層金屬互連;但如果要做高度整合的ADC,則就要用到大約10層的金屬互連。畫素與邏輯電路兩者用的製程,因此就需要做各種權衡。

 

 

如果採用堆疊式結構:如上面圖所示,下層包含了雙列ADC (Double Column ADC),上層是畫素層。這一例中,畫素層用90nm感測器製造,常規的4層互連;下層則用65nm邏輯製程,7層互連。相比於早前一體的結構,上下層就不需要考慮那麼多製程最佳化等問題。

值得一提的是,這一例用到的是WoW (Wafer-on-Wafer)堆疊製程,就是從晶圓層面將兩者疊起來。另外還有一種CoC (Chip-on-Chip,或者而應該也稱為Die-on-Die)的製程,這兩者的應用場景有差別。WoW堆疊製程要求上下兩層晶片尺寸一致;CoC則在堆疊選擇上相對靈活——當前CoC在生產效率方面應該不及WoW。不過Sony認為隨著CIS複雜性提升,CoC的高自由度可能使其重要性逐漸增加。

 

 

上圖展示的是CoC堆疊,邏輯晶片層和畫素層以40μm間距的micro-bump連接。值得一提的是,這張圖的例子是35mm全畫幅影像感測器,似乎堆疊結構已經是大底相機實現高速拍攝特性的基本保證。

雙列ADC的價值在於可同時讀出兩行畫素,進行類比數位轉換。與此同時,用這樣的CIS來拍攝一般的60fps視訊,則一個畫素訊號提供2個ADC,還能實現降噪(報告中有大致提到降噪實現方法)。這種平行ADC方案因此就實現了高速拍攝或降噪——這部分又是也是由堆疊技術帶來。

 

 

而在列平行ADC之外,實現更高速的拍攝之路上,產業的既有方案是繼續做堆疊。所以就有了現在也不算少見的3層堆疊CIS:其中一層是DRAM儲存層,典型如上圖。DRAM層疊在中間,上層和下層分別是畫素層和邏輯電路層——這是Sony的方案。

此例的3層都透過TSV連接。畫素輸出訊號有兩級TSV連接到邏輯電路層。邏輯電路層把轉換後的數位影像資料,傳到DRAM晶片層儲存。DRAM層作為一個臨時儲存區,能夠加速畫素讀出掃描,進一步實現高速拍攝。Sony展示的這個例子,實現從DRAM到影像處理器200MHz 512bit匯流排連接、102Gbps頻寬;這是960fps 1,080p高速拍攝的基礎。這個資料量放在以前,應該是不可想像。

 

(來源:TechInsights)

 

其實比較早做DRAM堆疊的應該是三星,不過三星在方案上並不是將DRAM置於中間夾層,而是以倒裝的方式將DRAM層放在畫素層和邏輯電路層後方,然後用一個高厚徑比的TSV貫穿連接——這種方案相對暴力一些,Galaxy S10的攝影鏡頭就已使用這種方案。

畫素平行帶來的結構進化

疊層間的互連要從TSV轉往Cu-Cu互連——這可能也是Sony要宣傳自己在這方面的技術上領先三星的重要課題。而Cu-Cu互連要發展的就是將互連間距逐漸縮小,最終目標是小到畫素等級的尺寸。

ADC平行還限制在「列」這個單位上。如果Cu-Cu互連間距小到畫素等及,實現全畫素的平行,畫素平行電路結構,直接連接到邏輯晶片上就成為目標。Sony先前宣佈的所謂第五代BSI CIS就是畫素等級互連,實現全畫素平行ADC。

不過最早可追溯畫素級平行ADC技術的,應該是Olympus在2013年就發佈的。Sony和Omnivision是於2018年發佈同類技術,Sony著眼的是用這項技術來繼續提升高速攝影的速度,而Omnivision傾向於用該技術提升HDR表現。

 

 

上圖是2018年的一篇研究報告中出現的146萬畫素影像感測器,單畫素尺寸6.9μm。從結構不難發現,每個畫素都透過Cu-Cu互連連接到光電二極體下方的邏輯晶片。所有的畫素同時實現類比數位轉換。這一例中,ADC與畫素一一對應,下層邏輯晶片的其他週邊電路部分放在外面——下層邏輯晶片就比上層畫素層要大。

這種全畫素同時ADC平行,也就從根本上實現了「全域快門」(global shutter)。畫素級平行ADC的價值還包括:對於列平行ADC而言,每次類比數位轉換需要在10μs以內完成,而畫素級平行ADC即便用數百μs,也能確保高影格率。所以後者運作所需電流相較低很多,能夠緩解其峰值電流需求大的問題,Sony認為其總體能夠實現影像感測器的功耗下降。

事實上,這種畫素級互連方案有商用的例子,只不過比較偏門,亦即基於事件(event-based)的視覺感測器。這個領域內比較活躍的Prophesee這兩年和Sony合作推出產品,主要應用了Sony的BSI + 3D堆疊方案,實現了基於事件的感測器的畫素小型化。這類感測器和傳統CIS的原理差別還是比較大。

 

(來源:Prophesee)

 

基於事件的CIS是比較典型的畫素平行數位轉換結構,Sony的Cu-Cu互連技術對於Prophesee而言是比較大的突破。尤其是這類感測器有著相對複雜的畫素電路結構,採用Cu-Cu互連來做堆疊,對於基於事件的CIS獲得相對較高的解析度還是有相當的價值。Prophesee的這一代感測器單畫素尺寸為4.86μm——這種尺寸應該也是現在Cu-Cu互連得以應用的關鍵,畢竟它還是比現在市場上活躍的傳統CIS小至0.7μm大了不少。

再疊一層AI晶片

隨電腦視覺的發展,以及更多產業對於電腦視覺的需求,CIS固然變得很重要;另一方面在人工智慧(AI)也變得很重要。所以這兩年不少見到影像感測器廠商為其CIS產品融入AI運算力的新聞,Sony、中國思特威都是其中的先行者。

Yole Développement先前也曾預言,在電腦視覺發展的大背景下,影像感測器製造商的角色在發生變化。Sony去年5月推出過兩款「智慧視覺感測器」IMX500/501,就是把CIS和可做邊緣AI處理的卷積神經網路(CNN)加速器融合。不過這是針對工業,而非消費電子產品的方案。

這類方案的思路是,為CIS加入一定的AI邊緣運算力,在畫素層拍完畫面以後,立刻就能由AI處理器運算,降低資料處理延遲和功耗,因為以前這些資料都是傳往主處理器進行資料處理。

 

 

Sony在報告中提到,這種「智慧影像感測器」融入了ISP、CNN加速器、DRAM,疊層位於畫素層下方(應該不是在原有3層基礎上再疊一層,而是有個比較完整的邏輯晶片層)。整個CIS輸出的中繼資料(metadata)就可做為物件辨識的結果了,似乎AI inference的辨識精確度也蠻高,如下圖。

 

 

之前思特威就在進行類似的SmartSensor AI智慧感測器晶片平台研發,拉更多合作夥伴加入。2019年思特威就提過研發下一代AI視覺感測器平台晶片,準備將智慧化運算導入到感測器端。

半導體技術對CIS的推進

其實說摩爾定律推動CIS技術進步,這話也是一點都沒錯的,雖然這並非全部。除了像畫素尺寸微縮這類時代發展的變化,BSI、堆疊式、畫素級平行ADC、再往上堆這些技術的達成,無一沒有半導體產業技術發展的功勞。不過,CIS技術與應用需求的進步,都在推動堆疊式CIS技術「堆」出更佳的組合。

 

 

最後值得一提的是,Sony的報告其實還提到了用於測距的影像感測器,比如SPAD這類做光子計數的影像感測器(畢竟Sony也為蘋果打造LiDAR感測器)——Sony認為光子技術影像感測器是真正的數位轉換技術,不僅能夠無視讀出雜訊(readout noise),而且HDR閃瞎鈦合金眼。該報告也指出,「SPAD光子計數影像感測器有希望成為最終的數位成像架構,儘管目前還存在著畫素數量、高功耗的挑戰。」

參考資料

Yusuke OIKE, “Evolving Image Sensor Architecture through Stacking Devices”, IEICE Fundamentals Review

本文原刊登於EE Times China網站

 

 

 

加入我們官方帳號LINE@,最新消息一手掌握!

發表評論