手機為什麼還要用「獨立」ISP?

作者 : 黃燁鋒,EE Times China

之所以這兩年「獨立」ISP受人關注,在於拍照效果在智慧型手機已成一大技術競爭焦點。實際上,影像感測器、鏡頭、ISP,甚至濾鏡、聯名合作,都已經成為手機廠商比拚的部分…

早年的數位愛好者,對於「獨立」一詞是有迷思的,例如「獨立顯卡」、「獨立音效卡」。所謂「獨立」就是指某顆晶片以單獨的方式出現在主機板上,不和其他晶片整合,尤其是不和中央處理器(CPU)放在一起。「獨立」在某些平台上,有時意味著性能更好,更受重視。

諾基亞(Nokia)還在統治手機市場之時,一度有傳言其手機拍照功能好的原因,不僅在於影像感測器、和卡爾蔡司合作的鏡頭設計,還在於後端用了獨立的影像處理器(ISP)。當然這則傳言的可信度大概並不高,因為即便是諾基亞N90時期,德州儀器OMAP系列晶片風靡,著重於宣傳ISP,實則ISP模組也是封裝在晶片內部。

事實上,手機作為追求便攜性、輕薄性、低功耗的行動裝置,邁向高整合度才是其「正確」的發展方向。「獨立」元件在手機上也很難成為好的宣傳點,因此,如今的ISP主要都以整合在手機應用處理器(AP) SoC晶片內部的方式存在於手機中。

獨立ISP成旗艦智慧型手機新賣點

之所以這兩年ISP諸多受人關注,在於拍照效果在智慧型手機已成一大技術競爭焦點。實際上,影像感測器、鏡頭、ISP,甚至濾鏡、聯名合作,都已經成為手機廠商比拚的部分。高通(Qualcomm) Snapdragon、聯發科(MTK)天璣晶片近幾代產品的ISP性能與功能的躍進,更是晶片廠商的宣傳重點;Arm也在不遺餘力地推自家的ISP IP。

有趣的是,這兩年好幾個主流手機品牌都開始採用自行研發的獨立ISP,而且都應用在強調拍照的旗艦機種中——除了蘋果(Apple),三星(Samsung)、Google等國際大廠早已使用自家研發的ISP外,中國手機品牌廠華為、小米、vivo也已將自行研發的ISP導入自家手機產品中。而手機廠這樣的作法,不外乎是想更加提升手機影像系統的能力,提供給消費者更好的手機影像呈現與拍照體驗。現階段,手機ISP多整合在處理器SoC之中,手機業者對ISP的可控度相對較低,加上ISP進入門檻低,因此掀起手機品牌廠開始投入ISP研發的新風潮。

首個「反潮流」的業者可能是Google

之所以說離散、獨立ISP是「反潮流」的作法,可藉用GPU比喻:在智慧型手機上,連GPU這樣的大元件都尚且沒有獨立出來,更不用說ISP這類規模小很多的處理器有何必要從AP SoC上剝離,成為單獨的一顆晶片。這不僅是手機產品寸土寸金的內部面積決定的,成本及不同晶片間帶來的通訊開銷問題,實際上都不適合讓ISP獨立。

通常所說的ISP,是專用於影像處理的處理器單元——主要是對鏡頭拍攝到的影像資料處理和運算。維基百科對ISP的功能介紹中提到,ISP的主要功能包括拜耳轉換、反拜耳(demosaicing,亦有反馬賽克(Demosaic)的說法)、降噪、影像銳化等。先前小米在MIX Fold手機上應用澎湃C1 ISP晶片時談到,這顆晶片的工作能力至少涵蓋了3A (自動對焦、自動白平衡、自動曝光)。

當代ISP的完整管線當然不止於此,圖1提供更多有關「ISP是用來做什麼的」的解答,包括色彩修正、轉換、gamma校正等。雖然圖1中的流程仍然不完整,尤其在近代鏡頭往高畫素、超採樣(Oversampling)、多鏡頭的方向發展以後,ISP的能力和性能要求也變得更高。

 

圖1:ISP完整管線。

(來源:Choi, SH., Cho, J., Tai, YM. et al. A parallel camera image signal processor for SIMD architecture. J Image Video Proc. 2016, 29 (2016). https://doi.org/10.1186/s13640-016-0137-2)

 

而隨著「運算攝影」(Computational Photography)技術的發展,以及廠商越來越注重手機攝影的賣點宣傳,現今手機拍照的後端資料處理、運算流程,已不僅限於ISP。由於傳統影像處理流程上,越來越多的部分有人工智慧(AI)參與,AI單元(如NPU)也介入到這個過程,且介入的環節也變得愈發多樣化。

現在的AI拍照,絕不僅限於美顏、換臉、卡通化、背景虛化這些原屬於「趣味攝影」的功能;如自動白平衡、自動對焦、防手抖、HDR這樣的ISP傳統工作環節,都已有AI單元和ML演算法的強力介入了。從這個角度來說,「影像處理器」實際意涵上有了更大的擴展,而不再僅限於ISP。

較早有所作為的應該是Google。Google不僅將AI/ML技術應用於運算攝影和電腦視覺,還為了自家AI技術能更好地用到手機拍照上,於2017年針對Pixel 2手機推出了Pixel Visual Core (PVC)晶片。雖然PVC晶片並非傳統意義上的ISP,但它就是專門用作影像處理與運算;更重要的是PVC是一顆獨立於手機AP SoC晶片之外的晶片。

簡單看看PVC晶片的架構(圖2):這顆晶片大框架是由一個Arm Cortex-A53核心、專門的512MB LPDDR4記憶體、一些I/O,和主體部分的8個影像處理單元(IPU)核心構成。這8個IPU核心,每個核心都由512個ALU組成,每個ALU則由256個PE (Processing Elements,16 × 16 2D陣列)構成,執行平行乘積累加運算。在Pixel 4時代,PVC經演進後改名為Pixel Neural Core (PNC),凸顯了其中的AI屬性。

 

圖2:Google PVC晶片die shot。

(來源:Google)

 

PVC是一顆完全可程式設計的DSA晶片。Google AI Blog每隔一段時間都會發佈Google在AI拍照方面的技術成果,例如視訊防抖、超解析度(super resolution)、人像背景虛化、模擬光照等。Google會透過韌體推送的方式,把這些特性推送到用戶的Pixel手機上。在PVC/PNC停止更新以前,Google發佈的不少運算攝影成果都是需要以這顆「獨立晶片」作為運算力的依託。

Google於2017年推出這顆PVC晶片,可能是因為對當時市面上已有的高通Snapdragon CPU、GPU、ISP、AIE等單元和整體的效率,應用在影像處理工作時並不怎麼滿意,或者說後者無法相對高效地承載Google賦予運算攝影的AI演算法;而非執著於手機產品的差異化競爭或對獨立晶片有什麼追求。

當時Google宣稱,PVC在效率和能耗方面會有相對顯著的優勢——雖然沒有人去系統地做過測試,不過應該是相對可信的,畢竟是DSA專用架構。PVC在運算效率上的優勢,加上晶片內儲存資源,應該能夠稀釋晶片間的通訊開銷。而且Pixel 2及後續手機在拍照表現上的確得到了比較好的效果:Pixel 2用單鏡頭,就達到了其他手機雙鏡頭類似的背景虛化效果;也因此有了「別家靠影像感測器,Google靠運算」的說法。

原本影像感測器的技術進步,在手機拍照乃至更廣泛的成像領域具備最大的影響力;在此之後,ISP在整條鏈路上的話語權顯著上升。雖說ISP的市場價值仍遠不及影像感測器,但其影響力已今非昔比;當然這和AI技術的發展也有很大的關係。這大概也是Pixel手機能兩三代都不換影像感測器,但拍照依舊保持在前段班的原因。

中國本土手機廠商自研ISP的意義

相較於Google PVC,小米、vivo這兩年所推的ISP就更像是傳統ISP了,從廠商宣傳的ISP功能(如3A)就看得出來。中國廠商近幾年在這方面的投入不遺餘力,先前招聘平台上就出現過vivo招募ISP方向總監職缺。

可惜的是,中國廠商在技術透明度上還是比較低,所以幾乎無法得知小米澎湃C1/C2、vivo V1/V1+這些ISP晶片架構,在影像處理的整條流水線上與AP SoC怎麼配合輸出最終的影像,是否用了別家IP等。先前有人猜測澎湃C1是個著力在Pre-ISP的晶片,而V1則更傾向於脫離AP SoC,完成ISP的完整流水線。

不過ISP這類晶片的技術透明度似乎一直也遠低於CPU、GPU、NPU這樣的大元件。大框架上,ISP晶片究竟長什麼樣(不單是前面提及的整條流水線),歷史資料中有一些可當參考,如1984年日立發佈的報告,題為「Architecture of an Image Signal Processor」;還有NXP的「S32V中的可程式設計ISP子系統」。

 

圖3:vivo V1+晶片。

(來源:vivo)

 

先前vivo在發佈V1晶片時提到,V1歷時「24個月左右,投入超過300人的研發團隊完成。V1針對高速資料處理的針對性最佳化設計,讓極其複雜的多個運算成像演算法,在低功耗下平行即時處理變為可能。」小米澎湃C1發佈之際則宣傳「雙濾波器配置,可以實現高低頻訊號平行處理,訊號處理效率提升100%。」

或許有讀者會好奇AP SoC廠商對於下游手機廠商自研ISP抱持什麼態度,畢竟Snapdragon 8、天璣9000這些晶片的ISP運算力水準也不差:宣傳點則早已不限於單路幾億畫素鏡頭支援。先前Snapdragon 8 Gen 1就在宣傳「3核心18bit ISP——提升4,096倍資料獲取量」,天璣9000則配備了「3個18bit HDR Fusion ISP」。這些都相當符合高畫素、多鏡頭、HDR這類對吞吐需求越來越貪婪的手機相機發展趨勢。

據了解,聯發科對手機廠商自研ISP持不介意的態度。今年上半年,聯發科還和vivo坐在一起,共同召開了一場媒體發佈會,且似乎vivo V1+ ISP晶片在vivo X80的應用,還得到了聯發科技術上的支援。聯發科在發佈會上說:「天璣9000提供天璣開放架構,與vivo V1+深度整合。」事實上,「天璣開放架構」是聯發科為客戶提供的一種技術方案,本質上是增加晶片的可客製化程度,針對客戶提供一些介面;如視訊錄製鏈路中有個「AI-ISP開放架構介面」。

vivo則在會上提到雙方投入了「超過300人的精英團隊,超過350天的研發週期,大幅革新了軟體通路架構,將V1+和天璣9000調和溝通。」

一般來說,在上游晶片廠商已有對應產品的基礎上,手機廠商仍然選擇自研晶片,應該是為了達到更高的效率。尤其在自己掌握相關演算法、軟體等技術的前提下,藉由更為針對性的設計來實現功能和最佳化,自然在效率、性能和功耗方面能夠做到最好。Google PVC即為其中頗具代表性的產品,而蘋果更是箇中翹楚。

對中國手機廠商而言,這其中的意義恐怕有所不同。相較於AP SoC提供的現成資源,現階段自研ISP晶片真正達到的效率提升、性能收益,還是比較有限;畢竟那些啟用了獨立ISP的手機產品,在拍照表現上相較同等定位、未採用獨立ISP的手機其實很難拉開很大的差距。

更何況,ISP這種「小元件」並無獨立的必要,就連Google都已停止在Pixel手機上繼續用PVC/PNC晶片——如果AP SoC晶片在運算力和效率上愈發精進,則獨立晶片方案的確算不上什麼好選擇。跨晶片、遠距離的資料存取和通訊,在手機上總是該盡力避免。

如今Google更傾向和晶片廠商合作,在AP SoC晶片上下功夫。所以Pixel 6手機上,Google和三星合作推出了Tensor晶片——這是一顆完整的手機AP SoC。且根據今年年初的消息,Google準備在聖地牙哥啟用一個新的團隊,專注於Tensor晶片的ISP設計——這樣的思路在手機設備上才顯得更為合理。

不過自研並啟用獨立ISP帶來了另外兩個層面的收益。其一是在手機這片紅海市場上競爭的差異化:無論獨立ISP有沒有帶來切實的體驗收益,或者體驗層面的加成有多少,在市場上自研晶片都是個相當不錯的賣點。而且在這麼激烈的競爭環境下生存,自研晶片似乎已經成為必然之路,那些沒有晶片設計能力的手機廠商恐逐漸被邊緣化。

其二,更重要的收益在於,以ISP晶片作為晶片設計技術積累的起點,是個相當不錯的選擇。有了這樣一個切入點,未來才有機會進一步設計更大、更複雜的晶片。從長遠來看,這都將是個可持續發展的必要選擇,就如同Google以PVC晶片為切入點,轉而研發Tensor SoC。

從ISP拓展

其實,相較於V1,vivo V1+晶片已不是一顆單純的ISP晶片了。除了片上「等效」32MB SRAM,vivo在介紹中說,V1+還用於遊戲插幀(frame,亦稱影格)。所以V1+應該算是ISP+MEMC晶片,這更像是晶片能力的擴散。

而OPPO MariSilicon X晶片就更不只是一顆ISP,ISP只是其中的一部分。從OPPO公佈的晶片框架圖來看,除了ISP、儲存子系統以外,佔據較大die size的是NPU——也就是AI單元。基於OPPO公佈的參數,OPPO的這顆晶片用於替代AP SoC上的ISP也顯得更有價值,包括20bit 120dB動態範圍、4K HDR/AI夜間視訊拍攝等。

 

圖4:OPPO MariSilicon X晶片。

(來源:OPPO)

 

基於現在的ISP需要與AI單元配合工作這一點,如果AI單元獨立於ISP晶片之外,則若雙方涉及頻繁的資料交換,資料存取和通訊帶來的開銷都是不小的。最好的方式自然仍是把兩者放在一起(雖然將兩者都整合到AP SoC上才是最好的方法),MariSilicon X在這一點上就邁進了一步,雖然不知道這顆晶片的NPU單元,在除影像處理之外的AI推理(inferencing)工作上究竟充當何種角色,以及其與AP SoC上的AI單元是否有配合。

這種由ISP向外延伸的嘗試,對於vivo、OPPO、小米這樣的廠商而言應該會持續進行。所以很容易理解為何會有OPPO預計於明後年推出自研AP SoC的傳言消息出現,這才應該是這些手機OEM的終極目標,「獨立ISP」不過是其中的一小步。

在這一點頗具說服力的應該是華為海思,即便華為的AP SoC研發之路停在了麒麟9000。但麒麟9000當年的一大亮點也在ISP與NPU上,包括3A處理能力的100%提升、quad pipeline使處理管線速度提升50%等。

值得一提的是,華為在「ISP+NPU融合架構」上的努力。在同一顆AP SoC晶片上,麒麟9000的ISP+NPU處理時間< 33ms,基本相當於以前只用ISP來處理鏡頭拍攝資料的時長。這對視訊處理而言是具備了相當的價值,未來即時性要求更高的應用,如AI VR,對整個系統也都會有更高的要求。

而同處在一個系統、一顆SoC內的價值,先前華為對於這種ISP+NPU融合架構的最佳化方案之一在於,藉由片上cache (Smart Cache 2.0),以及影像行或影格切片的方式,讓ISP和NPU進行資料通訊,以降低頻寬消耗和延遲(圖5)。當時華為展示的鏡頭拍攝畫面即時卡通化就用了這種技術,這是獨立ISP難以企及的。

 

圖5:華為ISP+NPU融合架構。

(來源:華為)

 

若要走向AP SoC設計,整合ISP、NPU等單元顯然才是未來方向。現階段中國手機廠商開發專門的ISP晶片,乃是走向這條路的一部分。未來更大、更複雜形態的晶片產品也將能看到現在的技術累積,這才是手機獨立ISP的真正價值。

本文同步刊登於《電子工程專輯》雜誌20229月號

 

 

 

 

 

 

加入我們官方帳號LINE@,最新消息一手掌握!

發表評論