vivo首款自研6nm芯片！AIGC算法加持，支持4K電影級人像視頻

蕭簫 衡宇 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

安卓視頻拍攝體驗，出現(xiàn)了新的天花板——

只用手機(jī)，也能拍出4K電影級別的人像視頻了！同時還能實現(xiàn)無損拍后編輯。

不用靠長槍短炮的畫幅和光圈，就能真·全自動檢測和切換虛化主體。

讓鏡頭就聚焦在某個人物身上，同時周圍景物自然虛化，只需一鍵實現(xiàn)：

不僅如此，就連膚質(zhì)優(yōu)化和色彩處理，也能秒速搞定，分分鐘拍出大片效果：

安卓機(jī)型人像拍攝的這個新天花板出現(xiàn)，更有層次的照片，這不就來了？！

要知道，背景虛化一直是手機(jī)攝影的短板，無論是虛化層次還是邊緣處理，很難與單反相機(jī)分庭抗禮。

哪怕是對所搭載的算法進(jìn)行創(chuàng)新和優(yōu)化，想要最終效果是4k電影級，必須要兼顧降低功耗。

不多賣關(guān)子，這種視頻拍攝效果，出自剛剛登頂中國手機(jī)第一的“藍(lán)廠”vivo之手，在其最新的發(fā)布會上露面。

最重要的是，背后果然又用到了最新的自研芯片。

難怪有網(wǎng)友調(diào)侃道：

所以，這個芯片究竟實現(xiàn)了什么樣的功能，又是如何打破安卓手機(jī)影像能力天花板的？

打破安卓手機(jī)攝影天花板

vivo給手機(jī)攝影帶來的突破，主要體現(xiàn)在兩方面，更高的畫質(zhì)和更快更好的算法。

先是在畫質(zhì)上，vivo在安卓手機(jī)攝影上實現(xiàn)了兩個“首次”，即4K電影人像視頻和4K級拍后編輯。

4K電影人像視頻，意味著手機(jī)拍人像視頻，已經(jīng)能達(dá)到4K電影級的水平，不僅分辨率更高、色彩呈現(xiàn)也更好。

相比之前，包括焦外散景虛化（背景虛化）、全自動主體焦點(diǎn)檢測和切換、電影級膚質(zhì)優(yōu)化和色彩處理，現(xiàn)在vivo都已經(jīng)能用到4K視頻拍攝中。

焦外散景虛化，即拍出很好的淺景深效果；全自動主體焦點(diǎn)檢測和切換，意味著不再需要手動調(diào)試鏡頭距離“對準(zhǔn)”某個物體，算法自動實現(xiàn)；電影級膚質(zhì)優(yōu)化和色彩處理，讓拍視頻人像也“幀幀開美顏”，無需拍后再手動調(diào)整。

進(jìn)一步地，在拍攝完成后，vivo還實現(xiàn)了4K級拍后編輯，快速且無損。

視頻編輯耗費(fèi)計算量較大，此前往往只有壓縮視頻大小，才能縮短剪輯加載和導(dǎo)出的時間。

現(xiàn)在，如果對拍攝出來的視頻不滿意，編輯時無需壓縮視頻，在分辨率保持4K的情況下，手機(jī)仍然能快速調(diào)整虛化和焦點(diǎn)位置，實現(xiàn)無損編輯。

不僅僅在于畫質(zhì)上的兩大功能，這次vivo手機(jī)影像技術(shù)的升級，還體現(xiàn)在“算法大融合”上。

要知道，過去各種手機(jī)雖然宣稱已經(jīng)搭載了不少提升拍照技術(shù)的AI算法，但大部分算法無法同時運(yùn)行。

以人像和夜景為例。目前不少手機(jī)，都能看到這兩種類型的拍照模式優(yōu)化，但“夜景+人像優(yōu)化”卻比較少見——

這是因為，針對夜景和人像所需的算法不完全一樣，如果同時運(yùn)行，不僅功耗更大、延遲也會更高。

因此，如果說之前的算法處理還只能讓用戶自己做選擇，最新的vivo手機(jī)，已經(jīng)能實現(xiàn)大量自研影像算法同時開啟的效果。

像是夜景拍攝幾乎必不可少的AI降噪（NR，Noise Reduce）算法：

基于人像理解技術(shù)，進(jìn)一步實現(xiàn)拍攝需要的影調(diào)（調(diào)色）算法：

視頻拍攝需要的MEMC插幀算法：

能保留圖像中的更多細(xì)節(jié)、對比度也更高，提升整體效果的HDR技術(shù)：

以及圖像變焦算法等等。

過去這些算法還需要分時間階段運(yùn)行，現(xiàn)在，vivo手機(jī)不僅能同時處理它們，而且延遲都保持在用戶可以感知的范圍之內(nèi)。

完成這些部署，離不開vivo自研的新一代影像芯片，名為V3。

藍(lán)廠究竟在V3芯片中加了什么黑科技，來實現(xiàn)這樣的效果？

vivo最新自研芯片V3

V3芯片采用6nm制程工藝，相比上一代的V2芯片，能效比提升了30%。

架構(gòu)設(shè)計上，V3仍然是ISP（圖像信號處理器），但相比上一代可以實現(xiàn)多并發(fā)AI感知。

同時，為了更好地和SoC“打配合”，V3芯片還推出了第二代FIT互聯(lián)系統(tǒng)，來調(diào)度二者之間的資源。

具體來說，V3主要通過硬件架構(gòu)升級、以及和主芯片“打配合”兩種模式，來支持上面提到的兩大新功能，以及一系列AI算法并發(fā)效果。

一方面，在架構(gòu)上，V3不僅在制程上得到升級，大幅提升能效，同時設(shè)計上側(cè)重于提升AI算法的計算效率。

V3芯片延續(xù)了V系列芯片的特征，自帶定制化深度學(xué)習(xí)加速器（DLA）、以及純SRAM架構(gòu)，用于提升計算AI任務(wù)的效率。

雖然手機(jī)芯片也配備NPU這種神經(jīng)網(wǎng)絡(luò)硬件加速器，用于進(jìn)行向量化計算和并行處理，然而，由于這種NPU是通用型的，因此在計算某些專用任務(wù)時效率不高。

以計算AI任務(wù)常用的乘加計算（MAC）為例，通用NPU做這類計算往往只能達(dá)到30%的利用率。

這是因為它所用的片上緩存（TCM）容量有限，一旦圖像類AI任務(wù)變多，每一層網(wǎng)絡(luò)特征圖寫入DDR內(nèi)存，帶寬就會爆炸、功耗也會大幅度上升。

V3芯片自帶的深度學(xué)習(xí)加速器，則能更好地處理這類任務(wù)。即使芯片制程是6nm，在處理特定圖像任務(wù)時，整體能效比相比4nm的SoC仍舊可以提升2~3倍。

同時在內(nèi)存上，V3芯片沒有采用DDR，而是采用了SRAM架構(gòu)來存儲信息。

相比通用NPU，V3只運(yùn)行特定任務(wù)，不受外部后臺線程（如CPU線程）的干擾，也不會因為其他功能升壓或提頻導(dǎo)致功耗上升，因此在做乘加計算時，利用率可以達(dá)到100%。

但僅僅是通過升級硬件架構(gòu)、提升處理AI任務(wù)的能力還不夠。

畢竟對于手機(jī)來說，只有將所有算力資源調(diào)度起來，才能真正確保計算效率最大化，因此——

另一方面，V3芯片推出了第二代FIT雙芯互聯(lián)系統(tǒng)，讓算力資源調(diào)動變成了靈活的“一盤棋”。

具體來說，這種系統(tǒng)能同時調(diào)用手機(jī)SoC和V3的算力，使得它們在處理AI算法時“各司其職”，從而更高效地處理不同的算法。

其中，V3芯片主要能處理兩類任務(wù)。

一個是可以用低級別、像素級別的AI算力處理的任務(wù)；另一個是對于一些需要較大濾波器的算法（如運(yùn)動估計等），V3能將算法“硬件化”，即將它們轉(zhuǎn)換成特定應(yīng)用集成電路（純ASIC），成為芯片的一部分。

同時，對于更復(fù)雜的一些算法，則主要用SoC來完成，同時V3提供“協(xié)作”。

整體來說，V3不僅能將一些特定AI任務(wù)的處理做到極致，同時也能作為算力“補(bǔ)充庫”，來協(xié)助SoC完成其他AI算法的處理。

這樣一來，不僅能降低原本計算特定AI算法所用的功耗，做到SoC+V3芯片的總功耗“1+1＜2”，還能做到原本“不可能的事情”——

假設(shè)手機(jī)上搭載了10個算法，此前可能會因為功耗和發(fā)熱，導(dǎo)致只能同時跑6個；現(xiàn)在加上V3后，10個算法都能同時運(yùn)行（例如整套人像功能），并將功耗和發(fā)熱保持在合適的范圍內(nèi)。

當(dāng)然，在配合的硬件“位置”上也有講究。相比前置ISP（PreISP），V3選擇了后置ISP（PostISP）的方式，即數(shù)據(jù)先通過SoC，再通過V3進(jìn)行處理，最后打到屏幕上。

這樣設(shè)計的好處是可以降低芯片內(nèi)部的處理延時、提升性能，雖然會在回傳通路上增加一點(diǎn)處理時間，不過并不影響整體使用效果，像視頻拍攝預(yù)覽延遲在180~200ms左右，對于人眼來說幾乎無感。

當(dāng)然，除了針對V3芯片的設(shè)計，vivo也在影像相關(guān)的其他芯片技術(shù)上下了不少功夫。

其中之一就是在CMOS芯片上。

vivo針對這個芯片研發(fā)了一項名叫自適應(yīng)DCG-HDR技術(shù)，目前研究論文已經(jīng)發(fā)表在VLSI 2023上。

VLSI（超大規(guī)模集成電路技術(shù)和電路研討會）是電路領(lǐng)域的國際頂會，今年vivo也是國內(nèi)手機(jī)廠商中唯一一家發(fā)表論文、并被選中進(jìn)行會上分享的。

這項技術(shù)能夠讓在用戶拍視頻時常開HDR模式，獲得更好的拍攝效果，同時功耗更低。

相比傳統(tǒng)HDR在整個圖像區(qū)域使用曝光設(shè)置（或分區(qū)使用不同的曝光設(shè)置），自適應(yīng)DCG-HDR可以將曝光設(shè)置粒度縮小到像素級別。

也就是說，每個像素根據(jù)所在的場景和光照條件選擇曝光設(shè)置，使得HDR效果更精準(zhǔn)；同時，通過這種調(diào)制，它還能省去一次讀取像素值的操作，進(jìn)一步降低了功耗。

這樣一來，用戶不僅能常開HDR模式，甚至開著拍視頻，也不會出現(xiàn)過熱或頻繁關(guān)機(jī)的問題。

對于之后的影像行業(yè)布局，vivo影像產(chǎn)品高級總監(jiān)李卓表示：

AI一定是未來最重要的方向之一。

然而，即便自研芯片在影像上取得了如此不錯的效果，投入數(shù)十甚至上百億去研發(fā)芯片、甚至不斷迭代升級，仍然不是一個短期內(nèi)看得到巨大回報的過程。

對于手機(jī)廠商、甚至整個行業(yè)而言，自研芯片的意義究竟何在？

AIGC時代，自研芯片更顯重要

回顧這幾年的手機(jī)行業(yè)，新的產(chǎn)品、技術(shù)層出不窮，令人眼花繚亂。

行業(yè)也熱點(diǎn)，作為各廠商發(fā)力的角逐地，也在不斷變化。折疊屏、雙芯設(shè)計、屏下攝像頭、夜間拍攝、AI+……新的熱點(diǎn)為手機(jī)行業(yè)不斷加碼，同時對技術(shù)提出了更高的要求。

比如，按照當(dāng)下的熱門技術(shù)定義，手機(jī)行業(yè)實則處于一個影像芯片、AIGC、3D影像等熱點(diǎn)交融的時代。

在這樣浩蕩的時代里，交匯交融是無法避免的趨勢。

就拿vivo首次對外披露與AIGC算法相關(guān)的研發(fā)成果為例。

一手建立了重慶3D動捕實驗室，搭建影視級光場系統(tǒng)，支撐vivo各類人像3D感知算法的研發(fā)、迭代工作。

重點(diǎn)儲備以人臉、人體和手勢為核心人像3D感知算法能力。

另一邊，則在自研芯片領(lǐng)域持續(xù)發(fā)力，對外發(fā)布V3。

細(xì)數(shù)vivo自研芯片的歷程，已有4年歷史。

2019年，藍(lán)廠被曝造芯；2021年，正式闖入自研芯片賽道，推出第一顆影像芯片V1，除了生產(chǎn)全部自研。

當(dāng)時，手機(jī)行業(yè)主打的降噪、插幀等圖像處理功能，有不少還停留在傳統(tǒng)算法層面。

V1主打特色之一，就是能夠很好地處理傳統(tǒng)影像算法，同時已經(jīng)具備一定的算法并行能力，可以在一塊芯片內(nèi)同時進(jìn)行部分圖像成像算法，這讓手機(jī)的夜景拍攝能力有了極大提升。

2022年，結(jié)合AI算法的ISP芯片V2快速面世。它采用迭代后的AI-ISP架構(gòu)，能夠在手機(jī)內(nèi)部實現(xiàn)數(shù)據(jù)和算力的優(yōu)化、高速協(xié)同。

這個階段，由于用上了AI技術(shù)，vivo自研的算法開始變得更復(fù)雜，需要的額外信息也變得更多。

例如，相機(jī)原本的自動對焦AF、自動曝光AE、自動白平衡AWB這類3A功能，也開始加上AI算法，這類算法往往需要用上相機(jī)控制參數(shù)、硬件參數(shù)和返回值等信息，用來做一些運(yùn)動估計功能，因此延遲也會相應(yīng)變高。

為了確保AI功能變多的同時，延遲還維持在用戶可以接受的層面，V2芯片開始正式引入FIT雙芯互聯(lián)技術(shù)，確保兩顆芯片溝通的效率。

可以說，V1到V2，是藍(lán)廠不斷滿足初代影像算法及AI 1.0時代對影像芯片的要求的過程。

林林總總可以歸結(jié)為一句話：一個時代有一個時代的芯片要求。

AIGC時代下，不僅算法數(shù)量呈現(xiàn)井噴式增長，算法的體量也有了質(zhì)的差異。

尤其針對需求質(zhì)與量與日俱增的影像技術(shù)而言，手機(jī)芯片的算力和處理性能，都相對應(yīng)地有了更高要求。

如今在影像算法中，光是人像系統(tǒng)中，就有包括發(fā)絲分割、膚色增強(qiáng)、虛化渲染、場景感知等一系列需要用到AI算法的功能；

更別提夜景這類同時需要提升畫質(zhì)、色彩的場景，長此以往，所需的算法類型和數(shù)量只會越來越多。

同時，隨著AI模型效果變得更好、體積變得更大，AIGC算法逐漸成為潮流的當(dāng)下，如何利用深度學(xué)習(xí)加速引擎和異構(gòu)加速引擎提升AI處理效率，也是手機(jī)業(yè)界的一道長期思考題。

總而言之，AIGC潮流為代表的AI 2.0時代，對所承載的算力的擴(kuò)張需求，迫在眉睫。

一路走來都是困難重重，未來的挑戰(zhàn)也將一個接著一個。相比優(yōu)化算法去適配硬件廠商的芯片，軟硬件結(jié)合，才是AIGC時代的王道——

手握自研芯片，就能算法軟件和芯片硬件兩手抓；

沒有自研芯片，只能坐等市場有什么樣的芯片，再設(shè)計研究算法去適配。

顯而易見，軟硬件的并行，無論是對大廠本身，還是對滿懷期待的客戶而言，都更有競爭力和說服力。

看到這條路線的不只有vivo一家。

國外亞馬遜、Meta。國內(nèi)百度、阿里，諸多在AIGC時代爭先恐后布局的大廠，在嘗試將AI功能最大化時，都會考慮把“合作或自研設(shè)計芯片”作為具體的實現(xiàn)途徑之一。

其他大廠尚且如此，向來主攻影像的手機(jī)行業(yè)，作為AIGC技術(shù)的頭部應(yīng)用場景之一，更加應(yīng)該明白這樣的道理：

只有真正從算力底層出發(fā)，將AIGC軟硬件技術(shù)細(xì)節(jié)掌控在自己手中，才能最大程度地確保走在技術(shù)創(chuàng)新的中軸線上。