300多工程師死磕2年，vivo終于發布自研芯片V1，降低功耗50%全片上儲存

曉查 2021-09-07 12:06:57 來源：量子位

蕭簫 曉查 發自 凹非寺
量子位 報道 | 公眾號 QbitAI

又一家國產手機廠商，闖入芯片賽道。

令人有些意外的是，這次發布芯片的，是素來低調的vivo——

甚至在2019年被曝造芯時，官方并未給出明確回復。

現在，藍廠一出手，就搞出一顆V1影像芯片，除了生產全部自研的那種。

通常來說，影像芯片業內稱之為ISP芯片（圖像處理器），專門用于處理手機拍照和視頻等影像功能。

舉個栗子，一臺普通手機連續錄制Vlog，幾小時后可能就會發燙，甚至沒電；但如果自研影像芯片，就能針對手機算法來設計專門的處理單元，防燙的同時也延長使用時間。

從實際效果來看，同一部手機，搭載V1芯片拍攝的夜景視頻，在對比度還是流暢度（插幀效果）上都要更好：

更神奇的是，據vivo官方表示，不止影像，這顆V1芯片甚至還能處理別的任務。

這是怎么做到的？

除此之外，這個名為V1的影像芯片，各方面性能又究竟如何？

V1芯片性能幾何？

ISP全稱Image Signal Processor，即圖像處理器。

如果說，GPU決定了手機的游戲性能，那么ISP就控制著手機在拍照上的表現。CPU和GPU相當于手機的“大腦”，ISP則相當于手機的“視覺神經中心”。

V1是由vivo主導開發的影像芯片，專門為實現高速計算成像而生，可協同手機SoC中自帶的ISP使用，實現1+1>2的效果。

相比手機主芯片，V1具備超低能耗的優勢。為實現照片處理能力的最大化，vivo優化了數據在芯片內部的儲存架構和高速讀寫電路，實現等效32MB的超大緩存，全片上儲存。

得益于巨大的片上存儲，V1可在1秒內處理30張與普通手機像素相同的照片。

V1也將手機拍照做到了“所見即所得”。以往在默認拍照和錄像預覽下，由于緩存和功耗問題，拍照界面預覽往往和最終成像效果不同，這極大影響了用戶拍照體驗，而V1能夠以低功耗運行，隨時開啟。

△夜景實時預覽成片

除了存儲上的巨大吞吐量外，V1還具備算法上的并行能力，它針對高速數據處理進行優化設計，可以在一塊芯片內同時進行多個圖像成像算法，這讓手機的夜景拍攝能力有了極大提升。

在V1的協助下，手機能夠以低功耗運行4K 30幀夜景拍攝的實時去噪和插幀。

這是什么概念？

通常旗艦手機ISP可以做到4K 120幀攝像，但這是正常環境光條件下的參數，進入夜景模式后，手機會將多幀合并成一幀來提升畫面亮度。

這也是夜景拍攝中圖片需要過一段時間才能看到預覽的原因。這對V1的處理能力是第一重考驗。

此外，多幀合成一幀也會造成畫面的幀率較低，觀感不佳。因此V1加入了MEMC實時動態補幀，在原本畫面降噪提亮任務上又多了插幀，這是對V1的第二重考驗。

而V1不僅能完成這一系列復雜任務，還能利用專用算法硬件電路將功耗降低50%。

配合手機主芯片本來就具有的降噪功能，vivo即將發布的X70系列實現了一次拍攝二次提亮和二次降噪，達到了“疊加buff”的效果。

由于V1低功耗的特點，能讓手機拍照錄像更加節能，拍照出片慢、手機發熱嚴重的問題也得到解決。

為何自研影像芯片？

今年以來，已有多家手機廠商發布影像芯片，為何手機廠商紛紛入局這一領域呢？

首先，不得不承認，國產廠商在手機芯片方面和國外公司仍有一定的差距，研發一款手機SoC的周期又較長，因此想在短時間內實現彎道超車并不太實際。

然而，智能手機發展到今天，卻帶給了廠商們一個絕好的機會。因為手機拍照的重要性越來越高了。

從發布會也可見一斑，拍照和攝像占據的篇幅越來越大。同時，用戶對于夜景、長焦、美顏等拍照場景的要求也越來越高。

研發影像芯片無疑是硬件自研一個極好的切入點。

無論是夜景中多張照片合成提升亮度、降低噪點，還是物體邊緣銳化、人物背景虛化，更不用提基礎的對焦、白平衡。以上這些都離不開ISP對圖像信號的處理。

如果ISP性能不夠，就會出現“小馬拉大車”，讓手機力不從心。所以有些手機在長時間拍照后會出現長時間無法顯示照片、過熱關機等狀況。

而照片處理是一項“專門”的技能。

不同手機、不同鏡頭、不同目標用戶都使用相同的ISP，顯然不能針對硬件做出很好的專門優化。

另外，就像電腦中顯卡對AI加速一樣，ISP也能對拍照算法進行優化，問題是提供軟件算法的手機廠商和提供硬件芯片供應商往往不能很好契合。打個比方，就如同讓3米板的選手參加10米跳臺一樣。

因此，曾經以“照亮你的美”、一向重視拍照的vivo決定從影像著手，入局芯片研發。

從2017年開始，vivo先后在深圳、臺北、東京、圣地亞哥等全球多個國家和地區建立了7個影像研發中心，影像及相關領域的團隊規模已經超1000人。

據vivo介紹，圖像處理器V1完整項目研發歷時24個月，投入研發團隊超300人。

終于V1在今年9月面世，不久后vivo還將發布搭載V1芯片的X70系列手機，這樣軟件工程師為X70系列手機設計的拍照算法就能“固化”在V1芯片中。

其優點就是V1為X70算法而生，運算效率更高、更節能、拍照延遲更低。vivo通過自研影像芯片V1與主芯片軟件算法協作，實現軟硬結合，改善用戶的影像體驗。

顯然此次造芯，vivo并非為造而造——

實際上vivo對于影像技術的預研比外界想象得更加長遠。

影像是vivo的重中之重，被vivo視為核心長賽道之一，已投入和研發達五年以上，實現了多項業內第一，比如手機上首個微云臺防抖技術。

V1不過是vivo在影像領域的一張答卷而已。

為何是vivo？

自華為、小米后，vivo迅速成為國內第三家自研芯片的手機廠商。

然而，從技術和行業來看，自研影像這件事其實并不簡單。

技術上，影像芯片同樣有自己的技術壁壘，本身就具有一定難度。

影像芯片的研發，并非僅僅設計出一個框架那么簡單，還需要面臨算法調校、新功能測試、技術長期積累等難點。

在算法這塊，影像芯片中不少模塊的算法會相互牽制影響，要想將諸多影像算法融合進芯片中，發揮出最大的作用，需要大量的調校工作；

在功能這塊，從vivo這次發布的V1芯片就能看出，ISP早已不止是一個圖像處理器，還需要自研更多新功能，來保持圖像處理性能的領先、同時實現更多“輔助技”；

在經驗這塊，影像芯片技術需要長期積累，這又進一步增加了它的研發難度，同時由于學習周期長，也造成相應人才不足，需要公司長期的投入，來形成領先的影像芯片技術。

行業上，研發影像芯片又已經成為手機影像打出差異化的重要元素之一。

一方面，如果每個廠商只用一樣的手機芯片，即使自研出的算法不同，硬件運行上也同樣無法形成差異化的效果；在SoC芯片選項不多的情況下，誰先自研出影像芯片，誰就握住了影像性能的發言權。

另一方面，從蘋果、三星等國外手機廠商，到華為、小米這樣的國內手機廠商，紛紛投身影像芯片自研，其實也在透露一個信號——

影像芯片自研，已經不再是手機可有可無的“新亮點”，而正在成為高端機型的兵家必爭之地。

要想在紅海市場中生存下來，只有去自研芯片、去定義能力，才能真正做到手機成本可控、算法性能更強，從而在高端機中站穩腳跟。

技術有難度，行業競爭中又不可或缺，這種情況下，vivo的決心成就了如今的V1芯片。

技術難，就提前驗證算法，不斷改進影像算法、芯片性能和鏡頭硬件，將芯片與手機融合做到最好，達到能在X70系列上設置專業模式的水準，甚至連log調色都已經實現；

△專業模式下的log調色

周期長，就提前預研布局，甚至從X1開始就有Hi-Fi芯片，到X9 Plus搭載的定制DSP芯片，前幾年與三星共同研發Exynos芯片，其實都是在為自主研發芯片提前布局。

以此看來，搭載V1芯片、與蔡司聯合研發影像系統的vivo X70系列，理應也值得期待。