單卡30秒跑出虛擬3D老婆！文本生成3D高精度數(shù)字人，毛孔細(xì)節(jié)清晰

衡宇 蕭簫 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

ChatGPT給AI行業(yè)注入一劑雞血，一切曾經(jīng)的不敢想，都成為如今的基操。

正持續(xù)進(jìn)擊的Text-to-3D，就被視為繼Diffusion（圖像）和GPT（文字）后，AIGC領(lǐng)域的下一個(gè)前沿?zé)狳c(diǎn)，得到了前所未有的關(guān)注度。

這不，一款名為ChatAvatar的產(chǎn)品低調(diào)公測(cè)，火速收攬超70萬(wàn)瀏覽與關(guān)注，并登上抱抱臉周熱門(mén)（Spaces of the week）。

現(xiàn)行beta版本生成的3D模型，能夠直接連同PBR材質(zhì)下載到本地。不僅效果不錯(cuò)，更重要的是免費(fèi)可玩。有網(wǎng)友驚呼：

有夠酷的，感覺(jué)能很便捷地生成自己的數(shù)字孿生了。

由此吸引不少網(wǎng)友紛紛試用并貢獻(xiàn)腦洞。有人拿這款產(chǎn)品和ControlNet結(jié)合，發(fā)現(xiàn)效果細(xì)膩寫(xiě)實(shí)到有些出乎意料。

這款使用起來(lái)幾乎零門(mén)檻的Text-to-3D工具名叫ChatAvatar，由國(guó)內(nèi)AI初創(chuàng)公司影眸科技團(tuán)隊(duì)打造。

據(jù)了解，這是全球首款Production-Ready的Text to 3D產(chǎn)品，通過(guò)簡(jiǎn)單的文本，例如一個(gè)明星的名字、或是某個(gè)想要的人物長(zhǎng)相，就能生成影視級(jí)的3D超寫(xiě)實(shí)數(shù)字人資產(chǎn)。

效率也非常高，平均僅需30秒，就能做出一張以假亂真的臉——甚至是你自己的。

未來(lái)，生成領(lǐng)域還將拓展到其他三維資產(chǎn)。

并且該模型帶有規(guī)整的拓?fù)洹в?k分辨率的PBR材質(zhì)，同時(shí)帶有綁定，可以直接接入U(xiǎn)nity、Unreal Engine和Maya等制作引擎的生產(chǎn)管線中。

所以，ChatAvatar到底是怎樣一個(gè)3D生成工具？背后究竟用到了什么技術(shù)？

30秒完成一次“畫(huà)皮”

親身體驗(yàn)ChatAvatar的玩法發(fā)現(xiàn)，可以說(shuō)是真·零門(mén)檻。

具體而言，只需以對(duì)話的形式，在官網(wǎng)上用大白話向ChatBot描述自己的需求，就能按需生成3D人臉，并覆蓋一張貼合模型的真實(shí)“人皮”。

對(duì)話全流程里，根據(jù)用戶需求，ChatBot會(huì)進(jìn)行引導(dǎo)，盡可能細(xì)節(jié)地了解用戶對(duì)所需模型的想法。

體驗(yàn)過(guò)程中，我們向ChatBot描述了這樣一個(gè)想要生成的3D形象：

點(diǎn)擊左側(cè)的Generate按鈕，平均10s不到，屏幕上就出現(xiàn)根據(jù)描述生成的9種不同3D人臉的初始雛形。

隨意選擇其中一種后，會(huì)基于選擇繼續(xù)優(yōu)化模型和材質(zhì)，最后出現(xiàn)覆蓋皮膚后的模型渲結(jié)果，并展現(xiàn)不同光影下的渲染效果——這些渲染在瀏覽器內(nèi)實(shí)時(shí)完成：

用鼠標(biāo)拖動(dòng)，還能旋轉(zhuǎn)頭部，并放大看更細(xì)節(jié)的局部效果，毛孔和痘痘都清晰可見(jiàn)：

值得一提的是，如果用戶是個(gè)提示工程高手，直接在左側(cè)框中輸入prompt，同樣可以完成生成。

最后，一鍵下載，就能獲得一個(gè)可直接接入制作引擎并被驅(qū)動(dòng)的3D數(shù)字頭部資產(chǎn)：

雖然beta版本還沒(méi)上線發(fā)型功能，但整體而言，最后生成的3D數(shù)字人資產(chǎn)與描述內(nèi)容已經(jīng)有高匹配度。

官網(wǎng)上還陳列了許多ChatAvatar用戶的生成資產(chǎn)，不同人種、不同膚色、不同年齡，喜怒哀樂(lè)，美丑胖瘦，各式相貌應(yīng)有盡有。

總結(jié)一下ChatAvatar這款產(chǎn)品生成3D數(shù)字人資產(chǎn)的效果亮點(diǎn)：

首先是使用簡(jiǎn)便；其次是生成跨度大，且五官可改，還能生成與面部貼合的面具、紋身等，譬如這樣：

根據(jù)官方宣傳片介紹，ChatAvatar甚至可以進(jìn)一步生成超出人類(lèi)范疇的角色，如阿凡達(dá)等影視作品中的角色：

最重要的是，ChatAvatar解決了3D模型與傳統(tǒng)渲染軟件存在的兼容性問(wèn)題。

這意味著，ChatAvatar生成的3D資產(chǎn)可以直接接入游戲和影視生產(chǎn)流程。

當(dāng)然，在正式接入工業(yè)流程之前，首輪公測(cè)，ChatAvatar已經(jīng)吸引了數(shù)千名藝術(shù)家和專(zhuān)業(yè)美術(shù)人員參與，推特相關(guān)話題受到近百萬(wàn)的瀏覽與關(guān)注。

隨隨便便一條推文，瀏覽量都能破50k。

積攢了大批“自來(lái)水”不是沒(méi)有原因，看看3D的愛(ài)因斯坦之臉，試問(wèn)誰(shuí)不說(shuō)一句真的很像？

要是和ControlNet結(jié)合，生成效果不亞于單反相片直出：

已經(jīng)有不少用戶體驗(yàn)后，開(kāi)始暢想將這個(gè)Text-to-3D工具大規(guī)模應(yīng)用在游戲、影視等工業(yè)應(yīng)用上了。

據(jù)了解，用戶反饋會(huì)成為ChatAvatar團(tuán)隊(duì)快速迭代和更新的重要依據(jù)，形成數(shù)據(jù)飛輪，以便及時(shí)提供更加完整和貼近需求的功能。

事實(shí)上，對(duì)于此前的3D行業(yè)設(shè)計(jì)師或公司來(lái)說(shuō)，大部分AI文字轉(zhuǎn)3D應(yīng)用并非效果不好，但實(shí)際落地到工業(yè)設(shè)計(jì)流程上，還是有不少難度。

這次ChatAvatar能如此出圈，背后究竟有什么技術(shù)上的原因？

符合產(chǎn)業(yè)要求的3D資產(chǎn)生成，究竟難在哪？

都說(shuō)AI要替代人類(lèi)，事實(shí)上僅僅就Text-to-3D領(lǐng)域，就并非那么容易替代。

最大的難點(diǎn)，在于讓AI生成的東西從標(biāo)準(zhǔn)上符合產(chǎn)業(yè)對(duì)3D資產(chǎn)的要求。

這里面的產(chǎn)業(yè)標(biāo)準(zhǔn)怎么理解？從專(zhuān)業(yè)3D美工設(shè)計(jì)的視角來(lái)說(shuō)，至少有三個(gè)方面——

質(zhì)量、可控性和生成速度。

首先是質(zhì)量。尤其是對(duì)于強(qiáng)調(diào)視覺(jué)效果的影視、游戲行業(yè)來(lái)說(shuō)，要想生成符合管線要求的3D資產(chǎn)，拓?fù)湟?guī)整度、紋理貼圖的精度等“行業(yè)潛規(guī)則”，都是AI產(chǎn)品第一道必須邁過(guò)去的坎。

以拓?fù)浣Y(jié)構(gòu)的規(guī)整度為例，這里本質(zhì)上指的是3D資產(chǎn)布線的合理度。

對(duì)于3D資產(chǎn)來(lái)說(shuō)，拓?fù)涞囊?guī)整度，往往直接影響物體的動(dòng)畫(huà)效果、修改處理效率和貼圖繪制速度：

據(jù)行內(nèi)3D美工設(shè)計(jì)介紹，手工重拓?fù)涞臅r(shí)間成本往往比制作3D模型本身更高，甚至按倍數(shù)以計(jì)。這意味著即使AI模型生成的3D資產(chǎn)再炫酷，如果生成的拓?fù)湟?guī)整度達(dá)不到要求，成本就無(wú)法從根本上得到降低。更別提紋理精度。

以目前游戲、影視行業(yè)普遍要求的PBR貼圖為例，包含的反射率貼圖、法線貼圖等一系列貼圖，相當(dāng)于2D圖像PSD文件的“圖層”，是3D資產(chǎn)流水線生產(chǎn)必不可少的條件之一。

然而，目前AI生成的3D資產(chǎn)往往是一個(gè)“整體”，少有能按要求單獨(dú)生成符合產(chǎn)業(yè)環(huán)境的PBR貼圖的效果。

其次是可控性，對(duì)于生成式AI而言，如何讓生成的內(nèi)容更加“可控”，是CG產(chǎn)業(yè)對(duì)于這項(xiàng)技術(shù)提出的又一大要求。

以大眾所熟知的2D產(chǎn)業(yè)為例，在ControlNet出現(xiàn)之前，2D AIGC行業(yè)一直處在一種“半摸黑前進(jìn)”的狀態(tài)。

也就是說(shuō)，AI能生成指定類(lèi)別的物體畫(huà)面，卻無(wú)法生成指定姿態(tài)的物體，生成效果全靠提示工程和“玄學(xué)”。

而在ControlNet出現(xiàn)后，2D AI圖像生成的可控性獲得了突飛猛進(jìn)的提升，然而對(duì)于3D AI而言，要想生成對(duì)應(yīng)效果的資產(chǎn)，很大程度上依舊得依靠專(zhuān)業(yè)的提示工程。

最后是生成速度。相比3D美工設(shè)計(jì)而言，AI生成的優(yōu)勢(shì)在于速度，然而如果AI渲染的速度和效果無(wú)法與人工匹敵的話，那么這項(xiàng)技術(shù)依舊無(wú)法給產(chǎn)業(yè)帶來(lái)收益。

以當(dāng)前在AI技術(shù)上頗受歡迎的NeRF為例，其產(chǎn)業(yè)化落地就面臨速度和質(zhì)量的兼容性難題。

在生成質(zhì)量較高的情況下，基于NeRF的3D生成往往需要相當(dāng)漫長(zhǎng)的時(shí)間；然而如果追求速度，即使是NeRF生成的3D資產(chǎn)便完全無(wú)法投入產(chǎn)業(yè)使用。

但即使解決了這個(gè)問(wèn)題，如何在不損失精度的前提下讓NeRF與傳統(tǒng)CG行業(yè)的主流引擎兼容仍然是一個(gè)巨大的問(wèn)題。

從上面的產(chǎn)業(yè)標(biāo)準(zhǔn)化流程不難發(fā)現(xiàn)，大部分AI文本轉(zhuǎn)3D應(yīng)用落地存在兩大瓶頸：

一個(gè)是需要手動(dòng)完成提示工程，對(duì)于非AI專(zhuān)業(yè)人士、或不了解AI的設(shè)計(jì)師來(lái)說(shuō)不夠友好；另一個(gè)是生成的3D資產(chǎn)往往不符合產(chǎn)業(yè)標(biāo)準(zhǔn)，即使再好看也無(wú)法投入使用。

針對(duì)這兩點(diǎn)，ChatAvatar給出了兩點(diǎn)具體有效的解決方案。

一方面，ChatAvatar實(shí)現(xiàn)了除手動(dòng)輸入提示工程外的第二條道路，也是更適合普通人的一條捷徑：通過(guò)“甲方模式”直接對(duì)話描述需求。

團(tuán)隊(duì)官方推特介紹稱(chēng)，為了實(shí)現(xiàn)這一特性，ChatAvatar基于GPT的能力，開(kāi)發(fā)了一種對(duì)話描述轉(zhuǎn)人像特征的方法。

設(shè)計(jì)師只需要不斷和GPT聊天，描述自己想要的“感覺(jué)”：

GPT就能自動(dòng)幫忙完成提示工程，將結(jié)果輸送給AI：

換而言之，如果說(shuō)ControlNet是2D行業(yè)的“Game Changer”，那么對(duì)于3D產(chǎn)業(yè)來(lái)說(shuō)，能實(shí)現(xiàn)文本轉(zhuǎn)3D的ChatAvatar，無(wú)異于行業(yè)的游戲規(guī)則改變者。

另一方面更為重要，那就是ChatAvatar能完美兼容CG管線，即生成的資產(chǎn)在拓?fù)浣Y(jié)構(gòu)、可控性和速度上都符合產(chǎn)業(yè)要求。

這不僅意味著生成3D資產(chǎn)之后，下載的內(nèi)容可以直接導(dǎo)入各種后期制作軟件進(jìn)行二次編輯，可控性更強(qiáng)；

同時(shí)，生成的模型和高精度材質(zhì)貼圖，還能在后期的渲染中達(dá)到極為逼真的渲染效果。

為了實(shí)現(xiàn)這樣的效果，團(tuán)隊(duì)為ChatAvatar自研了一個(gè)漸進(jìn)式3D生成框架DreamFace。

其中的關(guān)鍵，在于訓(xùn)練該模型用的底層數(shù)據(jù)，即影眸科技基于“穹頂光場(chǎng)”采集到的世界首個(gè)大體量、高精度、多表情的人臉高精度數(shù)據(jù)集。

基于這個(gè)數(shù)據(jù)集，DreamFace可以高效地完成產(chǎn)品級(jí)三維資產(chǎn)的生成，即生成的資產(chǎn)帶有規(guī)整的拓?fù)洹⒉馁|(zhì)，帶有綁定。

DreamFace主要包括三個(gè)模塊：幾何體生成，基于物理的材質(zhì)擴(kuò)散和動(dòng)畫(huà)能力生成。

通過(guò)引入外部3D數(shù)據(jù)庫(kù)，DreamFace能夠直接輸出符合CG流程的資產(chǎn)。

上述兩大技術(shù)瓶頸的解決，本質(zhì)上進(jìn)一步加速了AIGC洪流下，“生成”將取代“搜索”的時(shí)代趨勢(shì)——

影眸團(tuán)隊(duì)認(rèn)為，“生成”將成為新一代數(shù)字資產(chǎn)的獲取方式。

此前，我們需要找到一張符合需求的圖片或者資產(chǎn)時(shí)，通常會(huì)使用搜索引擎進(jìn)行查詢(xún)。

ChatAvatar項(xiàng)目主頁(yè)上展示的巨大的“搜索框”和整齊的資產(chǎn)卡片，看似搜索引擎，但實(shí)際上是一種與搜索截然不同的資產(chǎn)查找方式。

影眸科技CTO張啟煊對(duì)此介紹：

以前，如果我們需要一張插圖，可能要在多個(gè)圖庫(kù)中反復(fù)搜索，或是通過(guò)Photoshop合成、手繪等較復(fù)雜的方式才能得到結(jié)果。但在Stable Diffusion等技術(shù)出現(xiàn)后，你只需要通過(guò)文字描述想要的圖像，就能直接生成符合需求的結(jié)果。

這對(duì)于傳統(tǒng)的資產(chǎn)庫(kù)來(lái)說(shuō)是一個(gè)巨大的沖擊。而ChatAvatar的目標(biāo)，正是用3D生成替代傳統(tǒng)的搜索式3D資產(chǎn)庫(kù)。

AIGC領(lǐng)域的下一個(gè)前沿?zé)狳c(diǎn)

ChatGPT一石激起千層浪，進(jìn)入AI 2.0時(shí)代之后，人們的目光也投向包含圖像、視頻、3D等信息的多模態(tài)AI。

僅就3D生成領(lǐng)域而言，無(wú)論是影視還是游戲行業(yè)，3D內(nèi)容生產(chǎn)和消費(fèi)市場(chǎng)已經(jīng)擁有足夠大的規(guī)模，但在制作層面卻因技術(shù)難度遭遇掣肘。

譬如，文本領(lǐng)域大行其道的Transformer，在3D生成領(lǐng)域的使用還相對(duì)有限。

去年夏天，當(dāng)文生圖領(lǐng)域因Diffusion Model取得成績(jī)后，人們開(kāi)始期待文字生成3D有同樣驚艷的表現(xiàn)。一旦生成式AI的3D創(chuàng)作技術(shù)成熟，VR、視頻等的內(nèi)容創(chuàng)作都將起飛。

事實(shí)上，無(wú)論是科技巨頭還是初創(chuàng)公司，的確都在朝Text-to-3D這個(gè)方向暗暗發(fā)力。

去年9月，谷歌發(fā)布了基于文本提示生成3D模型的FreamFusion，聲稱(chēng)不需要3D訓(xùn)練數(shù)據(jù)，也不需要修改圖像擴(kuò)散模型。緊隨其后，Meta也推出可以從文本一鍵生成視頻的Make-A-Video模型。

后來(lái)的Text-to-3D的AI模型隊(duì)伍中，還先后出現(xiàn)了英偉達(dá)Magic3D、OpenAI最新開(kāi)源項(xiàng)目Shap-E等，今年8月將舉辦的計(jì)算機(jī)圖形頂會(huì)SIGGRAPH 2023所展示的論文，也有多篇與Text-to-3D有關(guān)。

影眸科技有關(guān)文本指導(dǎo)的漸進(jìn)式3D生成框架DreamFace的論文，就是其中之一。

而ChatAvatar，也是目前為止最集中在3D數(shù)字人資產(chǎn)方向的生成式模型產(chǎn)品。

其背后的AI初創(chuàng)公司影眸科技，2020年孵化自上海科技大學(xué)MARS實(shí)驗(yàn)室，成立后獲得奇績(jī)創(chuàng)壇與紅杉種子的兩輪投資。

公司專(zhuān)注于專(zhuān)注于計(jì)算機(jī)圖形學(xué)、生成式AI的研究與產(chǎn)品化。2021年，AIGC還未掀起巨浪之時(shí)，公司就已經(jīng)推出國(guó)內(nèi)首個(gè)AIGC ToC繪畫(huà)應(yīng)用Wand，產(chǎn)品一度登頂AppStore分區(qū)榜首。

而這個(gè)頗具前瞻性，且已在業(yè)內(nèi)小有名氣的團(tuán)隊(duì)，平均年齡只有25歲。

將首個(gè)商業(yè)化場(chǎng)景具體錨定在數(shù)字人后，ChatAvatar是他們乘AIGC東風(fēng)在該方向的最新進(jìn)展。

作為一個(gè)新推出的產(chǎn)品，ChatAvatar在兼容性、完成度和精度等產(chǎn)品效果層面，都超出了影眸團(tuán)隊(duì)預(yù)期。然而在吳迪口中，行至此處的過(guò)程“很狼狽”。

主要原因不外乎“缺人”一事。目前，影眸已經(jīng)在多類(lèi)別3D生成技術(shù)上取得了進(jìn)展，下一步還計(jì)劃推出“3D生成大模型”。

△影眸科技將于5月上線首個(gè)多模態(tài)跨平臺(tái)3D搜索引擎Rodin，打通Sketchfab等多個(gè)3D資產(chǎn)平臺(tái)，支持以文搜3D、以圖搜3D甚至以3D搜3D。搜索引擎只是Rodin的初級(jí)形態(tài)，影眸將把Rodin打造為3D生成大模型。

需要持續(xù)向前推進(jìn)，就需要更多的工程化團(tuán)隊(duì)、技術(shù)美術(shù)和擁抱生成式AI的產(chǎn)品人才加入團(tuán)隊(duì)。作為一個(gè)以研發(fā)為背景主基調(diào)的團(tuán)隊(duì)，這樣的人才仍然緊缺。

“人是萬(wàn)物的尺度，”吳迪表示道，“我們需要更多志同道合的人加入，共同推動(dòng)3D領(lǐng)域的創(chuàng)新發(fā)展。”

可以看到，ChatAvatar背后技術(shù)從無(wú)到有的搭建，揭示了一家AI初創(chuàng)公司的不斷創(chuàng)新；而從這家公司對(duì)人才的渴望以小見(jiàn)大，更揭示著AIGC浪潮下，每一個(gè)細(xì)分領(lǐng)域想要從水下浮出水面的心。

你愿意擁抱生成式AI，成為T(mén)ext-to-3D領(lǐng)域的Game Changer嗎？