用AI把自己畫進動漫里，3天攬獲150萬+播放量，職業動畫師：有被嚇到
畫風與原作如出一轍
蕭簫 發自 凹非寺
量子位 | 公眾號 QbitAI
只需隨手錄制一段視頻，AI就能把你完美放進動漫中！
無論是線條、色彩還是光影呈現，都與美漫中的寫實風格如出一轍，動畫也是細膩流暢，幀數顯然不低：
制作這樣一部包含120個VFX（視覺效果）鏡頭的動漫，需要投入多少精力？
僅僅3個人就行，也無需服化和道具小組。
相比之下，此前拍攝的不少大片動畫特效往往需要投入大量精力，制作精良的團隊甚至達到上百人。
這部動漫被放到油管上后，三天就攬獲了150w+播放量，11萬+點贊。
已經有畫師看完感到害怕了：
我畢生致力于繪畫……然而這些幾年后就會被取代。
還有網友感到“兒時夢想成真”：
當年我還小的時候，一直以為動畫就是基于真實視頻做出來的。現在看到這個，覺得超酷。
那么，這樣一部動漫究竟是如何制作出來的？
如何用AI制作一部動漫？
過程一共分為三個部分。
第一部分是用AI創建并生成動漫人物，建立它與演員之間的關聯；第二部分是創作動漫場景；第三部分是合成并調整最終動漫效果。
先來看看第一部分的用AI改畫人物動漫。這部分是用Stable Diffusion完成的，同時采用了谷歌推出的DreamBooth擴散模型進行微調。
以動漫中的這名角色為例，左上角是演員原型，右下角是AI創作出來的動漫角色：
這可不是直接把視頻一幀幀放進Stable Diffusion中就能做出來的效果。
為了確保人物的動漫畫風達到他們想要的效果，作者們收集了經典動漫《吸血鬼獵人D》中的大量人物截圖，各種角度都有，將它們喂給AI：
與此同時，還需讓AI學會并記住真人從面部到身體上的各種細節特征。
因此，要提前給演員拍攝不同光照、多個角度、各類動作下的大量照片：
這樣一來，就能讓AI在看見視頻中的演員時，迅速以《吸血鬼獵人D》為作畫風格基礎，畫出演員長相的動漫風格人物來。
至于在某些不容易掌控的人臉放大鏡頭中，還采用了ControlNet進一步控制生成的效果。
不過，直接用AI生成的動漫，還存在一個問題。
即使幀與幀之間的差異不大，銜接起來并不完全連貫，一些“反復橫跳”的發梢和光影細節會導致畫面瘋狂閃爍：
作者們想到用DEFlicker去閃爍插件解決這件事，同時稍微調低一點幀率，保證畫面的流暢感。
第二部分就是生成場景了，這部分作者們直接用了虛幻引擎和里面自帶的一些3D模型，來制作動漫背景。
例如這段看起來非常炫酷的旋轉背景：
背后就是將大量場景照片合成起來，快速滾動做成的：
最后一部分就是合成之后的潤色了。
這部分倒是團隊自己完成的，他們在視頻中一方面加入了部分3D模型（如一晃而過的蠟燭）來增加人物的沉浸感：
另一方面添加了大量復古的視覺特效，使得動畫看起來又精良了不少：
最終就有了這部AI協助創作的動漫。
曾創作波士頓動力惡搞特效視頻
這部動漫創作背后的團隊Corridor Crew，來自一家叫做Corridor Digital的美國制作工作室。
Corridor Digital成立于2009年，這些年來創作了不少特效為主的流行短視頻。
比較為人所熟知的是2019年惡搞波士頓動力機器人的那個“Atlas的反擊”（New Robot Can Now Fight Back!）。
視頻中Atlas被人們反復霸凌虐待，最終忍無可忍，對人類發起攻擊：
△來源“Bosstown Dynamics”（狗頭）
這段視頻一度被人們認為是從波士頓動力流出的真實錄像，直到Corridor Digital出面否認。
隨后，波士頓動力也官方辟謠稱這只是Corridor Digital制作的一段CGI。
Corridor Digital工作室旗下的Corridor Crew團隊，則負責做專門解讀各種大片特效和背后制作技術流程的“揭秘節目”，團隊成員會篩選一些電視劇和電影，并討論和分解其中的視覺特效鏡頭。
他們也曾經邀請過不少特效師和演員來節目中做客，觀察他們對各種特效的反應。
對于團隊制作的這檔AI動漫，有網友調侃：
不如下次就邀請動畫師們如何？看看他們對于這部AI動漫的反應。
那么，你覺得AI做出來的這部動漫效果怎么樣？
參考鏈接：
[1]https://www.youtube.com/watch?v=_9LX9HSQkWo
[2]https://www.youtube.com/watch?v=ljBSmQdL_Ow
[3]https://twitter.com/bilawalsidhu/status/1631043203515449344
- 首個GPT-4驅動的人形機器人！無需編程+零樣本學習，還可根據口頭反饋調整行為2023-12-13
- IDC霍錦潔：AI PC將顛覆性變革PC產業2023-12-08
- AI視覺字謎爆火！夢露轉180°秒變愛因斯坦，英偉達高級AI科學家：近期最酷的擴散模型2023-12-03
- 蘋果大模型最大動作：開源M芯專用ML框架，能跑70億大模型2023-12-07
相關閱讀
