AI這樣把NB寫在臉上，它在玩一種很新的藝術(shù)

衡宇 2023-07-16 13:08:39 來源：量子位

衡宇 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

都說AI繪畫來勢(shì)洶洶，但論創(chuàng)意，還是人類玩得花。

不信來看看這張乍一看平平無奇，卻在網(wǎng)上瘋傳的AI生成美女圖片：

△圖源：抖音賬號(hào)@麥橘M(fèi)AJIC

趕緊按下手機(jī)截圖鍵，看看原圖和縮略圖的對(duì)比，你就能窺破玄機(jī)：

是的沒錯(cuò)！

這張AI生成的圖片里，偷摸在光影中融進(jìn)去了兩個(gè)漢字。

這兩天，類似圖片瘋狂刷屏。各個(gè)平臺(tái)上被爭相討論的，不僅有上面的NB姐，還有下面這位diao哥。

△圖源：抖音賬號(hào)@麥橘M(fèi)AJIC

以及這位禁止AI“穿”在身上的的紅毛衣小姐姐：

△圖源：抖音賬號(hào)@麥橘M(fèi)AJIC

建議大家在手機(jī)上手動(dòng)縮放一下這些圖，縮得越小，圖片夾帶的文字能更清晰。

還有網(wǎng)友給了別的“認(rèn)字”秘訣，比如摘下你的近視眼鏡：

呼聲最高的評(píng)論有兩種，一種是“牛哇牛哇”的感嘆，另一種是嗷嗷待哺的“蹲教程”。

所以，這些又牛又diao的圖，是怎么做出來的？

ControlNet又立大功

要讓光影在圖片甚至人物衣物上“寫字”，利用的工具還是那套神奇的AI繪圖組合：

Stable Diffusion+ControlNet。

作為最火爆的兩個(gè)AI繪畫工具之一，Stable Diffusion已經(jīng)風(fēng)靡一年，熱度不減，已經(jīng)被大伙兒熟知和玩壞了。

所以今天想重點(diǎn)介紹一下ControlNet，這家伙是Stable Diffusion的一個(gè)AI插件。

今年春天，ControlNet因?yàn)槟軌蚋愣ˋI原本無法控制的手部細(xì)節(jié)、整體架構(gòu)，一炮而紅，被網(wǎng)友們戲稱為“AI繪畫細(xì)節(jié)控制大師”。

Stable Diffusion根據(jù)提示詞生成圖像顯然太過隨機(jī)，ControlNet提供的功能，恰好是一種更精確地限制圖像生成范圍的辦法。

究其原理，本質(zhì)上是給予訓(xùn)練擴(kuò)散模型增加一個(gè)額外的輸入，從而控制它生成的細(xì)節(jié)。

“額外的輸入”可以是各種類型的，包括草圖、邊緣圖像、語義分割圖像、人體關(guān)鍵點(diǎn)特征、霍夫變換檢測(cè)直線、深度圖、人體骨骼等。

Stable Diffusion搭配ControlNet的整個(gè)過程中，第一步是預(yù)處理器生成圖像，第二步讓這些圖像經(jīng)過ControlNet模型的處理，第三步時(shí)，將圖像輸入到Stable Diffusion中，生成最后展現(xiàn)在用戶面前的版本。

單說ControlNet的整體思路，就是先復(fù)制一遍擴(kuò)散模型的權(quán)重，得到一個(gè)可訓(xùn)練副本（trainable copy）。

原本擴(kuò)散模型經(jīng)過幾十億張圖片的預(yù)訓(xùn)練，參數(shù)處于被“鎖定”的狀態(tài)。但這個(gè)可訓(xùn)練副本，只需要在特定任務(wù)的小數(shù)據(jù)集上訓(xùn)練，就能學(xué)會(huì)條件控制。

而且就算數(shù)據(jù)量很少——哪怕少于5萬張——模型經(jīng)過訓(xùn)練后，條件控制生成的效果也賊拉棒。

比如diao哥和NB姐的那幾張圖中，它主要起到的作用，就是負(fù)責(zé)確保文字作為光影、衣服圖案等，“放進(jìn)”了圖像中。

△圖源：抖音賬號(hào)@麥橘M(fèi)AJIC

抖音原作者表示，最后還用上了ControlNet tile模型，這個(gè)模型主要負(fù)責(zé)增加描繪的細(xì)節(jié)，并且保證在增加降噪強(qiáng)度時(shí)，原圖的構(gòu)圖也不會(huì)被改變。

也有AI愛好者“另辟蹊徑”，表示要得到如圖效果，可以用上ControlNet?brightness模型（control_v1p_sd15_brightness）。

這個(gè)模型的作用，是控制深度信息，對(duì)穩(wěn)定擴(kuò)散進(jìn)行亮度控制，即允許用戶對(duì)灰度圖像著色，或?qū)ι傻膱D像重新著色。

一方面，能讓圖片和文字融合得更好。

另一方面，能是讓圖片尤其是文字部分亮起來，這樣光影寫出的文字看起來會(huì)更加明顯。

眼尖的小伙伴們可能已經(jīng)發(fā)現(xiàn)了，給圖片加漢字光影的整體思路，跟前幾天同樣爆火的圖像風(fēng)格二維碼如出一轍。

不僅看起來不像個(gè)“正經(jīng)”二維碼，用手機(jī)掃掃還能真的跳轉(zhuǎn)到有效網(wǎng)頁。

不僅有動(dòng)漫風(fēng)，還有3D立體、水墨風(fēng)、浮世繪風(fēng)、水彩風(fēng)、PCB風(fēng)格……

同樣在Reddit等平臺(tái)上引起“哇”聲一片：

不過略有不同的是，這些二維碼背后不僅需要用到Stable Diffusion和ControlNet（包括brightness模型），還需要LoRA的配合。

感興趣的旁友們，可以戳量子位之前的文章一探究竟《ControlNet新玩法爆火》。

AI大手子分享教程

光影效果爆火之后，推特上很快有AI大手子站出來表示愿意分享手把手教程。

大概思路非常簡單，分為3個(gè)重要步驟：

第一步，安裝Stable Diffusion和ControlNet；
第二步，在Stable Diffusion中進(jìn)行常規(guī)的文生圖步驟；
第三步，啟用ControlNet，重點(diǎn)調(diào)整Control Weight和Ending Control Step兩個(gè)參數(shù)。

運(yùn)用這個(gè)方法，不僅可以完成人像和光影文字的融合，城市夜景什么的，也妥妥的。

大佬還在教程里溫馨提示了一下：

寫提示詞時(shí)，盡量不要用一些例如特寫人像之類的提示詞，不然文字或者圖案就會(huì)蓋在人臉上，很難看.

（教程鏈接：https://mp.weixin.qq.com/s/rvpU4XhToldoec_bABeXJw）

有了手把手教學(xué)，加上同思路的AI二維碼制作秘籍早已公開，網(wǎng)友們已經(jīng)玩嗨了：

△圖源微博、抖音網(wǎng)友，為AI生成作品

你說說，這效果，這動(dòng)手能力，誰看了不說一句NB呢？（doge）

如果你也動(dòng)手NB了一下，歡迎在圍脖平臺(tái)@量子位，投喂你的最終成品和我們互動(dòng)嗷～

參考鏈接：
[1]https://mp.weixin.qq.com/s/rvpU4XhToldoec_bABeXJw
[2]https://twitter.com/op7418/status/1680223090138316800