StableDiffusion嵌入現(xiàn)實世界,能在墻上直接長出小貓咪,手機可玩
衡宇 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
注意看,你面前是一堵平平無奇的墻。
現(xiàn)在,你可以按照自己的意愿,讓它直接憑空長出點東西來。
比如……一只小貓咪?
沒錯,Stable Diffusion又可以搞新花活了!
這一次的重點在于,Stable Diffusion的觸手?jǐn)U展到現(xiàn)實世界——和WebAR相結(jié)合。
作者是個軟件工程師小哥Stijn Spanhove,經(jīng)常在推特主頁發(fā)些關(guān)于WebAR或XR的視頻。
目前,這條憑空長貓的視頻熱度還挺不錯。
新世界的大門打開,有網(wǎng)友對AR+SD的興趣更濃了:
還有人說:
這簡直就是《反恐精英》一個酷斃了的新版本啊!
一起來看看這個有點酷的新東西吧~
SD與AR一起玩
首先,拿起手機,然后隨意選擇一堵墻,透過屏幕界面鎖定它:
選定一塊心儀區(qū)域,把它圈起來,全部涂黑。
輸入提示詞:
一只可可愛愛的小貓咪,涂鴉風(fēng)格,數(shù)字藝術(shù)
接著點擊輸入框下方的Diffusion按鈕,直接快進(jìn)到見證奇跡的時刻。
此時,無論從哪個角度看,墻上都有一幅《喵娜麗莎》在微笑地看著你了。
這個視頻,是小哥利用火到?jīng)]邊、門檻又低的Stable Diffusion,結(jié)合WebAR,搞出的第一個實驗產(chǎn)品。
他在評論區(qū)和圍觀網(wǎng)友討論了具體的工作流程。
第一步,凍結(jié)幀,把它作為生成圖像的表面紋理,并讓它擁有世界定位和設(shè)備跟蹤相機。
第二步,向服務(wù)器發(fā)送API請求,并附上凍結(jié)幀(圖像)和文本提示(Stable Diffusion)。
整個工作中,將Stable Diffusion嵌入現(xiàn)實世界是利用AR完成的。
關(guān)于繪制紋理,小哥則使用了Raycast(一款完全可擴(kuò)展的快捷啟動器)。
整個過程簡單利落,引發(fā)了網(wǎng)友新的思考。
目前有很多有趣的NPU(嵌入式神經(jīng)網(wǎng)絡(luò)處理器)硬件,手機的共享內(nèi)存也超過12GB。
在這個前提下,如果Stable Diffusion和AR一起玩這個工作能在本地運行,并且能夠快到在類似的請求時間內(nèi),完成整個512×512圖像生成,并在更快的AI上運行升級,一定非常有趣。
小哥自己也說,這個工作只是初嘗試,一切只是Stable Diffusion和AR結(jié)合的開始。
但大多數(shù)網(wǎng)友覺得這已經(jīng)是個很有趣的工作了,甚至想在上面“亂涂亂畫”好幾個小時。
AIGC打破次元壁
Stable Diffusion的風(fēng)吹進(jìn)現(xiàn)實世界,絕不是小哥一個人的想法。
具體的操作流程,基本都是在原基礎(chǔ)上用AR加持。
就在這幾天,另一位小哥用Stable Diffusion,搞了個視頻透視式光學(xué)透視式眼鏡。
(擱這兒疊buff呢?)
具體來說,就是小哥用Stable Diffusion做了個虛擬的AR眼鏡,然后在手機屏幕上透過眼鏡鏡片,實現(xiàn)AR效果。
生成的虛擬AR眼睛不僅有電量提示,透過它看現(xiàn)實,能呈現(xiàn)西部世界、叢林、異形等多種畫面風(fēng)格。
此外,還有人結(jié)合Meta旗下的AR創(chuàng)作工具Spark AR,利用Stable Diffusion,假裝自己手握了一個方塊小卡片。
就是上面還能播放動畫的那種。
為了達(dá)到逼真效果,作者還在卡片表面疊了一個反光圖層,讓卡片呈現(xiàn)的光澤“像玻璃杯一樣”。
不過,這次的Stable Diffusion產(chǎn)出的圖像不是實時生成,而是事先錄制的,因為當(dāng)下的Spark AR版本還不支持AI和ML。
“Very Nice,通過Stable Diffusion,AI和AR再一次緊密相連了。”
不管怎么說,Stable Diffusion這么火,不僅靠的是跑出來的驚人結(jié)果,觸及文本生成圖像以外的領(lǐng)域時,實力也很強勁呀~
參考鏈接:
[1]https://twitter.com/stspanho/status/1581707753747537920
[2]https://twitter.com/ThoseSixFaces/status/1581606079380672512
[3]https://twitter.com/sergeyglkn/status/1580167837770870784




