一張自拍變6種風格漫畫，視頻也支持，全程穩定不“掉線”，這個AI不到一天狂攬1800贊
網友：不如叫WaifuNet
把自拍變漫畫：
不止支持一種面部風格：
任憑小姐姐怎么“全身大比劃”，效果都能保持穩定，全程“不掉線”：
?
不止人臉，連全身和背景也都全部照顧到了。
這，就是最近在Reddit上大火的一個自拍變漫畫AI，不到一天就收獲了1800+贊。
什么來頭？
自拍變漫畫，人臉、全身、背景都照顧到
這個AI叫WebtoonMe，基于深度學習技術將圖像翻譯成漫畫風格。
熟悉的朋友可能知道，Webtoon，web+cartoon，也就是“網頁版漫畫”，是漫畫的一種呈現形式，出自韓國。
這個自拍變身漫畫AI的技術團隊也來自韓國。
一開始，他們只做了人臉轉換，后來打算把背景也包括進去。
不過問題就來了：照片中的各種物體（如面部、身體部位、衣服、背景等）的風格屬性都不太一樣，如何輸出統一的結果呢？
作者采訪了幾位webtoon的創作者后了解到，webtoon的“前景”和“背景”是用不同工具制作的，為了讓兩者更自然地融合，后期也添加了不少修飾。
因此，他們將這個AI分為面部轉換和背景轉換兩部分，即一個背景生成器+一個面部生成器，把人臉裁切出來和背景分別處理。
具體來說，他們先構建了一個webtoon數據集，這個數據集由人臉、身體部位、物體和自然背景等不同部分組成。
然后創建了各種深度學習模型，用來減少前景和背景元素之間的風格差異。
最后又模仿了不同webtoon創作者的修飾技術，通過幾種后處理算法，讓生成的結果更自然、質量更高。
具體的技術細節我們還未可知，目前也還沒有開放試用鏈接。
不過看起來讓很多心動的背后，一些細心的網友僅通過幾張示例就發現了一些問題。
眼睛的效果還需改進
就比如這個眼睛，很多網友表示有點恐怖啊，一直直視前方，眼球動也不動。
如果能模仿眼球轉動、眨眼睛、瞇眼等眼部動作，效果肯定會更好。
此外，拋去這一點，臉部和背景處理得都還不錯，就是這個身體部位風格化得不夠徹底，還是有點像真人。
倒是這個AI的穩定性值得讓人夸贊。
哦，還有一點美中不足，有網友“惋惜”：
要是這個AI還沒取名字就好了，不然就可以叫WaifuNet了……[旺柴]
One More Thing
要說這人物變動漫的AI，一直都層出不窮。
就比如前不久的AnimeGAN2，采用神經風格遷移+GAN，由湖北工業大學的三位學生和老師開發，也是大火，一度需要網友排幾小時大隊才能看一眼自己在動漫里的樣子。
AnimeGAN2的風格和今天的這個WebtoonMe不太一樣，變換重點也只包括人臉，所以眼部跟蹤做的挺好。
不過面對不夠高清的人臉時，效果一般。
兩者各有所長吧，你喜歡哪一種呢？
參考鏈接：
[1]https://webtoon.github.io/WebtoonMe/en
[2]https://www.reddit.com/r/MachineLearning/comments/sfbtds/p_webtoonme_project_selfie_to_webtoon_style/
- 北大開源最強aiXcoder-7B代碼大模型！聚焦真實開發場景，專為企業私有部署設計2024-04-09
- 剛剛，圖靈獎揭曉！史上首位數學和計算機最高獎“雙料王”出現了2024-04-10
- 8.3K Stars!《多模態大語言模型綜述》重大升級2024-04-10
- 谷歌最強大模型免費開放了！長音頻理解功能獨一份，100萬上下文敞開用2024-04-10
相關閱讀
你的涂鴉活了，CMU中國本科生讓畫成真丨有代碼有Demo
隨手涂鴉畫小人，它就活了，開始動了，仿佛是神筆馬良。這是CMU中國本科生Lingdong Huang創造的虛擬世界，在這里，只要隨意涂鴉，你筆下的形象就能立馬蹦蹦跳跳，就像魔法世界一樣。
