人在ICCV，介紹兩篇入選的“穿衣服換衣服”論文
乾明 假裝發自 首爾
量子位 報道 | 公眾號 QbitAI
人在ICCV 2019，剛從韓國首爾離開。【doge
說兩篇有意思的論文吧，來自一個中國小哥，都是關于“衣服”的研究。
一篇教人穿衣服，另一篇給人換衣服。
比脫衣服的研究難多了，而且頗具商業價值。
第一篇教人穿衣服：FiNet模型
這篇論文題目為Compatible and Diverse Fashion Image Inpainting，還被接收為Oral論文（接受率僅4.6%），研究方向是時裝搭配。
研究到了這個程度，只是簡單地將輸入圖像中缺失的時尚單品補全已經不夠用了。
想要突出還要注重整體搭配的協調性與真實性。
在這個過程中，最棘手的一個問題是，如何在耦合形狀和外觀時，妥善處理衣服的邊界。
這也是同類模型效果不如人意，且無法商業化的關鍵點之一。
這個論文中，作者提出了一個名為FiNet的模型，基于兩階段的變分自編碼器的生成網絡，在滿足多樣性和兼容性的條件下，來填充圖像中缺失的時尚商品。
核心思路是，分別用形狀生成網絡和外觀生成網絡，來依次生成缺失衣服的形狀和外觀。
從而使FiNet可以在目標區域中修復出具有不同形狀和外觀的服裝。
△形狀生成網絡
△外觀生成網絡
為了保證兼容性，作者也在其中集成了一個兼容性模塊，將兼容性信息編碼到網絡中，來保證讓生成衣服的形狀和外觀都是和其他衣服是兼容搭配的。
如此研究，應用場景也頗為廣泛。
從用戶的角度來說，在不知道穿什么衣服出門的時候，可以讓計算機模型自動生成搭配的潮流服裝。
而商家，則是可以將這一技術，應用到時裝設計和新時尚商品推薦等應用中，來更好的實現商業購買轉化，進一步激發用戶的消費力。
那效果如何呢？在論文中，作者給出的效果是這樣的：
直觀來看，與Pix2Pix+noise、BicyleGAN、VUNET、ClothNet等方法相比，效果比較好。
從實際應用的角度來分析，FiNet模型的結果，也相對更接近落地一些。
論文地址：
FiNet:Compatible and Diverse Fashion Image Inpainting
https://arxiv.org/abs/1902.01096v2
第二篇：給人換衣服，ClothFlow模型
這篇論文名為ClothFlow: A Flow-Based Model for Clothed Person Generation，研究主題也是衣服生成。
但與FiNet模型比起來，這篇論文的實現方式與應用方向都有很大不同。
ClothFlow是一個基于外觀流的衣服生成模型。
主要用于將一個圖片中的服裝渲染到另外一張圖片上，其想要實現的效果是這樣的：
具體的實現方式，是使用一個級聯的特征金字塔網絡，估算源服裝區域和目標服裝區域的幾何變換，然后通過多個基于編碼器-解碼器的生成網絡來實現“衣服遷移”。
在論文中，作者也多次提到了這一研究的應用場景——虛擬試衣等服裝相關應用。
尤其是在直播場景中，有不少的想象空間。
這一技術成熟后，主播可以虛擬換裝，省去買衣服的成本和換衣服的時間。
而且， 用戶也可以根據自己的喜好給主播選穿什么樣的衣服。
論文地址：
ClothFlow: A Flow-Based Model for Clothed Person Generation
http://openaccess.thecvf.com/content_ICCV_2019/papers/Han_ClothFlow_A_Flow-Based_Model_for_Clothed_Person_Generation_ICCV_2019_paper.pdf
作者
最后簡單介紹下論文作者吧。
主題相近、方法不同的兩篇入會論文，一作都是一位叫韓欣彤的小哥。
隨手查了下履歷：
上海交大本科、馬里蘭大學帕克分校博士。
2018年進入工業界，先在創業公司碼隆科技任職算法研究員。
最新已被挖到虎牙，是中國直播一哥公司的計算機視覺Tech Lead。
他說，接下來還是會持續關注直播內容生成方向，比如人臉和人體的驅動和生成。
韓欣彤很年輕，但已經在CVPR，ICCV，ECCV等頂級會議發表了近十篇論文。
而且據他自己介紹，是上海交大本科三年級時才真正接觸計算機視覺，至今7年。
所以也是真正找到了興趣和擅長，也趕上了時代潮流。
我們問虎牙，這次韓欣彤博士穿衣服、換衣服的研究，會跟他現在在虎牙的工作進一步相關起來嗎？
比如——一個大膽而規矩的想法，在直播中給主播虛擬換裝，或者讓用戶給主播換衣服。
他們沒給直接肯定的答案。
不過也云山霧罩透露：在學在產，虎牙的技術研發都不會僅僅存在于論文中，也會進一步進入到平臺業務中。
所以，就說你們這些搞技術研究的，贊得很。（大誤）
— 完 —
- 視頻理解霸榜！快手Keye-VL旗艦模型重磅開源，多模態視頻感知領頭羊2025-11-28
- 中國唯一！阿里千問斬獲全球AI頂會最佳論文2025-11-28
- 第19屆中國投資年會·有限合伙人峰會在滬成功舉辦2025-11-28
- C++之父親臨北京，AI 原生時代最值得參加的系統軟件技術大會日程發布2025-11-28
相關閱讀
思謀科技11篇論文入選ICCV 2021
此次思謀入選的論文涵蓋了眾多前沿技術領域，包括語義分割、參數對比學習、邊界引導對抗訓練、視頻暗光增強、視頻實例分割、目標檢測算法、深度神經網絡、自監督學習、點云變壓器等，彰顯其全面領先的科研實力與技術水平。
