ControlNet作者新項目爆火：僅一張圖生成25秒繪畫全過程！不到一天GitHub攬星600+
勾線/上色/調色都有
西風 發自 凹非寺
量子位 | 公眾號 QbitAI
ControlNet作者張呂敏（Lvmin Zhang）又又又發新作了！
輸入任意一張圖，分分鐘就能“拆解”成一個25秒的圖像繪制過程視頻：
從線稿到填色還有局部細節調整，全都有的那種：
而且不止動漫風，各種風格都能駕馭：
這個項目名為Paints-Undo，發布不到24小時，GitHub上已攬星600+：
網友們針對它的討論也經歷了一輪又一輪，不少人紛紛表示“這個是真牛P”。
……甚至因為效果太好，遭到網友吐槽：
手繪偽造成本又低了。
還有不少網友已經玩上了：
Ctrl+ZZZZZZZ
據GitHub主頁上的介紹，Paints-Undo的命名有“其繪制過程就像是在繪畫軟件中多次按下撤消（Undo）按鈕”之意。
該項目包含一系列模型，展示了各種人類繪畫行為，比如素描、勾線、上色、陰影、變形、左右翻轉、調整色彩曲線、改變圖層透明度，甚至在繪畫過程中改變整體想法等等。
目前發布了兩個型號：paints_undo_single_frame和paints_undo_multi_frame。
paints_undo_single_frame為單幀模型，基于SD1.5架構進行了改進，輸入為一張圖和一個operation step，并輸出一張圖。
operation step相當于Ctrl+Z（撤銷）多少次，比如operation step為100，就相當于會得到一張Ctrl+Z 100次的效果圖。
paints_undo_multi_frame是多幀模型，基于VideoCrafter打造，但沒有使用原始Crafter的lvdm，所有的訓練/推理代碼都是從頭開始完全實現。
經過訓練后，多幀模型整體架構類似于Crafter，包含5個組成部分：3D-UNet、VAE、CLIP、CLIP-Vision、Image Projection。
多幀模型輸入為兩張圖片，輸出是這兩張圖片之間的16幀中間幀，其結果比單幀模型更加一致，但也更慢，創造性較低。
代碼庫默認方法是將兩個模型一起使用：
首先使用單幀模型獲取5-7個“關鍵幀”，然后使用多幀模型來“插值”這些關鍵幀，最終生成一個相對較長的視頻。理論上甚至可以生成無限長的視頻，但在開發測試中幀數為100-500時，結果較好。
可以通過以下方式在本地部署：
介紹中還提到，項目測試是在24GB顯存的Nvidia 4090和3090TI上進行。理論上說，16GB的顯存應該也夠用，但8GB就不行了，最少需要大概10到12.5GB的顯存。
根據不同配置，處理一張圖大約需要5-10分鐘。
生成視頻時長25秒，幀率為4FPS，分辨率可能是320×512、512×320、384×448或448×384。
更多玩法展示
除了直接生成25秒的從線稿到上色的視頻，還有其它玩法。
比如輸入線稿，也能生成線稿繪制過程：
單輸入多輸出也可以：
或者還可以從一張圖提取出不同精細程度的線稿：
插入一張線稿，直接在此線稿基礎上填色也行：
感興趣的家人們可以親自動手試試～
GitHub鏈接：https://github.com/lllyasviel/Paints-UNDO
- 商湯分拆了一家AI醫療公司，半年融資10億，劍指“醫療世界模型”2025-12-02
- “豆包手機”在二手市場價格都翻倍了……2025-12-05
- OpenAI首席研究員Mark Chen長訪談：小扎親手端湯來公司挖人，氣得我們端著湯去了Meta2025-12-03
- 讓大模型學會“高維找茬”，中國聯通新研究解決長文本圖像檢索痛點｜AAAI 2026 Oral2025-12-01
相關閱讀
CVPR2025視頻生成統一評估架構，上交x斯坦福聯合提出讓MLLM像人類一樣打分
能夠通過模擬人類的認知過程，建立起連接文本指令與視覺內容的智能評估體系。
