開源數字人實時對話：形象可自定義，支持語音輸入，對話首包延遲可低至3s

西風 2024-10-24 14:24:59 來源：量子位

池煒恒（池化） 投稿

量子位 | 公眾號 QbitAI

開源數字人實時對話Demo來了～

支持語音輸入和實時對話，數字人形象可自定義的那種。

生成的數字人效果belike：

https://toutiao.com/article/7429207653936661044/

目前這個數字人實時對話Demo已在阿里巴巴ModelScope魔搭社區上線。

無需預訓練即可使用自定義的數字人形象進行實時對話，支持選擇不同的數字人形象和音色，對話首包延遲可低至3s。

基于開源技術，該項目采用模塊化系統設計，各模塊均可快速更換，開發者可以自由擴展和優化，適用于多種應用場景，包括但不限于直播、新聞播報和聊天助手等。

此外，該項目基于Gradio 5實現流式視頻輸出，方便部署和快速構建交互式數字人應用。

項目介紹

現有的熱門開源數字人項目主要有以下幾個：

Linly Talker，基于Gradio的數字人對話項目，多模型集成，功能豐富，但不支持實時對話和流式輸出。

LiveTalking，基于流媒體的數字人生成項目，數字人響應快，但交互界面比較簡陋，且需要配置服務器，部署難度較高。

awesome-digital-human-live2d，基于Dify編排的數字人互動項目，輕量化，交互方式豐富，但數字人形象不夠真實，且不支持口型同步。

針對現有開源項目存在的問題，本項目實現了一個基于開源的技術方案、支持語音輸入和實時對話、數字人形象真實且口型同步、可在線試用的開源數字人實時對話demo。

技術選型

由于目前缺乏效果較好的開源端到端語音/視頻對話模型，本項目采用多模塊級聯的技術方案。

首先，使用語音識別（ASR）模塊將用戶輸入的語音轉為文本，然后將該文本輸入大語言模型（LLM）模塊生成相應的文本回復，文本轉語音（TTS）模塊會根據這部分文本內容進行語音合成，最后使用該語音驅動說話人生成（THG）模塊，得到唇形同步的數字人說話視頻，實現用戶語音輸入、數字人視頻輸出的對話效果。

此外，為了方便在線試用和本地快速部署，使用流行的Gradio框架來構建交互式應用。

接下來介紹一下各個模塊使用的開源技術。

語音識別（Automatic Speech Recognition，ASR）模塊負責將用戶輸入的語音轉化為文本。本項目選用了提供工業級語音識別的工具包FunASR。

與PaddleSpeech、kaldi等同類項目相比，FunASR具有更加豐富的功能，包括語音識別、語音端點檢測、標點恢復、語言模型、說話人驗證、說話人分離和多人對話語音識別等。

不僅方便開發者在現有demo的基礎上進行擴展，加入更加豐富的語音功能；還便于部署，能夠提供高精度、高效率的語音識別服務。

大語言模型（Large Language Model，LLM）模塊負責生成回復內容。

本項目選用了目前備受關注的開源LLM——通義千問，來生成對話結果。

為了提高LLM模塊的響應速度且不影響對話效果，使用了輕量級模型來支持日常聊天場景。

如果開發者希望擴展到其他應用場景，可以選用參數規模更大的模型或多模態LLM如Qwen-VL、Qwen-Audio等，以支持更復雜的對話場景。

本項目提供了單輪對話和互動對話兩種模式，其中互動對話模式使用OpenAI的meta-prompt生成提示詞，每次只回復較短的內容，從而實現一問一答的互動效果。

文本轉語音（Text to Speech，TTS）模塊負責將生成的回復內容轉化為自然的語音。

GPT-SoVITS針對推理速度進行了工程優化，支持并行推理，從而提高了TTS的響應速度。

相比之下，另一個熱門項目ChatTTS雖然提供了更加接近真人的語氣和精細的韻律特征，但推理速度較慢，且在輸入文本較短時韻律優勢不明顯。

目前來看，GPT-SoVITS更加適合實時對話場景。

此外，機器性能有限的開發者還可以選擇使用開源項目edge-tts來進行語音合成，該項目利用微軟Edge瀏覽器的免費在線語音合成服務，能夠提供比GPT-SoVITS更快的合成速度。

demo還提供了開源項目CosyVoice的API調用，由阿里云大模型服務平臺百煉（Model Studio）支持。

說話人生成（Talking Head Generation，THG）模塊根據輸入的語音生成一段人物說話視頻。

本項目選用了目前實時性最好的THG方案MuseTalk。

MuseTalk只對輸入視頻中人物嘴唇周圍的圖像進行處理，將輸入的圖片和音頻編碼后使用交叉注意力機制進行融合，然后使用輕量化的Unet完成推理。

在完成預處理的情況下，MuseTalk在V100上可以達到30fps以上的處理速度，能夠滿足當前場景下數字人實時生成的要求。

與其他開源唇形同步方案（Wav2Lip、TalkLip、VideoRetalking等）相比，MuseTalk在提高生成速度和視頻分辨率的同時，保留了較好的唇形同步效果，并且無需額外訓練即可完成推理。

相比基于擴散模型的開源方案（EMO、Echomimic、Vasa-1等），雖然唇形同步方案生成的視頻結果不夠多樣化，但考慮到基于擴散模型的方案通常需要數分鐘的生成時間以及巨大的訓練/推理開銷，它們顯然不適合實時對話場景。

更進一步地說，由于唇形同步方案是基于給定的人物視頻生成結果，可以通過增加輸入人物視頻的動作和表情的豐富度來優化整體的觀感。

如果需要根據輸入的人物圖片生成視頻，可以使用MuseTalk團隊的配套開源項目MuseV和MusePose來生成有表情和動作的人物視頻，也可以使用圖生視頻模型來生成滿足需求的結果。

如果不受限于特定的人物形象，還可以利用文生視頻模型來發揮想象力。

前后端部分選用了適合做在線demo展示和本地快速部署的Gradio，為了實現視頻的流式傳輸，本項目使用了Gradio 5的Video Streaming功能。

由于Gradio 5剛發布且改動較大，創空間暫時不支持，因此創空間上的demo使用了支持Video Streaming的gradio 4.40.0測試版，用戶在本地部署時可直接使用最新發布的Gradio 5。

此外，本項目還使用了ModelScope提供的高階自定義Gradio組件庫，其中包括升級版的chatbot組件，支持輸出圖片、視頻等多模態內容。

同時，Lifecycle組件和Gradio的State組件能夠管理不同用戶的聊天記錄。利用這些組件，開發者無需任何前端知識即可實現功能豐富的在線交互式應用。

系統架構

考慮到LLM、TTS和THG這三個模塊均需要一定的處理時間，如果等待前一個模塊完全結束后再開始處理，則無法達到實時對話的要求。為了解決這一問題，本項目進行以下處理：

• 對所選開源方案的代碼進行了重構，將模型的初始化與推理過程分離開，并在正式推理前進行一次模型熱身，以避免首次推理時產生額外的初始化開銷，提高了模型的推理速度。
• 采用了支持流式輸出的并行流水線，邊推理邊播放，提高了數字人的響應速度。

下面展開來講講這個流式輸出的并行流水線。

通過使用LLM的流式輸出模式，系統在收到一定數量的文本后即可啟動后續處理?；谝韵驴紤]，本項目選擇以句子為單位進行處理：

• TTS模塊的GPT-SoVITS需要根據輸入文本的上下文來決定語音的語調、停頓等韻律，為了確保語音的流暢性，需要等待LLM輸出若干完整句子后再進行TTS處理。
• THG模塊的MuseTalk需要一定長度的音頻上下文來進行唇形同步推理。
• Gradio的Video組件只能接收帶音軌的視頻片段而非字節流，還需要將TTS模塊輸出的音頻和THG模塊輸出的視頻幀使用ffmpeg工具合成ts或mp4格式的視頻。

在此基礎上，本項目維護多個隊列，分別保存LLM生成的句子、TTS生成的音頻和THG生成的視頻幀，并結合多線程進行并行處理。這使得在完成第一個句子的處理后即可開始數字人的響應，邊推理邊播放，極大地降低了用戶的等待時間。

上圖中綠色標注部分所需的處理時間即為與數字人對話的首包延遲。

考慮到MuseTalk的推理耗時與輸入音頻的長度正相關，為了確保邊推理邊播放的流暢性，研究人員表示需要盡可能保證每次處理的片段長度均勻。

鑒于不同句子長度不一致，本項目設定了一個最小長度，當且僅當LLM緩沖區中的句子長度超過這個值時，將這部分內容作為一個包送入流水線開始處理。這個最小長度需要根據GPU性能動態調整，以平衡首包延遲和整體流暢度。

時延分析

以語音輸入“今天天氣怎么樣”為例，研究人員在單張A100上測試了各個模塊的用時和播放延遲。

為了確保后續包的流暢性，最小長度被設定為10個字符，即在LLM生成的句子累計超過10個字符后才開始處理。這種設置確保在流式播放時，后續包具有較低的延遲。

對于首包，用戶感知的播放延遲是所有模塊耗時之和。從上圖中可以看出，除了首包之外，后續包的播放延遲均小于0.5秒。

由于句子之間本身存在停頓，這種延遲對用戶體驗幾乎沒有影響。

如果想在本地運行本項目，可參考項目的README完成環境配置，支持更換各個模塊的技術選型，支持加入自定義的數字人音色和形象視頻。

下一步，本項目將會從以下幾個方面展開優化：

• 鏈路優化：目前THG模塊需要接受一段完整的音頻作為輸入，包與包之間的延遲會受音頻長度的影響。計劃對這部分鏈路進行優化，以提高整體性能。
• 端到端語音聊天：OpenAI在本月初發布了端到端的實時語音聊天API，可以取代現有的級聯鏈路，有效縮短數字人的響應時間。待OpenAI上線正式API或有其他開源的端到端方案后，將進行更新。
• 流式視頻播放：目前Gradio 5的Video Streaming功能基于HLS協議實現。計劃在后續版本中采用性能更好的方案，以提升用戶體驗。

對本項目感興趣的小伙伴可以試用在線demo～

項目鏈接：https://www.modelscope.cn/studios/AI-ModelScope/video_chat
項目README：
https://www.modelscope.cn/studios/AI-ModelScope/video_chat/file/view/master?fileName=README.md&status=1
創空間體驗地址：
https://www.modelscope.cn/studios/AI-ModelScope/video_chat
代碼倉庫：https://github.com/Henry-23/VideoChat