阿里音頻生成大模型一次發(fā)倆還開源！50種語言快速理解+5種語言語音生成，帶情感的那種

西風 2024-07-07 13:40:05 來源：量子位

FunAudioLLM團隊 投稿

量子位 | 公眾號 QbitAI

OpenAI遲遲不上線GPT-4o語音助手，其它音頻生成大模型成果倒是一波接著一波發(fā)布，關鍵還是開源的。

剛剛，阿里通義實驗室也出手了——

最新發(fā)布開源語音大模型項目FunAudioLLM，而且一次包含兩個模型：SenseVoice和CosyVoice。

SenseVoice專注高精度多語言語音識別、情感辨識和音頻事件檢測，支持超過50種語言識別，效果優(yōu)于Whisper模型，中文與粵語提升50%以上。

且情感識別能力強，支持音樂、掌聲、笑聲、哭聲、咳嗽、噴嚏等多種常見人機交互事件檢測，多方面測試拿下SOTA。

CosyVoice則專注自然語音生成，支持多語言、音色和情感控制，支持中英日粵韓5種語言的生成，效果顯著優(yōu)于傳統語音生成模型。

僅需要3~10s的原始音頻，CosyVoice即可生成模擬音色，甚至包括韻律、情感等細節(jié)，包括跨語種語音生成。

而且CosyVoice支持以富文本或自然語言的形式，對生成語音的情感、韻律進行細粒度的控制，生音頻在情感表現力上得到明顯提升。

話不多說，具體來看FunAudioLLM的用途以及效果展示。

FunAudioLLM能用來做什么？

基于SenseVoice和CosyVoice模型，FunAudioLLM可支持較多的人機交互應用場景，例如音色情感生成的多語言語音翻譯、情緒語音對話、互動播客、有聲讀物等。

同音交傳：模擬音色與情感的多語言翻譯

通過結合SenseVoice、LLM以及CosyVoice，可以無縫地進行語音到語音的翻譯（S2ST）。

需要注意的是，原始錄音在文本中會以粗體顯示。這種集成化的方法不僅提升了翻譯的效率和流暢性，而且通過感知語音中的情感和語調，它能夠在譯文中復現原始語音的情感色彩，讓對話的交流更加真實和動人。

無論是多語種的會議通譯、跨文化的交流溝通，還是為非母語者提供即時語音翻譯服務，這一技術都將大大縮小語言差距和溝通中的信息減損。

強情感交互的語音對話

通過融合SenseVoice、大語言模型（LLM）和CosyVoice，能夠支持開發(fā)一款情感語音聊天應用程序。

當SenseVoice解析出情緒/情感/咳嗽等副語言信息后，大模型輸出相對應的反饋情緒，并由CosyVoice生成出適當的聲音情緒，從而完成舒適自然的對話交互過程。

在以下示例中，用戶和助手的所有對話內容均由CosyVoice生成。

專屬AI博客電臺

通過將SenseVoice、基于LLM的具有實時世界知識的多代理系統和CosyVoice整合，能夠創(chuàng)造一個互動式播客電臺。

在這樣的播客中，SenseVoice利用其高精度多語言語音識別功能，實時捕捉AI播客和用戶的對話，甚至能夠辨識環(huán)境音效和情感。

LLM多代理系統則能夠處理SenseVoice提供的語音數據，實時更新世界知識庫，確保話題和信息的及時性和準確性。在交互中，用戶可以隨時打斷AI播客的對話，引導主題方向等，CosyVoice將用于生成AI播客的語音，具備多種語言、音色和情感的控制能力，為聽眾帶來豐富多彩的聽覺體驗。

有聲讀物

借助于LLM出色的分析能力，可對書籍內容進行結構化并識別其中的情感，再與CosyVoice的語音生成技術結合，能夠實現具有更高表現力的有聲讀物。

LLM深入理解文本，捕捉每一個情感波動和故事弧線，而CosyVoice則將這些情感細膩地轉化為語音，帶有特定的情緒色彩和強調，為聽眾提供一個不僅豐富多彩而且情感充沛的聽覺體驗。

這樣的有聲讀物不再是單一無變化的朗讀，而是一場充滿情感與生動表達的聽覺盛宴，讓每個故事和角色都栩栩如生。

FunAudioLLM技術原理解析

CosyVoice

CosyVoice是一款基于語音量化編碼的語音生成大模型。

它對語音進行離散化編碼，并依托大模型技術，實現自然流暢的語音生成體驗。與傳統語音生成技術相比，CosyVoice具有韻律自然、音色逼真等特點。

CosyVoice支持多達5種語言，同時還支持以自然語言或富文本形式對生成語音進行情感等維度的細粒度控制。

研究團隊提供了基模型CosyVoice-300M、經過SFT微調后的模型CosyVoice-300M-SFT、以及支持細粒度控制的模型CosyVoice-300M-Instruct，可滿足不同場景下的使用需求。

生成語音客觀指標

研究團隊分別在開源中文數據集Aishell3以及英文數據集LibriTTS上，通過語音識別測試了合成音頻的內容一致性。

通過與原始音頻以及最近大火的ChatTTS對比，可以發(fā)現CosyVoice的合成音頻在內容一致性上更高，并且沒有很少存在幻覺額外多字的現象。

CosyVoice很好地建模了合成文本中的語義信息，達到了與人類發(fā)音人相當的水平。此外，通過對合成音頻進行重打分，能夠進一步降低識別的錯誤率，甚至在內容一致性和說話人相似度上超越人類。

情感控制能力

研究團隊還使用預訓練的情感分類模型評價了CosyVoice的情感控制能力，主要包括高興/悲傷/生氣/害怕/反感等5種高表現力的語音情感。

測試結果表明，CosyVoice-300M本身具備一定從文本內容中推斷情感的能力，經過細粒度控制訓練的模型CosyVoice-300M-Instruct在情感分類中的得分更高，具備更強的情感控制能力。

SenseVoice

SenseVoice是一個基礎語音理解模型，具備多種語音理解能力，涵蓋了自動語音識別（ASR）、語言識別（LID）、情感識別（SER）以及音頻事件檢測（AED）。

該模型旨在提供全面的語音處理功能，從而支持構建更復雜的語音交互系統。

SenseVoice-Small是一款僅含編碼器的輕量級基礎語音模型，設計用于快速語音理解。它可以快速處理語音數據，并在有需要時迅速做出響應，適用于對延遲敏感的應用場合，如實時語音交互系統。

SenseVoice-Large則是一個包含編碼器和解碼器的大型基礎語音模型。這個版本的SenseVoice專注于更精確的語音理解，擁有對更多語言的支持能力。它適合于對識別精度有更高要求的場景，可以處理更復雜的語音輸入，并生成更為準確的結果。

多語言語音識別性能

研究團隊在開放源數據集上比較了SenseVoice和Whisper的多語言識別性能和推理效率，包括AISHELL-1、AISHELL-2、Wenetspeech、Librispeech和Common Voice。

推理效率評估是在A800機器上進行的。SenseVoice-Small采用非自回歸端到端架構，由此帶來的推理延遲極低——相比之下，它比Whisper-Small快7倍，比Whisper-Large快17倍。

語音情感識別性能

SenseVoice也可以用于離散情緒識別，目前支持的情緒類型包括高興、悲傷、憤怒和中性。

團隊在7個流行的情緒識別數據集上對其進行了評估。即使沒有對目標語料庫進行微調，SenseVoice-Large都能在大多數數據集上達到或超越最新的最佳結果（SOTA）。

音頻事件檢測性能

SenseVoice-Small與SenseVoice-Large模型都能在語音中檢測音頻事件，包括音樂、掌聲和笑聲。

SenseVoice-Large模型除了能夠預測音頻事件的類型，還能精準識別事件發(fā)生的起始和結束位置。

與之相比，SenseVoice-Small模型雖然僅能預測音頻中發(fā)生的事件類型（僅限于一個事件），但它能夠檢測到更多種類的事件，諸如在人機互動過程中可能出現的咳嗽、打噴嚏、呼吸和哭泣等。

目前，與SenseVoice和CosyVoice相關的模型已在ModelScope和Huggingface上開源，同時在GitHub上發(fā)布了相應的訓練、推理和微調代碼。

FunAudioLLM：https://github.com/FunAudioLLM
CosyVoice開源倉庫：https://github.com/FunAudioLLM/CosyVoice
CosyVoice在線體驗：https://www.modelscope.cn/studios/iic/CosyVoice-300M
SenseVoice開源倉庫：https://github.com/FunAudioLLM/SenseVoice
SenseVoice在線體驗：https://www.modelscope.cn/studios/iic/SenseVoice