僅用1/4數據量還原真人語音100%細節，火山語音上新語音合成技術

量子位的朋友們 2022-09-14 11:49:14 來源：量子位

數星星盼月亮，萬千杰迷苦等6年，不久之前終于等到周董發新專輯啦！一經上線引爆全網討論。

正當大家沉浸在對那時青蔥歲月的美好追憶時，發來上述這段音頻的小伙伴表示：這段對話居然是語音合成的！提到“語音合成”，你腦海中可能會出現這樣的種種：

• 導航中種類豐富但語氣機械的“前方路口左轉”……
• 接電話時，對面笨拙無感情的“您好，這里是xx信用卡中心”……
• 視頻網站上，十個解說視頻九個聲音相同，看到就想趕快劃走的“注意看，這個男人叫小帥”……

而如今直接顛覆了許多人的刻板印象，語音合成技術已經能做到像上面那段音頻一樣完美自然的效果了。這段音頻的發布者，火山語音，字節跳動 AI Lab Speech & Audio 智能語音與音頻團隊，為了更好地向大眾解密里面的技術亮點。

這幾句輸入的文本完全相同，即 “南方菜系偏愛蘸料，例如我第一次去上海才知道燒烤里的蔬菜也需要配蘸料” ，但合成的音頻效果卻有明顯差異，即第二段音頻來源于火山語音團隊本次上新的超自然對話語音合成技術。

回想一下人在日常表達時的狀態，大腦處理信息是需要思考時間的。體現到語言上，人就會不由自主的出現一些猶豫、拖音、倒裝，甚至是說了一半改口、結巴重復的情況，也會刻意加重讀音強調想表達的重點信息。這就帶來了大量難以觀測的細微表達。這些現象在傳統的TTS中難以被捕捉還原。而這些細微之處的完美復現正是讓聲音真假難辨的奧妙之源，也是上述音頻的奧秘所在。

具體來說，火山語音團隊最新發布的超自然對話語音合成技術相較傳統TTS更加真實自然，即語氣詞、吸氣聲、猶豫時的停頓以及字音拖長等細節統統被完美復現，而且只需常規音庫1/4數據，就可完美還原真人說話細微的韻律特點、發音口癖，讓合成效果更加真實。

有專業評測結果顯示，火山語音的這項新技術與真人錄音對比基本沒有差距，難以被評測者分辨出來。此外這項技術目前已在視頻配音、電話客服等多個場景投入應用，近日即將上線火山引擎語音技術官網對外露出。

這么厲害的技術，究竟是怎么辦到的？

據介紹，上述這些在實際交流中經常出現的倒吸氣、吞音、思考時不由自主的拖長字音、低笑等表現被稱為副語言現象（paralanguage），盡管這是人腦思考、表達過程中最真實的表現，但由于傳統的語音合成技術框架無法對分布稀疏的副語言現象進行有效建模，所以在說話時的韻律還原度表現有限、過于“正確”。基于上述難點，火山語音超自然語音合成技術分別從文本和語音建模兩個層面進行突破，具體來說：

• 在文本層面，火山語音采用了生成式的風格遷移模型，模仿真人說話的方式對文本進行可控的口語化轉寫，讓文本更好地擁抱口語化，避免最終效果太過書面。
• 在語音層面，團隊則是通過文本分析模型的突破，在TTS的輸入側額外增加了副語言預測，模仿真人的發音特點來實現自然自發的語音效果。

值得一提的是，團隊通過使用無監督特征的TTS建模方案，有效提高了模型的穩定性與表現力，僅僅使用常規音庫1/4的數據規模，就可以實現十分自然多變的韻律效果，很贊吧？

致力文本口語化 讓“擬真人表達”躍然紙上

文本作為語音合成技術的輸入，其風格是否貼近真人的表達方式，是合成效果提升的第一步；但受限于根深蒂固的書寫用語習慣，大多數合成前的文本并不夠自然，或者需要投入大量精力不斷調整，費時費力。為了解決此類問題，火山語音團隊采用了兩階段方案并取得了不錯的效果：

• 階段一：采用自監督方法，使用偽數據對口語化模型進行預訓練，降低了數據量的需求；同時在模型中引入了指針網絡結構，增強了文本可控性。
• 階段二：利用少量優質的人工標注數據，對預訓練好的口語化模型進行微調，最終實現可控的、自然的口語化文本效果。

副語言建模+韻律多樣性可圈可點

語音真實感全面升級

為了更好地還原真人，區別于傳統的語音合成技術，火山語音在副語言建模和韻律多樣性上也分別進行了深入研究。在副語言建模方面，團隊推出的合成技術實現了聲學模型對自然表達中出現的吸氣、笑聲、猶豫、修正等多種副語言現象建模，并且結合文本的語義信息自動插入副語言現象。在插入過程中同時考慮合理性與隨機性，表現更加自然真實。

“在韻律多樣化的探究中，我們結合無監督表征學習技術，自主研發了高表現力的聲學模型框架，通過發音、韻律、音色解耦等方式，不但降低了數據量的需求，實現對出現頻率極低發音現象的高效建模；同時使用無監督表征特征并結合音素級別的基頻、能量信息等，實現了韻律的自然多變，促成高質量對話語音生成。”火山語音團隊總結道。

火山語音，字節跳動AI Lab Speech&Audio智能語音與音頻團隊，長期以來面向抖音、剪映、番茄小說、飛書等業務提供領先的AI語音技術能力及全棧語音產品解決方案，并通過火山引擎向外部企業開放技術服務。