剛剛拿下「中國AI最高獎(jiǎng)」的語音技術(shù)，能給我們帶來什么？

金磊 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號 QbitAI

什么樣的語音項(xiàng)目，能拿“中國AI最高獎(jiǎng)”？

不久前，中國唯一國家級的人工智能科技獎(jiǎng)——吳文俊人工智能科學(xué)技術(shù)獎(jiǎng)，公布了最新一屆的獲獎(jiǎng)名單。

而在人工智能自然科學(xué)獎(jiǎng)的5個(gè)一等獎(jiǎng)中，唯一一項(xiàng)語音相關(guān)的獎(jiǎng)項(xiàng)，花落上海交通大學(xué)。這也是語音領(lǐng)域的研究成果第一次獲得吳文俊人工智能科學(xué)技術(shù)獎(jiǎng)的一等獎(jiǎng)。

獲獎(jiǎng)人分別為：

 

• 錢彥旻，上海交通大學(xué)計(jì)算機(jī)科學(xué)與工程系副教授、思必馳上海交通大學(xué)智能人機(jī)交互聯(lián)合實(shí)驗(yàn)室副主任；
• 俞凱，上交大計(jì)算機(jī)系教授、思必馳首席科學(xué)家；
• 譚天，上交大博士畢業(yè)、思必馳語音技術(shù)研發(fā)工程師；
• 劉媛，上交大碩士畢業(yè)。

 

不過稍微熟悉產(chǎn)業(yè)的盆友也知道，這個(gè)團(tuán)隊(duì)除了“上海交大”的底色，還都有獨(dú)角獸思必馳的影子。

團(tuán)隊(duì)獲獎(jiǎng)所憑借的技術(shù)成果，叫“魯棒語音信號模式分析與識別的深度結(jié)構(gòu)化建模理論與方法”。

這到底是一項(xiàng)怎樣的新技術(shù)？

斬獲”AI最高獎(jiǎng)”的語音技術(shù)

在語音分析與識別中，傳統(tǒng)的用深度學(xué)習(xí)建模方式，主要是堆疊神經(jīng)網(wǎng)絡(luò)層數(shù)和神經(jīng)元單元，或通過增加數(shù)據(jù)來提高性能。

但這種方式的一個(gè)缺點(diǎn)，就是往往不具備可解釋性。

而錢彥旻團(tuán)隊(duì)的工作，便是將結(jié)構(gòu)化的方法引入到模型設(shè)計(jì)和優(yōu)化中，通過引入結(jié)構(gòu)賦予神經(jīng)網(wǎng)絡(luò)更強(qiáng)的物理含義和參數(shù)解釋，并利用人腦的聽覺相關(guān)機(jī)理來指導(dǎo)這種結(jié)構(gòu)的設(shè)計(jì)。這就會讓其更具備可解釋性，使得語音模型的優(yōu)化目標(biāo)更高效，最終提升語音信號分析與識別系統(tǒng)在各個(gè)場景下的魯棒性。

進(jìn)一步而言，主要分為三個(gè)主攻方向，分別是從信道、環(huán)境和人來做的差異化工作。

在“信道”和“環(huán)境”方面，二者的研究往往是相伴相隨，錢彥旻團(tuán)隊(duì)的研究集中在了對它們的表示與感知。

例如2016年和2018年發(fā)表在頂刊IEEE TASLP上的?Very Deep Convolutional Neural Networks for Noise Robust Speech Recognition?和Adaptive Very Deep Convolutional Residual Network for Noise Robust Speech Recognition，便讓語音識別在噪聲環(huán)境下的也具有較好的魯棒性。

錢彥旻團(tuán)隊(duì)首先在2016年的研究證明了極深卷積神經(jīng)網(wǎng)絡(luò)（VDCNN），具有優(yōu)越的自主抗噪魯棒性。

然后在2018年，在以上這項(xiàng)研究基礎(chǔ)上，提出了一種更先進(jìn)的模型，稱為極深卷積殘差網(wǎng)絡(luò)?（VDCRN），并通過感知自適應(yīng)技術(shù)，使得模型可以對環(huán)境變化做自動(dòng)的調(diào)整。

簡單來說，這個(gè)模型結(jié)合了批處理歸一化和殘差學(xué)習(xí)，比剛才提到的VDCNN具有更強(qiáng)的魯棒性。

而這項(xiàng)研究的重點(diǎn)集中在了因子感知訓(xùn)練（FAT）和聚類自適應(yīng)訓(xùn)練（CAT）上。

對于FAT來說，團(tuán)隊(duì)探索了一個(gè)統(tǒng)一的框架，如上圖所示。

至于CAT方面，則是提出了兩種方案來構(gòu)建規(guī)范模型，如下圖所示。

最后，為了在嘈雜場景下獲得最佳的系統(tǒng)性能，還提出了一個(gè)完整的多系統(tǒng)融合框架。

實(shí)驗(yàn)結(jié)果表明，新的VDCRN具有更強(qiáng)的魯棒性，對該模型的自適應(yīng)能進(jìn)一步顯著降低單詞錯(cuò)誤率。

特別是在Aurora4上，僅通過改進(jìn)聲學(xué)建模，就達(dá)到了5.67%的新里程碑。

人，在語音識別過程中，也是一個(gè)非常重要的因素之一。

換言之 ，如何將一段語音中的人和人之間的區(qū)別，通過參數(shù)化的表示，在數(shù)學(xué)層面上展現(xiàn)出來。

在這方面，錢彥旻團(tuán)隊(duì)也做了相應(yīng)的工作，早在2015年便發(fā)表了題為Deep feature for text-dependent speaker verification的研究。

值得注意的是，這項(xiàng)研究在2019年獲得了語音領(lǐng)域權(quán)威期刊Speech Communication的最優(yōu)論文獎(jiǎng)。

這項(xiàng)研究為了讓深度學(xué)習(xí)模型更好地融入到“說話人”的驗(yàn)證過程中，提出了從深度學(xué)習(xí)模型中提取更有說話人鑒別能力的新方法。

與傳統(tǒng)的短時(shí)譜特征（例如MFCC、PLP）不同的是，錢彥旻團(tuán)隊(duì)采用了各種深度模型隱含層的輸出作為深度特征，進(jìn)行文本相關(guān)“說話人”驗(yàn)證。

具體而言，一共包括四種類型的深度模型：

 

• 深度受限玻爾茲曼機(jī)（deep RBM）
• 語音判別深度神經(jīng)網(wǎng)絡(luò)（speech-discriminant DNN）
• 說話人判別深度神經(jīng)網(wǎng)絡(luò)（speaker-discriminant DNN）
• 多任務(wù)聯(lián)合學(xué)習(xí)深度神經(jīng)網(wǎng)絡(luò)（multi-task joint-learned DNN）

 

一旦深度特征被提取出來，它們可以在GMM-UBM框架或示性向量（如，i-vector）框架內(nèi)使用。

與此同時(shí)，團(tuán)隊(duì)還提出了“聯(lián)合線性判別分析”和“概率線性判別分析”，作為基于示性向量深度特征的有效后端分類器。

實(shí)驗(yàn)結(jié)果表明，無論是直接應(yīng)用于GMM-UBM系統(tǒng)，還是作為示性向量使用，基于所提出的結(jié)構(gòu)化深度模型的新表示特征方法與傳統(tǒng)基線相比，都能獲得顯著的性能提升。

當(dāng)然，好的技術(shù)不能僅僅停留在實(shí)驗(yàn)室中的“結(jié)果數(shù)據(jù)”，更應(yīng)該有落地，應(yīng)當(dāng)服務(wù)于人。

如此技術(shù)，能給我們帶來什么？

這個(gè)拿了“AI最高獎(jiǎng)”的語音團(tuán)隊(duì)，除了在學(xué)術(shù)界取得了成功之外，其實(shí)也是有實(shí)實(shí)在在的技術(shù)落地。

團(tuán)隊(duì)成員的獲獎(jiǎng)成果均來自于他們在思必馳上海交大智能人機(jī)交互聯(lián)合實(shí)驗(yàn)室中的校企聯(lián)合研究工作，錢彥旻在聯(lián)合實(shí)驗(yàn)室擔(dān)任副主任一職。

在量子位與錢彥旻交流過程中，他表示：

因?yàn)樯辖淮笈c思必馳有聯(lián)合實(shí)驗(yàn)室，所以會做學(xué)校研究到產(chǎn)業(yè)的成果應(yīng)用轉(zhuǎn)化。

這就使得我們在定義科學(xué)問題、研究方向的時(shí)候，會更加務(wù)實(shí)。

具體而言，實(shí)驗(yàn)室會根據(jù)產(chǎn)品在現(xiàn)實(shí)生活中遇到問題，提煉出真實(shí)需要去解決的研究方向和問題。

例如，在2019年1月23日晚，中央電視臺《經(jīng)典詠流傳》第二季節(jié)目中，出現(xiàn)了一款“讀詩成曲”的在線互動(dòng)小工具。

用戶只需要朗讀一段詩詞，就可以聽到用自己聲音演唱的經(jīng)典詩詞唱段。

這一技術(shù)采用的正是聯(lián)合實(shí)驗(yàn)室提供的個(gè)性化歌聲合成算法。

當(dāng)然也有更加貼近生活的案例，例如車載系統(tǒng)。

作為思必馳重要合作伙伴，小鵬汽車P7進(jìn)行了 “全場景語音”功能的升級。

采用思必馳全鏈路語音交互技術(shù)，語音操控即可進(jìn)行導(dǎo)航、撥打電話、音樂播放、控制空調(diào)及語音聊天，全雙工語音交互，一次喚醒多輪對話，支持語義打斷，打造“持續(xù)傾聽 連續(xù)指令”的自由交互方式。

我們所熟知的像長城哈弗系列、北汽X7、榮威RX5MAX等多款車型，也均在各自不同的智能系統(tǒng)中，采用了來自思必馳的語音技術(shù)。據(jù)悉，目前思必馳已與北汽、一汽、上汽、五菱、東風(fēng)等企業(yè)建立了合作。

更加貼近生活的智能家居方面 ，我們正在使用的各種產(chǎn)品中，也均有思必馳語音技術(shù)的身影。

海信S7F社交電視走進(jìn)客廳生活。

該產(chǎn)品采用了思必馳TH1520芯片作為AI語音交互專用協(xié)處理器，配合思必馳線性四麥陣列前端信號處理算法及思必馳語音識別（ASR）、語音合成（TTS）等技術(shù)，實(shí)現(xiàn)語音交互。

在語音芯片等領(lǐng)域，思必馳的語音技術(shù)也有布局。

這也印證了錢彥旻在總結(jié)“基礎(chǔ)原始創(chuàng)新實(shí)力、前沿創(chuàng)新能力”時(shí)的表述：

思必馳深耕于人機(jī)交互技術(shù)的研發(fā)，提供更加人性化的非配合式端到端人機(jī)對話式交互系統(tǒng)。

在魯棒高效精準(zhǔn)的語音識別與轉(zhuǎn)寫、個(gè)性化的語音合成和表達(dá)、精細(xì)化的富語言信息的分析與提取、場景上下文感知的對話交互、多模態(tài)的感知/識別/對話、聲學(xué)場景的分析等方面，都有深入的探索和先進(jìn)算法的落地。

目前，基于人機(jī)對話式交互系統(tǒng)，思必馳已經(jīng)在智能車載前裝/后裝、智能家居、智能電子/穿戴、智慧政務(wù)/辦公、智慧金融等領(lǐng)域進(jìn)行了深入布局，并得到了廣泛的應(yīng)用。

不難看出，思必馳上海交通大學(xué)智能人機(jī)交互聯(lián)合實(shí)驗(yàn)室，擁有的不僅是中國“AI最高獎(jiǎng)”語音方面的硬實(shí)力，更是將這種能力交付到了實(shí)際生活當(dāng)中。

但無論是哪一方面的成就，背后都離不開團(tuán)隊(duì)成員對語音技術(shù)的熱愛與堅(jiān)持。

從懵懂入局，到深耕語音十余載

錢彥旻，便是讓團(tuán)隊(duì)走向中國AI語音技術(shù)巔峰的領(lǐng)軍人物之一。

錢彥旻是上海交通大學(xué)計(jì)算機(jī)科學(xué)與工程系副教授、博士生導(dǎo)師，同時(shí)也是思必馳上海交通大學(xué)智能人機(jī)交互聯(lián)合實(shí)驗(yàn)室的副主任。

博士畢業(yè)于清華大學(xué)，之后曾在英國劍橋大學(xué)工程系MIL機(jī)器智能實(shí)驗(yàn)室深造，做博士后研究，回國后在上海交通大學(xué)計(jì)算機(jī)系任副教授。目前在語音技術(shù)領(lǐng)域已經(jīng)發(fā)表學(xué)術(shù)論文150余篇，并多次獲得最優(yōu)論文獎(jiǎng)勵(lì)。

與此同時(shí)，他還是全球最流行的語音識別開源工具包Kaldi 13位創(chuàng)始人之一。

但在量子位與錢彥旻的交流過程中卻發(fā)現(xiàn)，錢彥旻在語音技術(shù)上的造詣與成就，并非一開始的興趣使然。

而關(guān)于錢彥旻與語音技術(shù)的故事，要從2007年開始講起。

那時(shí)的他剛剛開啟博士生涯，至于專業(yè)方向的選擇，則是由其在清華的導(dǎo)師劉加教授推薦。

也就是在這時(shí)，便與語音技術(shù)有了初次的邂逅。

而剛?cè)刖值腻X彥旻，用他自己的話說便是“瞎折騰”，博士在讀2年后，才慢慢地做到了獨(dú)立探索和深入研究。

也形成了適合自己的一套研究方法，可以對于一個(gè)語音技術(shù)的“點(diǎn)”，由淺入深，做比較深入、全面的研究。

在博士畢業(yè)之后，也就是在上海交通大學(xué)和英國劍橋大學(xué)期間，對于錢彥旻個(gè)人來講，是在語音技術(shù)多個(gè)領(lǐng)域中快速深入推進(jìn)研究的一個(gè)階段。從博士期間專攻語音識別一個(gè)方向，擴(kuò)展到了語音分類、抗噪、感知、聲紋、多模態(tài)等語音技術(shù)的多個(gè)方面。

也就是在與語音技術(shù)一點(diǎn)一滴的接觸過程當(dāng)中，錢彥旻從一個(gè)“懵懂”的狀態(tài)，逐步轉(zhuǎn)變到了“熱愛”。

于是，從2007年算起，這一入局，便深耕了13年之久。

在此過程中，除了劉教授之外，錢彥旻還提到了另外一個(gè)對他意義非凡的人，他便是Kaldi之父——Daniel Povey。

Daniel在錢彥旻讀博士期間給予了非常大的幫助，細(xì)到會幫錢彥旻看到代碼，指導(dǎo)他“將某個(gè)參數(shù)從1.0調(diào)到2.0試試”這種程度。

甚至Daniel邀請錢彥旻出國一起參加Kaldi的開發(fā)，都是自掏腰包，極其慷慨的“包吃住”，為的就是共同專研探討語音技術(shù)。

用錢彥旻的話來說：

他做人做事風(fēng)格，人格的魅力，對科學(xué)的專注態(tài)度，也幫助我更加明確了研究后期的一些方向，堅(jiān)定了自己的理想，也給予了我做這個(gè)方向的勇氣和決心。

……

而作為此次獲得“AI最高獎(jiǎng)”的語音團(tuán)隊(duì)，站在2021年的開始，錢彥旻也對語音技術(shù)將有的一個(gè)趨勢做了預(yù)測。

他認(rèn)為深度學(xué)習(xí)在語音技術(shù)上的可解釋學(xué)習(xí)還是不夠，在這個(gè)過程當(dāng)中具體都做了哪些事情還是不夠清晰。

而這也是錢彥旻團(tuán)隊(duì)能夠獲得此次獎(jiǎng)項(xiàng)的主要原因，他們的研究讓模型設(shè)計(jì)更具有物理含義，所達(dá)到的性能也更優(yōu)。

錢彥旻也謙虛地表示，他們的工作也只是對該方向的一個(gè)貢獻(xiàn)，還需要科研人員持續(xù)、不斷地深入研究。

參考論文：

Yanmin Qian, Mengxiao Bi, Tian Tan, Kai Yu. Very Deep Convolutional Neural Networks for Noise Robust Speech Recognition. IEEE/ACM Transactions on Audio, Speech, and Language Processing, vol. 24, no. 12, 2263-2276, 2016.

Tian Tan, Yanmin Qian, Hu Hu, Ying Zhou, Wen Ding, Kai Yu. Adaptive Very Deep Convolutional Residual Network for Noise Robust Speech Recognition. IEEE/ACM Transactions on Audio, Speech, and Language Processing, vol. 26, no. 8, 1393-1405, 2018.

Yuan Liu, Yanmin Qian, Nanxin Chen, Tianfan Fu, Ya Zhang and Kai Yu. Deep Feature for Text-dependent Speaker Verification. Speech Communication, vol. 73, 1-13, 2015.