值得買(mǎi)科技與人大高瓴人工智能學(xué)院首個(gè)多模態(tài)領(lǐng)域聯(lián)合研究成果亮相CNCC2024

夢(mèng)晨 2024-10-25 13:26:07 來(lái)源：量子位

允中 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

10月24-26日，2024中國(guó)計(jì)算機(jī)大會(huì)（簡(jiǎn)稱CNCC2024）在橫店舉行。在24日的“AI+影視創(chuàng)作超級(jí)論壇”上，中國(guó)人民大學(xué)高瓴人工智能學(xué)院長(zhǎng)聘副教授宋睿華圍繞與值得買(mǎi)科技合作的首個(gè)研究成果《TiVA: Time-aligned Video-to-Audio Generation》（《TiVA：時(shí)序同步的視頻到音頻生成》）進(jìn)行了主題演講，具體闡述了該項(xiàng)技術(shù)能為內(nèi)容創(chuàng)作所帶來(lái)的突破性進(jìn)展，提升了AIGC內(nèi)容生成尤其是聲音生成方面的質(zhì)量和智能化水平之外，也有望為AIGC內(nèi)容生成帶來(lái)更豐富的模態(tài)和更多想象空間。

本次大會(huì)由中國(guó)計(jì)算機(jī)學(xué)會(huì)主辦，是我國(guó)計(jì)算領(lǐng)域涉及面最廣、規(guī)模最大、影響力最強(qiáng)的學(xué)術(shù)、技術(shù)、教育和產(chǎn)業(yè)盛會(huì)。大會(huì)以“發(fā)展新質(zhì)生產(chǎn)力，計(jì)算引領(lǐng)未來(lái)”為主題，邀請(qǐng)圖靈獎(jiǎng)獲得者、國(guó)內(nèi)外院士、國(guó)內(nèi)外計(jì)算機(jī)領(lǐng)域知名專家和教育家、企業(yè)家及專業(yè)人士匯聚一堂，共享學(xué)術(shù)新進(jìn)展、應(yīng)用新技術(shù)、創(chuàng)意新理念，分享創(chuàng)新成果、展望前沿趨勢(shì)。

據(jù)悉，此次的研究成果《TiVA: Time-aligned Video-to-Audio Generation》，在今年7月還被國(guó)際多媒體學(xué)術(shù)會(huì)議（ACM International Conference on Multimedia 2024，簡(jiǎn)稱ACM MM 2024）錄用，并被選為口頭報(bào)告，該會(huì)議由國(guó)際計(jì)算機(jī)協(xié)會(huì)（ACM）發(fā)起，是多媒體處理、分析與計(jì)算領(lǐng)域最具影響力的國(guó)際頂級(jí)會(huì)議。同時(shí)，此次研究成果已獲得國(guó)家發(fā)明專利授權(quán)（專利名稱：音頻生成方法、視頻生成方法、裝置、設(shè)備和介質(zhì)，公開(kāi)號(hào)ZL 202410613827.3）。

早在2023年6月，值得買(mǎi)科技就與中國(guó)人民大學(xué)高瓴人工智能學(xué)院宋睿華團(tuán)隊(duì)達(dá)成合作，聚焦大模型、AI內(nèi)容創(chuàng)作等相關(guān)內(nèi)容研究。除TiVA外，雙方也將在近期發(fā)布面向電商領(lǐng)域的共享基座檢索增強(qiáng)架構(gòu)（BSharedRAG）、多模態(tài)知識(shí)增強(qiáng)的視覺(jué)信息查詢（MuKA）等多個(gè)AI研究成果。

此次TiVA研究成果主要聚焦在多模態(tài)內(nèi)容創(chuàng)作和交互領(lǐng)域。當(dāng)前，視頻和音頻的同步生成一直是多模態(tài)內(nèi)容生成的技術(shù)挑戰(zhàn)，大多數(shù)現(xiàn)有方法主要關(guān)注匹配視覺(jué)和聲音模態(tài)的語(yǔ)義，而無(wú)法在時(shí)間對(duì)齊上實(shí)現(xiàn)精確同步。值得買(mǎi)科技與中國(guó)人民大學(xué)宋睿華團(tuán)隊(duì)通過(guò)深入研究，提出了新穎的時(shí)序同步的視頻到音頻生成框架-TiVA，該框架通過(guò)音頻布局的概念，實(shí)現(xiàn)了視頻內(nèi)容到音頻的高質(zhì)量生成。其核心在于音頻布局的創(chuàng)新使用，通過(guò)低分辨率的Mel頻譜圖來(lái)提供粗略的音頻結(jié)構(gòu)布局，幫助模型更好地理解和預(yù)測(cè)聲音的起始和結(jié)束時(shí)間，從而實(shí)現(xiàn)更精確的時(shí)間對(duì)齊。

（TiVA架構(gòu)圖和生成結(jié)果示例）

宋睿華具體闡釋了TiVA的實(shí)現(xiàn)路徑：通過(guò)新的音頻信息表征形式Audio Layout，即極低分辨率的梅爾譜，來(lái)表示音頻的粗粒度語(yǔ)義和時(shí)間信息。在一個(gè)無(wú)聲視頻中，可以先對(duì)其視覺(jué)語(yǔ)義進(jìn)行編碼并預(yù)測(cè)Audio Layout，然后利用語(yǔ)義編碼和預(yù)測(cè)的Audio Layout作為條件信息，學(xué)習(xí)一個(gè)擴(kuò)散模型生成音頻。“各項(xiàng)客觀和主觀實(shí)驗(yàn)表明，我們的方法在生成質(zhì)量、語(yǔ)義匹配和時(shí)間同步精度方面優(yōu)于現(xiàn)有的SOTA方法。”宋睿華介紹。

在TiVA、BSharedRAG、MuKA等整個(gè)創(chuàng)新框架研究的過(guò)程中，值得買(mǎi)科技為研究提供了必要的集群算力支持和高質(zhì)量脫敏的數(shù)據(jù)支持；平臺(tái)積攢的大量真實(shí)用戶圖文、視頻等素材和全方位的用戶行為，也幫助研究人員獲取真實(shí)的消費(fèi)互聯(lián)網(wǎng)驗(yàn)證場(chǎng)景。實(shí)驗(yàn)結(jié)果表明，TiVA在提高語(yǔ)義匹配和精確時(shí)間同步的同時(shí)，將生成速度加快了約40%。

宋睿華在現(xiàn)場(chǎng)表示，合作的研究項(xiàng)目不僅在技術(shù)上取得了突破，更在學(xué)術(shù)研究和實(shí)際應(yīng)用之間架起了一座橋梁。這離不開(kāi)研究人員的專業(yè)和嚴(yán)謹(jǐn)，離不開(kāi)值得買(mǎi)科技對(duì)學(xué)術(shù)研究的支持，相信這為學(xué)術(shù)界與產(chǎn)業(yè)界的合作樹(shù)立了典范，“希望雙方持續(xù)攜手探索AI的新邊界，為學(xué)術(shù)研究與創(chuàng)新應(yīng)用帶來(lái)更多價(jià)值。”

作為技術(shù)驅(qū)動(dòng)型公司，值得買(mǎi)科技始終堅(jiān)持以先進(jìn)技術(shù)提升供需兩端的連接效率。值得買(mǎi)科技堅(jiān)信，優(yōu)質(zhì)內(nèi)容具有不可替代的價(jià)值，在消費(fèi)領(lǐng)域，不僅體現(xiàn)在助力消費(fèi)者高效決策，也能有效幫助品牌與平臺(tái)建立用戶認(rèn)知與認(rèn)可。為此，值得買(mǎi)科技始終堅(jiān)持以內(nèi)容為核心，以技術(shù)為驅(qū)動(dòng)，而此次合作成果，正是以AI技術(shù)能力提升內(nèi)容創(chuàng)作水平的有機(jī)結(jié)合。

今年5月，值得買(mǎi)科技正式發(fā)布全面AI戰(zhàn)略，基于AI對(duì)現(xiàn)有業(yè)務(wù)、產(chǎn)品進(jìn)行升級(jí)重塑，還利用AI重塑內(nèi)容生產(chǎn)流程、不斷提升內(nèi)容生產(chǎn)能力和質(zhì)量。在建設(shè)自身AI能力方面，值得買(mǎi)科技構(gòu)建了由“1個(gè)大模型、2個(gè)數(shù)據(jù)庫(kù)、3個(gè)引擎、4類應(yīng)用”組成的AI產(chǎn)品矩陣；并將“什么值得買(mǎi)APP”升級(jí)為“AI原生的什么值得買(mǎi)GEN2”，打造成一個(gè)“基于用戶的個(gè)性化興趣，應(yīng)用AI技術(shù)對(duì)全網(wǎng)消費(fèi)內(nèi)容進(jìn)行搜集、分析、提煉、推薦的消費(fèi)內(nèi)容平臺(tái)”，借助AI主動(dòng)為用戶提取和理解內(nèi)容、商品、價(jià)格等消費(fèi)信息，基于用戶興趣給到消費(fèi)者真正的“答案”。而已上線的AI購(gòu)物助手“小值”，能深度理解用戶意圖的基礎(chǔ)上，總結(jié)全網(wǎng)實(shí)時(shí)消費(fèi)經(jīng)驗(yàn)與電商信息，提供口碑總結(jié)、商品對(duì)比、商品推薦、全網(wǎng)比價(jià)等服務(wù)

除了自身AI能力的持續(xù)提升外，值得買(mǎi)科技還注重連接外部多領(lǐng)域合作伙伴，共建“AI+興趣”雙輪驅(qū)動(dòng)的消費(fèi)生態(tài)：在AI生態(tài)方面，與月之暗面、智譜華章、訊飛星火、MiniMax、騰訊云、百度云等通用大模型企業(yè)合作；在內(nèi)容生態(tài)方面，與36氪、汽車(chē)之家、省廣集團(tuán)等進(jìn)行合作；在產(chǎn)學(xué)研協(xié)同方面，與中國(guó)人民大學(xué)、南開(kāi)大學(xué)、中歐國(guó)際工商學(xué)院、中央財(cái)經(jīng)大學(xué)商學(xué)院等高校聯(lián)合進(jìn)行，共同探索AI創(chuàng)新協(xié)同新路徑，近期與人大共同研究的兩項(xiàng)AI創(chuàng)新成果也即將面世。

未來(lái)，值得買(mǎi)科技將堅(jiān)持全面AI戰(zhàn)略，攜手更廣泛、更多領(lǐng)域的合作伙伴，共同探索AI在學(xué)術(shù)、技術(shù)、商業(yè)上的創(chuàng)新和應(yīng)用，共同推動(dòng)AI生態(tài)創(chuàng)新協(xié)同發(fā)展，為創(chuàng)造消費(fèi)信息自由流動(dòng)的美好世界做出貢獻(xiàn)。