真·羅永浩直播干不過假·羅永浩？網(wǎng)友：不是老羅在演AI吧？

西風(fēng) 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

羅永浩，干不過羅永浩？？？

今年618大促，羅永浩數(shù)字人百度電商直播上崗，“一不小心”就創(chuàng)造了個(gè)紀(jì)錄——

帶貨單量超5月羅永浩真人百度電商直播首秀同期數(shù)據(jù)！

只見交個(gè)朋友直播間中，不單單羅永浩一個(gè)數(shù)字人現(xiàn)身，還有朱蕭木（交個(gè)朋友直播間副主播）數(shù)字人擔(dān)任“助播”。

倆“人”全程互動(dòng)配合默契，說話、動(dòng)作、神態(tài)那叫一個(gè)自然。

看視頻效果，和真人直播不能說一毛一樣吧，那也是真假難辨的程度！

視頻鏈接：https://mp.weixin.qq.com/s/xfkpXEo-MQVgjZP4mmtIcw

甚至有人在評(píng)論區(qū)問老羅“你是不是真人在扮演AI，要是被威脅了就眨眨眼”。

就連羅永浩本人“羅氏幽默”的特色直播風(fēng)格，數(shù)字人也能高度復(fù)刻。

比如羅永浩數(shù)字人賣花生油：

有人問吃花生油會(huì)不會(huì)變胖，胖也沒關(guān)系，我們有一款T恤可以穿到200斤，你在我直播間就能形成閉環(huán)。

視頻鏈接：https://mp.weixin.qq.com/s/xfkpXEo-MQVgjZP4mmtIcw

各種花式回答，讓人眼前一亮又一亮，自嘲式回復(fù)網(wǎng)友問“棉柔巾臉大得用幾張”，be like：

你臉大有多大？能有我210斤的臉大嗎？我也就用一張就夠了。

視頻鏈接：https://mp.weixin.qq.com/s/xfkpXEo-MQVgjZP4mmtIcw

一場(chǎng)直播下來倆數(shù)字人真的是贏麻了，戰(zhàn)績(jī)斐然：

不僅直播吸引了超1300萬(wàn)人次觀看，GMV（商品交易總額）突破5500萬(wàn)元。

甚至部分3C、食品等核心品類商品帶貨單量，羅永浩數(shù)字人超過了羅永浩真人5月份在百度電商直播首秀的同期數(shù)據(jù)，用戶平均觀看直播的時(shí)長(zhǎng)也超過了5月真人首秀。

這究竟是怎么做到的？

數(shù)字人直播現(xiàn)在都進(jìn)化成啥樣了？

在最新百度AI開放日慧播星專場(chǎng)現(xiàn)場(chǎng)，百度同步智能電商進(jìn)展，其中就揭秘了羅永浩數(shù)字人背后的秘訣。

原來，這次出戰(zhàn)618的羅永浩數(shù)字人，是由百度電商數(shù)字人直播工具慧播星打造的高說服力數(shù)字人，本質(zhì)上是一個(gè)具備形象+感知決策+行動(dòng)的超級(jí)智能體。

相比以往數(shù)字人，慧播星高說服力數(shù)字人實(shí)現(xiàn)了四大突破。

首先，上線了業(yè)界首個(gè)雙數(shù)字人互動(dòng)直播間，體驗(yàn)大突破。羅永浩和朱蕭木兩個(gè)數(shù)字人能默契配合進(jìn)行互動(dòng)講解就是基于此。

雙數(shù)字人互動(dòng)直播間還原了“主播+助播”真實(shí)直播狀態(tài)。

得益于百度視覺大模型+語(yǔ)音大模型的全面升級(jí)，雙人講解時(shí)采用雙音軌，不僅銜接更自然，而且支持打斷說、同時(shí)說，能適配更復(fù)雜的場(chǎng)景。

觀眾在觀看時(shí)很難看出什么破綻，就像是在看真人直播。

視頻鏈接：https://mp.weixin.qq.com/s/xfkpXEo-MQVgjZP4mmtIcw

其次，慧播星推出了全新大師級(jí)別劇本模式，直播內(nèi)容實(shí)現(xiàn)了突破。

現(xiàn)在，直播劇本生成不再是簡(jiǎn)單的腳本生成了，文心大模型4.5 Turbo加持，數(shù)字人能輕松復(fù)刻出個(gè)人直播風(fēng)格。

這種人格化表達(dá)讓數(shù)字人直播告別機(jī)械感，有網(wǎng)感，懂熱點(diǎn)。

比如結(jié)合剛結(jié)束的四六級(jí)考試也能講段廣告詞：

視頻鏈接：https://mp.weixin.qq.com/s/xfkpXEo-MQVgjZP4mmtIcw

另外一大突破是視覺上的，慧播星高說服力數(shù)字人在業(yè)內(nèi)率先實(shí)現(xiàn)了多模高度融合。

數(shù)字人由動(dòng)作驅(qū)動(dòng)，動(dòng)作、表情、語(yǔ)調(diào)等多模態(tài)都能自動(dòng)貼合話術(shù)表達(dá)進(jìn)行配合。

比如在介紹護(hù)膚品的功效時(shí)，數(shù)字人會(huì)一邊摸著自己的抬頭紋、頸紋，一邊講解。

視頻鏈接：https://mp.weixin.qq.com/s/xfkpXEo-MQVgjZP4mmtIcw

另外，它還能基于腳本實(shí)時(shí)調(diào)度素材，畫面銜接也更流暢自然。

第四點(diǎn)是整體直播效果上的突破，負(fù)責(zé)直播控場(chǎng)的AI大腦全面升級(jí)。

在直播過程中，AI大腦會(huì)主動(dòng)邀評(píng)，吸引直播間用戶參與互動(dòng)；同時(shí)能即時(shí)回復(fù)用戶評(píng)論，哪怕是復(fù)雜直播場(chǎng)景，應(yīng)對(duì)起來也游刃有余。

除此之外還有多種玩法，比如發(fā)福袋、在評(píng)論區(qū)抽幸運(yùn)觀眾送禮物等，智能體能夠?qū)崟r(shí)控場(chǎng)促進(jìn)轉(zhuǎn)化。

視頻鏈接：https://mp.weixin.qq.com/s/xfkpXEo-MQVgjZP4mmtIcw

活動(dòng)現(xiàn)場(chǎng)，百度還宣布了百度優(yōu)選和交個(gè)朋友正式達(dá)成戰(zhàn)略合作，羅永浩成為慧播星首席體驗(yàn)官。

交個(gè)朋友副總裁吳加錄直言，看到羅永浩數(shù)字人的表現(xiàn)有被驚嚇到，逼近真的效果讓他擔(dān)憂——羅永浩本人要失業(yè)了？

背后“黑科技”：多模協(xié)同的數(shù)字人技術(shù)

深入探究這一系列突破的底層邏輯，會(huì)發(fā)現(xiàn)百度采用的是自研的以語(yǔ)言模型為核心驅(qū)動(dòng)、多模協(xié)同的數(shù)字人技術(shù)解決方案。

從技術(shù)上來看，數(shù)字人若要在長(zhǎng)時(shí)間內(nèi)維持高水準(zhǔn)的一致性與擬真性表現(xiàn)，單一模型顯然無(wú)法滿足需求。

百度的技術(shù)路徑是以語(yǔ)言模型作為核心驅(qū)動(dòng)單元，通過語(yǔ)言模型生成直播劇本，再通過劇本指導(dǎo)協(xié)調(diào)語(yǔ)音、視覺等多模態(tài)系統(tǒng)實(shí)現(xiàn)動(dòng)態(tài)交互，最終塑造出有高表現(xiàn)力、形神兼?zhèn)涞臄?shù)字人形象。

具體來看其中關(guān)鍵環(huán)節(jié)的技術(shù)。首先是劇本生成，其重點(diǎn)之一在于數(shù)字人臺(tái)詞生成。

臺(tái)詞包括多樣化風(fēng)格、擬真化人設(shè)和具有吸引力的內(nèi)容。

其中多樣化風(fēng)格，涉及風(fēng)格建模、風(fēng)格生成和風(fēng)格定制；擬真化人設(shè)，需要模型在臺(tái)詞生成上建設(shè)相應(yīng)的能力，包括人設(shè)建模、人設(shè)還原、多角色協(xié)同；吸引力內(nèi)容靠的是內(nèi)容規(guī)劃、深度思考以及知識(shí)增強(qiáng)。

此外，基于大語(yǔ)言模型的劇本生成也包含視覺標(biāo)簽、語(yǔ)音標(biāo)簽生成，以實(shí)現(xiàn)多模驅(qū)動(dòng)的協(xié)同。

在大模型協(xié)同過程中，這些標(biāo)簽是開放級(jí)的，由這些標(biāo)簽驅(qū)動(dòng)的語(yǔ)言來進(jìn)行語(yǔ)調(diào)和風(fēng)格的控制。

以羅永浩數(shù)字人劇本為例，基于文心大模型4.5 Turbo生成的劇本，需要展現(xiàn)主播的個(gè)人特色，具備典型的羅氏幽默風(fēng)格，并能夠?qū)崿F(xiàn)雙人主播的內(nèi)容協(xié)同，動(dòng)態(tài)實(shí)現(xiàn)豐富的實(shí)時(shí)互動(dòng)。

劇本生成后，關(guān)鍵環(huán)節(jié)還包括語(yǔ)音合成和視頻生成。

語(yǔ)音合成方面，數(shù)字人場(chǎng)景對(duì)語(yǔ)音合成提出了更高的要求，和以往朗誦式語(yǔ)音合成有很大區(qū)別。

最主要的區(qū)別在于數(shù)字人需要語(yǔ)音自然流暢，但在講述不同內(nèi)容時(shí)還要有抑揚(yáng)頓挫感，在一些情況下甚至需要激情澎湃感以感染觀眾。

百度在這方面的做法是：

通過文本自控的語(yǔ)音合成大模型的，實(shí)現(xiàn)高復(fù)原的語(yǔ)音合成能力，再結(jié)合直播臺(tái)詞及發(fā)音人特征，合成風(fēng)格適當(dāng)、自然流暢的聲音。

具體到羅永浩數(shù)字人的這場(chǎng)直播，還要面對(duì)老羅和朱蕭木直播中雙人聲音配合的難點(diǎn)，對(duì)此百度采用了對(duì)話上下文編碼器，把對(duì)話歷史輸入和當(dāng)前對(duì)話進(jìn)行語(yǔ)音合成的統(tǒng)一推理計(jì)算，最終才讓我們看到了流暢、自然的雙人對(duì)話效果。

還有一個(gè)關(guān)鍵環(huán)節(jié)是數(shù)字人形象生成與驅(qū)動(dòng)。

視頻生成方面需要進(jìn)行高表現(xiàn)力動(dòng)作對(duì)齊，以及支撐唇動(dòng)、表情生成和對(duì)齊。更重要的是，數(shù)字人不只是一個(gè)視頻，數(shù)字人還要和用戶實(shí)時(shí)進(jìn)行動(dòng)態(tài)交互。

目前市面上存在大量視頻生成模型，可以生成10s、20s，甚至30s的視頻。但數(shù)字人要進(jìn)行直播工作，這些還遠(yuǎn)遠(yuǎn)不夠。

數(shù)字人需要的是小時(shí)級(jí)的一致性，而且還要高表現(xiàn)力，人、物、場(chǎng)要能自由交互。

百度為此建設(shè)了數(shù)字人形象生成和驅(qū)動(dòng)的一整套技術(shù)，讓數(shù)字人具備多模協(xié)同、高表現(xiàn)力、復(fù)雜交互能力。

該技術(shù)是一個(gè)可控的、長(zhǎng)視頻的生成工作；通過視頻、劇本、語(yǔ)言、骨骼等特征，結(jié)合多模態(tài)視頻理解、跨模態(tài)信號(hào)生成、視頻生成等技術(shù)，實(shí)現(xiàn)了高一致性數(shù)字人長(zhǎng)視頻的生成。

普通人都能人均一個(gè)“主播”頭銜

數(shù)字人技術(shù)的突破，不只促成了羅永浩數(shù)字人直播的成功。現(xiàn)在使用數(shù)字人技術(shù)的門檻越來越低，即使沒有團(tuán)隊(duì)、沒有直播經(jīng)驗(yàn)的新人主播，也能輕松get數(shù)字人分身。

一些中小商家早就用這種模式，實(shí)現(xiàn)7×24小時(shí)不間斷直播，訂單量猛漲。

真實(shí)案例如三農(nóng)領(lǐng)域創(chuàng)作者東北翠花，通過短視頻分享東北的風(fēng)土人情和美食，之前對(duì)于直播卻缺少經(jīng)驗(yàn)，效果一直不理想。

而通過慧播星，翠花的數(shù)字人直播間深度結(jié)合生活場(chǎng)景，利用極具地域特色的鄉(xiāng)村環(huán)境、貼近日常的呈現(xiàn)方式，構(gòu)建強(qiáng)代入感的消費(fèi)氛圍。

用戶產(chǎn)生了情感聯(lián)結(jié)與消費(fèi)信任，驅(qū)動(dòng)訂單量實(shí)現(xiàn)10倍增長(zhǎng)。

另一個(gè)案例是新會(huì)陳皮的源頭產(chǎn)地商家廣蕓堂。

過去做真人直播時(shí)，廣蕓堂一直受主播差旅、時(shí)間調(diào)配這些高額成本所困。數(shù)字人突破了這一限制，借助技術(shù)優(yōu)勢(shì)，一邊直觀呈現(xiàn)原料生長(zhǎng)的真實(shí)環(huán)境，一邊通過靈活切鏡，把陳皮的色澤紋理、觸感細(xì)節(jié)等細(xì)微品質(zhì)，全方位清晰展示。

“產(chǎn)地直采、品質(zhì)可控”的概念轉(zhuǎn)化為可視化、可感知的體驗(yàn)，大幅強(qiáng)化消費(fèi)說服力，直接助推GMV實(shí)現(xiàn)160%的增長(zhǎng)。

數(shù)字人技術(shù)的規(guī)模化落地，正是百度AI戰(zhàn)略深度實(shí)踐的重要印證。百度優(yōu)選平臺(tái)作為國(guó)內(nèi)最早提出智能電商的平臺(tái)，率先探索AI應(yīng)用場(chǎng)景實(shí)踐。

數(shù)據(jù)顯示，目前已經(jīng)有累計(jì)超過10萬(wàn)的商家在百度通過數(shù)字人直播，覆蓋電商、教育、醫(yī)生、法律等幾十個(gè)行業(yè)，使用了數(shù)字人直播的商家GMV平均提升62%，降低了80%的開播運(yùn)營(yíng)成本。

現(xiàn)在，伴隨618大促，百度還發(fā)布了兩大計(jì)劃扶持商家：

夢(mèng)蝶計(jì)劃，通過流量扶持，超頭主播數(shù)字人打造、預(yù)算扶持，實(shí)現(xiàn)百度優(yōu)選超頭主播的數(shù)量倍增。

繁星計(jì)劃，再次追加10萬(wàn)個(gè)慧播星數(shù)字人，投入1億元數(shù)字人消費(fèi)補(bǔ)貼，千萬(wàn)級(jí)別的運(yùn)營(yíng)扶持，幫助更多的普通人、中小企業(yè)開啟數(shù)字人直播。

數(shù)字人技術(shù)不是頂級(jí)主播的專屬，而是普惠共享的新型生產(chǎn)力。