《Her》有形象了！給AI打視頻電話，幾乎無延遲，紅杉YC投了

史上最快對話視頻AI來了，延遲不到一秒！

端到端，能聽、能看、會說、有形象。

這個產(chǎn)品并不是出自OpenAI或HeyGen這樣此前已經(jīng)大展身手的公司，也沒有一個具體的名字。

因為來自創(chuàng)業(yè)團隊Tavus，因此也被稱為Conversational Replicas by Tavus。

主要功能，就是搭建一個身臨其境般的AI生成視頻體驗。

今日上線后，已經(jīng)沖上Producthunt今日新品熱榜第一，點贊數(shù)還在不斷上升中。

Tavus官方為大家把產(chǎn)品特點總結(jié)了一把：

• 延遲小于一秒
• 現(xiàn)實、智能的數(shù)字孿生
• 即插即用的端到端構(gòu)建塊
• 模塊化、可定制的組件，例如LLM語音合成

看得網(wǎng)友熱血沸騰的：

好了，這下有“人”替我開ZOOM視頻會議了哈哈哈哈！

也有不少網(wǎng)友把這視為比閱讀文檔or聊天更好的人機交互界面。

這個會話視頻界面改變了游戲規(guī)則！
我已經(jīng)可以想象沉浸式體驗的無限可能性。

可在網(wǎng)頁端試玩2分鐘

看到這則訊息，量子位一秒沖到了Tavus的官方網(wǎng)站。

在官網(wǎng)上，可以在線體驗2分鐘這個“史上最快對話視頻”。

根據(jù)既有設定，體驗時的對話對象是Tavus塑造的卡特。

卡特的形象定位是AI視頻研究公司Tavus的一名員工，以幽默的方式回應，同時很樂于助人。

就是下面這個男人：

雖然卡特是個虛擬人形象，但和他視頻，就像和自己朋友視頻一樣。

官方建議，授權(quán)攝像頭和麥克風后，和卡特聊天的時候盡量呆在一個安靜的房間里。

卡特在交談中提到，人們最喜歡跟他討論的幾個話題，除了跟他打聽Tavus運用的AI技術，就是分享自己的每日心路歷程，以及講笑話。

他當場就講了個笑話：

問，為什么自行車不能靠自己就站在那兒？
答案是，因為它too tired（Two tires）。

講完過后，卡特自己還自己給自己捧場，哈哈了兩聲。

量子位也實際體驗了2分鐘，總體感受如下：

首先，Tavus的響應速度確實非常快，符合官方號稱的“一秒以內(nèi)”。

哪怕是他在說話的過程中你突然出聲，卡特也能立馬停下來傾聽你的最新發(fā)言。

其次，雖然官方號稱它支持30多種語言，但不管是用中文還是英文發(fā)問，問來問去，他都無法開口說中文。

我們問他“Can u speak Chinese”時，卡特會回答：“我更愿意用英文對話呢！”

第三，Tavus的AI確實能“用眼睛看”。

量子位試玩兒過程中，一度尬住，不知問什么是好，只能傻笑。

卡特立馬開口：

Oh！你對我露出了一個微笑呢～

第四，在試玩版本中，卡特的口型和所說的話幾乎能做到完全同步。

這也就不難怪為什么有網(wǎng)友試玩后表示：

確實令人印象深刻，它擁有快速響應、出色的視頻和音頻生成能力。

現(xiàn)在，只要注冊就可以使用Tavus的對話視頻AI。

正式版本中，可供對話的AI形象就不只有卡特了，有男有女，身份設定從銷售到生活指導等，應有盡有。

聊天所在的背景也能根據(jù)用戶選擇進行更換，不拘泥在辦公室場景中。

同時，還能手動輸入對話內(nèi)容的上下文。

可以說個性化定制程度算很高了。

目前有免費版本，也有收費形式，對應不同的生成權(quán)益。

基于自研模型開發(fā)

Tavus對話視頻AI背后，是Tavus團隊自研的Phoenix-2模型。

這是一個用音頻和文本驅(qū)動的3D模型和2D GANs的組合，能生成1-2分鐘的逼真短視頻。

生成過程大致分為以下四個步驟：

TTS（文本轉(zhuǎn)語音）——頭部和肩部的3D重建——提示詞腳本驅(qū)動的面部動畫——高保真渲染。

△通過差分渲染微調(diào)面部幾何細節(jié)

為了讓和用戶對話的AI形象更逼真，Tavus團隊在構(gòu)建Phoenix-2的視頻渲染pipeline的時候，結(jié)合了GAN和3D高斯?jié)姙R。

這樣做的原因，是傳統(tǒng)的GAN通常受到圖像分辨率的限制，而體積模型總在時間一致性的問題上有所欠缺。

因此，Tavus想到把兩者結(jié)合起來。

訓練GAN時，需要大量的數(shù)據(jù)集和昂貴的計算資源，且因為其二維性質(zhì)和時間一致性問題，通常推理時間和視頻質(zhì)量都會受限。

Tavus把3D模型作為“中間體”，實現(xiàn)了超過100 FPS的渲染，并且由于動態(tài)物體周圍的物理感知約束，實現(xiàn)更高程度的可控性和通用性。

△比較2D和3D頭部說話模型之間的差異

另外，Phoenix-2模型比起系列前作的改進之處，就是替換掉了初代Phoenix模型的NeRF。

轉(zhuǎn)而利用3D高斯?jié)姙R來學習引入如何驅(qū)動3D空間中的面部動態(tài)變形，并利用該信息根據(jù)看不見的音頻來渲染視圖。

團隊成員表示，比起NeRF，3D高斯?jié)姙R在數(shù)據(jù)、內(nèi)存、計算復雜度、流程、渲染效率等方面都表現(xiàn)更好。

基于3D高斯?jié)姙R的Phoenix-2模型的pipeline，能夠以比初代模型快70%的速度進行訓練，以60+FPS的速度進行渲染。

Tavus表示，對話過程中，有回合結(jié)束檢測和可中斷性，讓用戶感覺進行的對話更真實。

此外，由于面部信息非常敏感，團隊提供安全檢查、安全協(xié)議、自動內(nèi)容審核和反幻覺檢查來保護信息安全。

值得一提的是，Phoenix系列模型還支撐了Tavus的另一個產(chǎn)品——

生成用戶數(shù)字孿生形象的對話視頻。

只需要提供2分鐘素材、花費1美元（起），就能調(diào)用API生成視頻內(nèi)容。

官方提示可提供端到端的解決方案，有以下能力：

• 使用API，構(gòu)建安全、真實的數(shù)字孿生或AI Agent
• 定制LLM、對話的人物角色和背景
• 在嵌入式會議室中流式傳輸對話
• 記錄、轉(zhuǎn)錄并分享對話
• 通過生產(chǎn)級可擴展性處理高流量

“不<1s，就不是人了”

Tavus團隊是一家成立四年的AI視頻初創(chuàng)公司，規(guī)模不大。

成員大多來自Amazon、Descript、Google和Apple等。

公開資料顯示，截至今年3月，該公司已經(jīng)獲得了紅杉、Scale VC、YC的A輪投資，融資額約1800萬美元。

Tavus的聯(lián)合創(chuàng)始人兼CEO，名叫Hassaan Raza。

曾在谷歌和蘋果工作過。

而該公司的聯(lián)合創(chuàng)始人兼COO在Producthunt留言表示，對話視頻AI的制作花費了很長時間，研究、工程和建造大約花費了數(shù)千個小時。

至于為什么要追求1秒或者更短的延遲？

官方也給出了答案，是在盡可能模擬人類和人類的視頻對話：

因為如果反應速度不低于1秒，那（對面跟你聊天的）就不是人了。

參考鏈接：
[1]https://www.tavus.io/careers
[2]https://x.com/heytavus/status/1824075891271749903
[3]https://www.producthunt.com/posts/conversational-replicas-by-tavus