小心！AI能「看懂」你的唇語，悄悄話不再安全！
AI：只需人類動動嘴皮子
叨樂 發自 凹非寺
量子位 | 公眾號 QbitAI
小心悄悄話被AI聽見！（噓）
最近國外一款可以讀唇語的AI軟件火了！
具體效果如下：
紅毯上布萊克·萊弗利小聲說：“好緊張”，笑著說話時肉眼很難分辨唇語，但AI可以。
乍一看只能看見一排白牙（bushi）的侃爺，唇語也能被輕松破解。
看完后網友們開始紛紛評論，大開腦洞：
求“聯名”型網友：快把它和Siri結合一下吧！這樣我就不用像小傻子一樣對著電腦大喊了！
測評型網友：我想用它試試“座機畫質”的視頻！
擔心安全型網友：我有點害怕，我想戴口罩了。（嗚嗚）
實測 Readtheirlips 效果如何
量子位整理了一些視頻，為大家親測了一下Readtheirlips的使用效果。
先試了一下奧特曼在斯坦福的訪談視頻，把生成的文本和原始對話對照了一下，內容完美契合~
而面對小表情比較多的老馬，Readtheirlips的發揮依舊穩定。
不過以上兩個視頻都是人物全程正臉對著鏡頭的。
換成了說話時愛比劃的小扎，Readtheirlips直接顯示錯誤。（視頻中人物不是全程正臉）
而主角換成卡帕西之后，因為他說話太快，生成的文本出現了識別錯誤的情況。（左側為Readtheirlips生成，右側為文字處理軟件生成）
最后，我們嘗試著上傳了一個16分鐘的視頻，Readtheirlips直接顯示錯誤，無法識別內容。
總結一下：
Readtheirlips識別視頻的時間在一分鐘左右 。
就像他們標明的那樣如果人物的正臉不能正對鏡頭，那么模型就很難給出正確答案。
而面對語速過快的視頻內容，Readtheirlips只能識別出其中的一些內容。
對此，團隊成員回應道：
是的，我們還沒有研究到這里，但是會很快解決這個問題！
而關于上傳視頻的時長限制，他們這么說：
現在只支持3分鐘以內的視頻，但是以后我們會一點一點往上提升的！
AI如何“聽”悄悄話
看完親測視頻，咱們也來嘮一下Readtheirlips的工作原理。
看看它是怎么讀取人類唇語的：
首先，研究團隊用大量的標注數據（已知的嘴唇運動動作及其對應的文本內容）來對模型進行訓練。
在此基礎上，用戶要上傳一段視頻，這段視頻要包含說話者的面部特寫，尤其是嘴部動作。
然后模型會對視頻進行嘴部運動的分析：先是通過面部檢測識別嘴唇的位置，然后再提取嘴唇的幾何特征，（形狀、開合程度、運動軌跡等），最后分析嘴唇在說話過程中的動態變化。（速度、方向和形狀變化）
之后，模型會將提取的嘴唇特征與訓練數據中的特征進行匹配，來識別出視頻中人物所說的內容。
將識別出的單詞或短語組合成完整的句子，進行一下上下文理解，確保語法和語義的正確性。
最終將識別出的內容輸出為文本形式。
開發團隊
Readtheirlips的開發團隊Symphonic Labs是一家初創公司。
領英上顯示它今年4月份才剛剛成立，截至目前，公司人數不到10人。
他們之前還研發過一款通過閱讀唇語即可完成實時文本轉錄的軟件Symphonic
兩款軟件的試玩鏈接都已附上，感興趣的朋友們可以去嘗試一下~
- 在線可玩！智譜開源圖生視頻模型，網友直呼Amazing！2024-09-19
- 字節AI版小李子一開口：黃風嶺，八百里2024-09-13
- 機器人也會系鞋帶了！斯坦福團隊賦予機器人新技能丨已開源2024-09-11
- 通用端到端OCR模型開源，拒絕多模態大模型降維打擊2024-09-10
相關閱讀
