愛奇藝多模態技術沙龍 | 愛奇藝路香菊：視頻人物識別關鍵技術及其應用

liming 2019-04-30 18:13:28 來源：量子位

主講人 | 路香菊 愛奇藝科學家

張康 編輯整理

量子位編輯 | 公眾號 QbitAI

近日，愛奇藝技術沙龍“多模態視頻人物識別的關鍵技術及應用”成功舉辦，愛奇藝科學家路香菊出席并作出精彩分享。

路香菊博士，愛奇藝科學家，PersonAI團隊負責人，專注人物識別及視頻分析，創建百萬人物庫及兩萬卡通庫。組織創辦“愛奇藝多模態視頻人物識別賽”，開放全球首個影視視頻人物數庫iQIYI-VID。

以下為路香菊分享實錄：

今天給大家分享的主題是“愛奇藝多模態人物識別及其應用”，主要有三個方面：

人物識別：主要指人的身份識別；

智能創作：優質信息流內容是比較寶貴的，給大家分享AI在創作里的能力；

多模態AI競賽：愛奇藝多模態視頻人物識別AI競賽，以及iQIYI-VID人物視頻庫。

人物識別

人臉識別可能大家都不陌生，但人物識別并不等同于人臉識別。人物識別除了通過人臉識別，也可以采用其他技術，比如說人體（reID）、聲紋等。當然愛奇藝主要是視頻資源，針對明星會采用人臉識別，針對動漫等卡通劇，會采用虛擬人物識別。

這是愛奇藝人物識別簡單的技術總藍圖，通過這張圖可以比較形象的認識人物識別，分為FaceAI，BodyAI，AudioAI。

FaceAI是廣義的人臉識別，但是除了人臉，還包含更多屬性，如五官定位、是否戴眼鏡、表情，以及人臉質量、姿態、顏值、種族等等之類的，是廣義的人臉信息。

BodyAI除了我剛才說的reID（人的姿態、身體特征），還可以通過服飾、職業、體型等屬性來確定一個人的身份。

AudioAI主要是指聲紋,比如音樂類型,聲音類型,音頻分類等工作，是指比較立體的AI信息。

愛奇藝人臉識別模型

愛奇藝的人臉識別模型，除了人臉的身份之外，還有其屬性信息，目前線上跑的模型包含12個屬性，比工業界的其他公司模型要更全面。愛奇藝人臉識別與屬性模型十五合一，其每個屬性的指標都在行業內領先，一個模型可以同時識別身份屬性，且各項屬性的識別精度也比較高。

愛奇藝的人物庫，包含120萬名人，2萬虛擬形象（卡通人物）。目前人臉識別精度最高的是ArcFace，可以達到99.8的精度。愛奇藝和ArcFace做過比較，是領先于它的。

愛奇藝的模型之所以達到這么高的精度，主要是因為我們有一個大規模的明星數據庫，這個數據庫的噪聲小于0.02。

此外像分布式訓練，還有量化、剪枝、蒸餾，還有CPU版本的OpenVINO優化，也都是我們在這個模型的尺寸大小上做的一些優化的工作，這個模型一天可以分析2000以上的長視頻，一個月可以分析幾十萬的視頻總量。這對處理海量視頻是一個非常重要的一個指標。

大家都比較熟悉這種表情包，愛奇藝這項技術實現了業內首個表情和文案的自動生成。一個長視頻平均能提取出來100多個明星表情包，文案也是自動生成的。除了明星，我們也在做卡通人物相關的實驗，可以做到40多個表情包。

目前生成對抗網絡的應用較多，比如GAN生成的人臉非常逼真，其實生成的人臉雖然在某些樣本上取得非常逼真的效果，但目前在標題自動生成、畫面自動生成領域都還沒有十分成熟。舉例來說，生成卡通形象，有些生成的很好，但有時鼻子就跑到腦袋上了。

愛奇藝表情文案生成采用了配準的方式。對于明星表情包，我們首先檢測出他的Action Unit，然后將AU的特征向量與GIF庫中的特征向量配準，再根據顏值、性別等信息，把相應GIF上的文案放到明星的表情包上。配準的效果要好很多，不會出現特別怪異的文字或畫面。

愛奇藝人臉識別的應用

愛奇藝有海量的明星資源，需要把視頻的信息結構化，需要知道視頻里人物的相關信息。下面分享幾個應用場景。

“愛創媒資系統”應用于后期制作，“藝匯”可應用于導演智能選角。這兩個應用在2018年分別獲得CCF科學技術進步杰出獎和優秀獎。

舉例說明：

AI剪輯師綜藝的制作方式：有幾個人在舞臺上跳舞，臺下有很多機器進行拍攝，而拍攝的視頻資源跟節目資源比例大約是1000:1以上。也就是說你看到的一個小時的節目，后期制作人員要處理一千個小時以上的視頻素材。因此后期人員如果想在這大量的視頻素材中找到某個人的一些鏡頭，非常耗人力、耗時間。而通過人臉識別就可以快速實現某個人的鏡頭索引，還可以對其表情、首飾等打標簽，實現視頻編目的自動化。

在愛奇藝APP中，通過“只看Ta”功能，可以實現只看某個演員或者某對CP的功能，這是AI人物識別在愛奇藝的典型應用之一。此外還有助于演員回顧自己演戲的內容。

另一個應用是AI雷達功能，用戶在看電視的時候，可以通過按遙控器識別畫面中的人物，識別同款服飾、車等實現商品的檢測。

智能創作

智能創作是一個非常綜合的AI應用，想要讓AI生成一個觀賞性很強的視頻，需要我們對畫面、聲音、文本以及畫面效果等進行綜合分析，才能產出比較有觀賞性的視頻。

人工剪輯視頻，需要在音頻素材、音樂類型、海量視頻素材中挑選、剪輯，非常耗時，而且不同剪輯師的差異非常大。

而AI更方便利用海量的素材，做成模板、量化生產，而且可以實現任意技術的組合，能制作出很多不同風格的視頻。

AIWorks可以實現根據劇本自動搜索素材，智能生成符合某個話題的視頻集錦，支持不同畫面的不同輸出方式，如橫豎屏效果、自動卡點配樂、臺詞集錦、CP 等。

比如臺詞搜索功能，涉及到的技術主要包括人臉識別、人臉表情等屬性識別、場景識別、服飾和職業識別、臺詞 OCR、NLP、聲音和音樂檢測、音樂節拍點提取、鏡頭切分、專場特效、視頻濾鏡等模態。

臺詞分析是很好的劇情統計解決方案，對與智能創作也非常有幫助。

漫威老爺子在他導演的100 多部大片中，均有幾秒鐘的客串鏡頭，如果想剪輯出只有他出現的鏡頭并拼接成短視頻，純人工剪輯師的工作量和工作難度有多大可想而知。但是AIWorks通過人物識別，可以在1分鐘內完成，這也是AI的優勢之一：AI可以在海量的素材中，精準找到我們想要的特定內容。

我們可以看到，上述智能創作應用了非常多技術，包括美學的，鏡頭切分的，人物識別的，表情分析的，音樂卡點的等等。一個完整的智能創作解決方案，基本上用到了目前所有的AI技術。

有很多人問過我，AI是不是會取代剪輯師？我覺得這是永遠不可能的。比如一些復雜場景的畫面，AI很難去理解其中的含義。人類的創造力非常強，AI取代不了高水準的藝術家、創作師、內容制作群體，但是AI可以幫助他們提高制作效率，創作出高品質的作品。

愛奇藝AI競賽

多模態技術和應用難點

最后我介紹一下愛奇藝“多模態視頻人物識別挑戰賽”以及iQIYI-VID數據庫。

為什么多模態是必要的？通過上述介紹，可以發現，單純的人臉識別，或者聲紋模型，或者五官定位，都只是單一的問題。而我們希望AI能為我們提供一些solution，是技術的綜合使用。

目前國內多模態研究的發展速度非常快，并且取得了一定的進展，但是還有非常大的發展空間。多模態信息之間怎么融合，如何訓練、加速等問題還在探索當中。

因此愛奇藝從2018年開始舉辦多模態人物識別競賽，并發布了視頻數據庫iQIYI-VID，希望引起學術界對人物識別的持續關注和研究。借助iQIYI-VID數據集，可以拓展人臉識別技術，推進多模態人物識別技術創新，以解決大數據時代實際視頻媒體人物信息結構化的需求，把更多的學術成果轉化成實際中的生產力。

愛奇藝多模態視頻人物識別挑戰賽

今年，愛奇藝與ACMMM聯合舉辦多模態挑戰賽，向全球參賽者開放最接近實際媒體應用場景的視頻人物數據集（iQIYI-VID-2019）。

數據集包含復雜場景下10000名明星人物、200小時、20萬條影視劇與短視頻。經過嚴格的人工標注，抽樣精度大于99.8，有利于評價模型性能，也非常有挑戰性。

iQIYI-VID數據集在業界難度比較大，能夠給大家提供更好的發揮空間，并且參賽者在后續也可以發出很好的論文。去年Arcface的一個團隊參加了愛奇藝多模態視頻人物識別挑戰賽，取得了第一名，并且今年發表了一篇論文，中了2019 CVPR的Oral Paper。

參加本次挑戰賽，能在視頻人物識別算法上利用頭部、聲音、人體等多模態特征融合信息和更少的模型，進一步將精準度提高，能夠在視頻人物身份識別技術上取得重要突破。

本次大賽，目前已有來自世界各地的235支隊伍參與報名。參賽隊伍有來自Nvidia、ReadSens、百度、科大訊飛，網易等公司的企業團隊，也不乏來自UCL、埃克塞特大學、清華大學、中科院等海內外知名學府的高校團隊。

iQIYI-VID-2019已于4月29日開放結果入口，具體上傳方式參見Help_Document。文檔下載鏈接：http://challenge.ai.iqiyi.com/detail?raceId=5c767dc41a6fa0ccf53922e7&tabIndex=1

本次大賽的報名截止日期為5月10日，歡迎有志團隊把握好時間，報名參與。報名鏈接：http://challenge.ai.iqiyi.com/detail?raceId=5c767dc41a6fa0ccf53922e7

— 完 —

誠摯招聘

量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界面，回復“招聘”兩個字。

量子位 QbitAI · 頭條號簽約作者

?’?’ ? 追蹤AI技術和產品新動態