用AI“復制”網絡主播，10億構建小程序生態，這是虎牙AI的新動作
郭一璞 發自 廣州
量子位 報道 | 公眾號 QbitAI
網絡直播，已經不僅僅是一位主播唱歌跳舞玩游戲這么簡單了，AI技術正在滲入直播內容制作的過程中。
就在虎牙的LiveTech大會上，虎牙做了兩項技術發布：
一是技術開放平臺，將各種AI能力開放給第三方開發者，用來開發有各種娛樂、工具功能的虎牙小程序，豐富直播的內容和形式；
另一項則是AI數字人，借助計算機視覺技術，將真人或卡通IP創作為真實、細膩的虛擬形象，讓虛擬化的主播們擁有各種新技能，甚至“挑戰”原來的主播本人。
虎牙CTO賴立高說，直播把兩個空間的信息做了互通，但是距離感還是很大的，網絡要做的是拉短距離，把距離的感覺慢慢的打破，這也是大家的期待。
虎牙開放平臺
虎牙開放平臺基于虎牙小程序，它能夠以各種游戲、服務、工具的形式，存在于虎牙的直播活動中。第三方開發者可以利用虎牙開放出來的直播技術、開發工具、數據服務等進行小程序開發。
目前開放平臺已提供了跨終端開發框架，可以實現一次開發，多終端運行；提供了多終端統一SDK，終端原生組件，統一構建工具。
在具體的技術上，開發者可以用到虎牙的畫面融合、人臉加工、人臉貼紙等圖像技術，人臉關鍵點、人臉檢測、手勢識別等人體識別技術，以及游戲場景識別、唱歌識別、跳舞識別等內容識別技術，語音轉文字、音效加工、聲音風格化等語音技術，另外還連接了禮物、彈幕、用戶信息、榜單數據等通道，降低了小程序的開發難度。
發布會現場，虎牙也展示了三家第三方合作伙伴開發出來的小程序產品。
比如《啵唧寵物》，借助虎牙開放出來的語音識別等技術，虛擬寵物可以在直播畫面上和主播互動表演；
還有《暴走坦克》游戲，主播闖關過程中，觀眾可以送血瓶提供助戰坦克，也可以送寶劍創造更多的怪物，形成雙方的互動；
而《歡樂農牧》則是一款娛樂之外的小程序，可以幫助農民們做養雞場等農牧業生產場所的互動直播，還能提供各種優惠券促進下單，頗有一絲“電商下鄉”的意味。
最后，對于虎牙小程序的開發者，可以采取一次性或者按一定周期的訂閱付費和內購分成兩種盈利模式。
此外，還有一筆大羊毛，虎牙推出小程序星火計劃，將在3年投入10億的資源，用于內容生態構建、優質小程序與優秀開發者獎勵以及消費市場培育。
AI數字人
虎牙還推出了具有虛擬形象的AI數字人，第一個數字人形象，是以虎牙平臺的游戲主播晚玉為原型制作的。
在數字人晚玉上，虎牙掃描了2000萬面超高精度拓撲的模型，通過肌肉和骨骼綁定后，可驅動的表情面數超過4萬個，在肢體上骨骼動作支持超過70個自由度。
效果，大概長這樣，可以是AR的：
晚玉并沒有出現在真實的舞臺上，而是在一旁的屏幕中出現了AR形象。
也可以是在虛擬世界中的：
借助動作捕捉等方式，他學會了晚玉本人并不會的跳舞技能，還在直播間里以“晚玉的弟弟晚王”的身份，開啟了一場真人vs.數字人的直播。虛擬空間里的“弟弟”可以隨時換背景，有更多特效互動。
此外，虎牙啟動了虛實結合開放平臺HERO（Huya Extended Reality Open-platform），主播和開發者可以用自己的設備構建自己喜愛的形象和AR應用玩法，因此，除了作為代表人物的晚玉，無論是真人還是虛擬人物，各家的IP都可以借助這個平臺創作出數字人形象。
不過，這個數字人形象目前僅限于人物的外形方面，暫時還不能像小冰、小愛、Siri們一樣自由的表達和回應問題。這不禁讓人覺得，HERO平臺和“復現”人物性格人設的微軟Avatar Framework簡直天作之合。
“把物理世界結構化”
其實看虎牙公開的兩項技術進展，都不僅僅聚焦于娛樂直播方面，更多的則是與真實世界的結合，借助第三方開發者們的智慧和真實世界產生交互，借助數字人技術將真實世界投射在虛擬空間中。
借虎牙AI總經理許佳的話說，就是“把物理世界結構化”，不只在人臉、人體這些視覺的層面，也正準備在語音方面推進，而且，除了人物個體，場景的重構也在進行，這也是我們前面看到直播間里“晚玉的弟弟”可以不斷切換場景增加特效互動的原因。
而在具體的技術方案上，虎牙CTO賴立高介紹，虎牙采用的是自研+購買的雙重策略，如果是影響關鍵迭代的技術會自行研發，如果不影響而業界又有成熟方案則會選擇購買，比如他們也是諸多AI大廠的客戶。
One More Thing
最后，一個彩蛋。
“算法崗飽和”最近成了許多技術人在焦慮的問題，四處都有討論的聲音。
不過，當我們試圖找虎牙AI總經理許佳討論這個問題的時候，得到的回應卻是不認同的。“不是學算法不好找工作，是優秀的算法人才比較缺少”，優秀的算法人才依然供不應求，“你不能下載一個TensorFlow就來應聘算法。”
- MEET2020 | 百度景鯤：AI交互正在吃掉舊產品邊界，觸達移動互聯網盲區用戶2019-12-10
- MEET2020 | 王硯峰揭秘搜狗AI技術體系：自然交互在左，知識計算在右，核心是語言2019-12-16
- MEET2020 | 曠視唐文斌：你到底給誰創造了什么樣的價值？這是AI產品的靈魂拷問2019-12-17
- MEET2020 | 快手劉霽：AI基礎能力決定每個公司AI的迭代和落地效率2019-12-20
