論唱歌還是服清華，「云」合唱獻禮校慶，延時不到50ms

魚羊 2020-05-13 18:27:35 來源：量子位

魚羊 發自 凹非寺
量子位 報道 | 公眾號 QbitAI

幾個月沒去KTV跟朋友嗨歌，在座各位麥霸是否已技癢難耐？

那么，你是否有過這樣一種大膽的想法——

借助現下用戶量蹭蹭蹭往上漲的視頻會議軟件，遠程K歌？

就像這樣：

那么，問題來了，就視頻會議軟件那延時，當一場視頻會議里有人跟你在同一個辦公室坐著，那雙重混響誰用誰知道，K起歌來體驗未免有些差勁。

但在清華校慶之際，清華教師阿卡貝拉小唱組的老師們，還真獻上了上面這一場“云上實時合唱獻禮清華校慶”活動。

并非事先各自錄制，而后剪輯實現。這6位老師是在各自家中，利用普通網絡和普通手機，同一時刻一起遠程合唱。

不得不說，論唱歌還是服清華，前有李健水木年華高曉松等知名“音樂”校友，現在還通過技術實現云合唱。

那么這項技術，究竟有啥過人之處？

超低延時音視頻互動技術

前面提到，視頻通話、視頻直播中尚可接受的幾百毫秒延遲，對于實時合唱來說卻是致命的。

如果雙方的人聲、伴奏延時高于100ms，唱的拍子就會合不上。

因此，在此前被眾多網友稱作“有生之年系列”的One World：Together At Home網絡音樂會上，受限于歌手們時差、現場收錄條件、網絡條件的差異，為了保證演出效果，大部分合唱表演其實是提前錄制好的。

正如著名音樂電臺DJ，SoundArio音樂基金會創始人加菲眾所評價：“0.17秒的延遲足以低效全世界頂級音樂人的現場功力?！?/p>

而清華老師們這場精彩的阿卡貝拉，即無伴奏合唱，對演唱者之間的相互配合要求極高，單向延時超過50ms，或者聲音斷斷續續、忽大忽小，就會造成歌者之間的互相干擾。那就不是美妙和聲，而是災難現場了。

所以，這場表演是如何實現的？

老師們借助的，是超低延時音視頻互動技術，能使單向音視頻延遲低于50ms。

而技術的提供方，正是從清華園走出來的技術團隊——清流鼎點（PowerInfo）。

音視頻互動涉及編碼、傳輸、轉發、解碼等多個環節，各個環節又分為多個模塊和層次。清流鼎點的iLive方案將其視作一個整體，進行全棧綜合優化。

其中的重點，是在音視頻的編碼和傳輸環節。

iLive方案建立了從評估、預測到調整的延時、流暢及質量三要素模型，并針對不同場景，進行基于大數據的算法和策略優化。

涉及的技術細節包括：

PTCP傳輸協議：基于UDP（用戶數據報協議），在充分理解傳輸內容的基礎上，實現的專門用于實時音視頻的協議，具備優先級、jitter、RC、重傳、FEC等多種控制手段。

ARRC：支持基于傳輸信道狀態對編碼及播放策略的控制，依據海量數據的分析，并根據不同場景QoE模型，采用不用的控制策略。

Multi-Path多徑傳輸技術：在PTCP協議內部實現Multi-Path傳輸機制，支持主/從、并行等不同的傳輸策略，支持基于對不同信道狀態實時監測的Packet粒度的動態選徑策略。

也就是說，能夠同時利用多個網絡（比如WiFi和4G）傳輸數據，降低單個網絡的傳輸不穩定性，從而降低卡頓率，提升音視頻通訊體驗。

目前，這一技術方案已實現在1%丟包率下，碼率4Mbps音視頻延遲最低達42ms，卡頓0.2次/分鐘。

也就是說，普通家庭網絡接入，只要丟包率不超過1%，就可以體驗超低延時合唱啦。

并且，該技術已經在清流鼎點推出的直面app上應用。據官方介紹，可以滿足線上教學、視頻會議，乃至實時合唱、在線樂隊排練等場景需求。

樂徽科技和騰訊合作運營的“全民K歌”線下體驗店，同樣應用這套技術方案，實現了異地實時卡拉OK合唱功能。

如此效果，也給未來的線上互動場景提供了更多可能性，比如在AR/VR游戲中的應用，在遠程醫療領域的應用……

清流鼎點：生于清華，長于清華

最后，簡單介紹一下清流鼎點。

清流鼎點的創始團隊，全員畢業于清華計算機系。在視頻編碼及傳輸領域有近20年的持續積累，從事過國內首批電信級VOD、IPTV系統、廣電級高質量視頻編碼器等開發工作。

其合作客戶包括：央視、映客直播、Starmaker、dokidoki等等。

自2008年起，清流鼎點旗下公司累計為中國用戶大規模地提供過3次奧運會網絡直播、2次歐洲杯和1次世界杯的網絡直播，以及4屆央視春晚網絡直播，在網絡直播視頻傳輸領域積累深厚。

— 完 —