讓AI學會“哦買尬，買它！”，清北中科院CMU爭相角逐頂會Workshop競賽，淘系技術&浙大聯手舉辦

蕭簫 2021-10-21 18:06:11 來源：量子位

蕭簫 發自 凹非寺
量子位 報道 | 公眾號 QbitAI

看場直播或視頻，結果卻看中了主播的衣服、褲子甚至裙子？

現在，你不再需要手動截圖識別了——

已經有人將AI用在直播商品識別技術中，幫你自動“挑出”其中的商品。

為了提升AI識別直播商品的準確率，阿里淘系技術聯手浙江大學，在全球頂會ACM MM 2021的Workshop上搞了個AI識別大賽，甚至拿出1萬美金（6.3萬人民幣）獎勵TOP 3。

來自清華、北大、中科院、CMU、浙大、哈工大、華科等高校的587支隊伍紛紛參賽，力圖研究出更好的算法。

最終，來自中科院計算所的「mcg」奪得冠軍，來自北大、南京大學、湖南大學的「寫的代碼都隊」奪得亞軍，來自中南大學、DGUT和華南理工大學的「百億補貼matchmatchmatch」獲得第三名。

這場比賽究竟比了些什么，背后的Workshop又有些什么內容？

我們一起來看看。

多模態技術識別主播帶貨

相比于用一張截圖進行商品識別，直播的商品識別還需要考慮更多因素。

從難度來看，直播時主播并非完全不動，而是會走動、轉動來展示商品的形態，衣服非常容易發生形變、模糊；

同時，畫面背景中還存在其它衣服的干擾、同時還可能面臨直播遮擋、服裝相似等問題。

從優勢來看，直播時呈現給AI的信息量也會更多，包括主播的語音、帶貨商品標題等，都會在畫面直播的同時呈現出來。

如果能結合語音識別，通過多模態技術增加模型輸入信息量，就能有效提升商品檢索的準確率。

具體來說，直播商品識別的過程是這樣的：

首先，對輸入的視頻解析成視頻幀，再利用AI目標檢測進行商品識別；

然后，再從視頻中提取出語音進行AI語音識別，利用AI模型提取出有用的商品描述信息。

最后，利用多模態獲取的信息，在商品數據集中進行檢索，預測出最合適的商品，并給出對應的標簽。

為了讓選手們更好地識別商品，淘系技術還通過這個Workshop，開源了業界首個大規模的多模態視頻商品檢索數據集，包括50000對匹配的視頻片段。

其中，這些視頻片段都是從淘寶直播和產品商店的直播中提取的。

標注也非常詳細，包括產品類別、邊界框、視點類型、展示類型、實例ID、標題描述和語音識別文本都有所涉及。

事實上，這已經不是淘系技術第一次舉辦這項比賽了。

中科院再次奪冠

這場今年4月27日發起的比賽，是第二屆淘寶直播商品大賽。

這是一個多模態領域的國際挑戰賽，由阿里巴巴淘系技術聯合浙江大學教授莊越挺、悉尼科技大學教授楊易、天津大學教授韓亞洪等國內外知名學者發起。

相比于第一屆大賽，第二屆大賽在賽題設計上，主要做了兩點改進：

• 注重全類別的識別效果，尤其是長尾的商品類別、視覺紋理簡單商品的識別等
• 強調多模態等信息(主播講解語音、商品標題)，對精確識別視覺相似講解商品的重要性

也就是說，這屆AI模型考驗的不止是某幾種商品的識別準確率，而是AI對直播中商品的“整體理解能力”。

除了看清楚商品以外，AI還需要知道這是哪種類別的商品，并盡可能收集視頻中的各種信息，包括語音信息等，來確認自己看到的是哪一種商品。

同時，由于這次更注重長尾商品類別的識別，因為各類別數據集的大小不一樣，評估方式自然也要有所變化。

這里采用了Macro F1的評估標準，計算方法如下：

比賽也需要通過預賽、半決賽和決賽三場比賽，從最初的提交結果中依次篩選出20支和10支隊伍，進行最終的測試集測試，并進行復現。

最終，來自中科院計算所的「mcg」從587支隊伍中脫穎而出，取得了0.69的高分，超過baseline 0.22，排名TOP 3的三支隊伍評估分數也均超過0.6。

而在第一屆淘寶直播商品識別大賽中，同樣也是來自中科院和吉林大學的隊伍奪得冠軍。

這場比賽的目的，是希望能推動電商直播場景中多模態商品檢索識別的研究、以及AI技術在實際應用場景中的落地。

當然，除了這一場比賽之外，在ACM MM 2021的Workshop中，還有不少收獲。

共收錄5篇論文

一方面，在論文征集部分，這次Workshop一共接收了5篇論文，包括兩篇long paper，三篇short paper：

此外，還有不少AI領域的教授也在這次Workshop上做了演講，其中就包括新加坡國立大學計算機學院的KITHCT講座教授Tat-Seng Chua、北京航空航天大學的劉偲副教授、悉尼科技大學青年研究員朱霖潮、淘系技術高級算法專家陳志文。

除此之外，來自中科院、北大、中南大學、清華、華中科技大學的五位同學也在這場Workshop上進行了口頭報告，分享了他們的參賽方案和成果。

對于這次Workshop的目的，阿里巴巴淘系技術資深算法專家李曉波表示：

這次Workshop通過提供真實的多模態商品識別的應用場景、數據，希望能夠促進更多學術和工業的結合，激發更多創新研究和技術落地。

對這個場景感興趣的小伙伴，可以在下方地址中獲取開源數據集~

淘寶直播多媒體商品識別數據集：
https://tianchi.aliyun.com/competition/entrance/531893/information

參考鏈接：
https://tianchi.aliyun.com/competition/entrance/531893/introduction