給研究思路就能推薦數(shù)據(jù)集，還能分析語料“毒性”，CMU博士后等人推出NLP數(shù)據(jù)處理神器

明敏 2022-03-03 13:00:31 來源：量子位

明敏 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

說出你的研究思路，就能給你推薦合適的數(shù)據(jù)集：

當然還可自己按需檢索，同時標出不同數(shù)據(jù)集的熱度：

更厲害的是能直接幫你分析數(shù)據(jù)集。

語料中是否包含仇恨言論、性別歧視語料等，所占比例是多少，通通都能告訴你。

以上，是一個名叫DataLab的通用數(shù)據(jù)處理平臺。

它包含1715個數(shù)據(jù)集，提供數(shù)據(jù)診斷、數(shù)據(jù)搜索、全局分析、標準化處理4方面的功能。

不僅可以幫助用戶分析數(shù)據(jù)的特征，還能對不同數(shù)據(jù)集進行標準化處理。

其幕后打造者之一為卡內基梅隆大學博士后劉鵬飛，他博士畢業(yè)于復旦大學。

方便，方便，還是方便

其實對于很多人來說，構建模型往往在數(shù)據(jù)集階段就會被卡住。

現(xiàn)在網絡上的數(shù)據(jù)集雖然一抓一大把，但質量參差不齊。

而且很多新入門的童鞋也對于自己應該用什么樣的數(shù)據(jù)集，非常迷茫。

那么，一個覆蓋數(shù)據(jù)集范圍廣、還能進行分析的平臺，或許能幫助你找到心儀的數(shù)據(jù)集。

基于這樣的背景下，劉鵬飛所在團隊就搞了個DataLab。

就拿找數(shù)據(jù)集來說吧，在DataLab上你不僅可以按照模型的需求來篩選合適數(shù)據(jù)集，還能看看哪些數(shù)據(jù)集最受歡迎、哪些下載量最多、哪些訪問量最多。

畢竟“大家說好才是真的好”，這句話在哪也受用嘛。

再來看標準化處理上。

DataLab提供86個功能，可以將不同的數(shù)據(jù)集標準化處理為統(tǒng)一格式。

如果你構建模型時不知道該用什么樣的數(shù)據(jù)集，還能直接問DataLab。

比如當你輸入研究思路：

我想訓練一個可以識別啤酒評論中包含的積極和消極情緒的模型。

DataLab就能給出20個數(shù)據(jù)集任君選擇，每一個點進去還有更加詳細的介紹。

除了提供數(shù)據(jù)集分析和處理功能，DataLab還可以根據(jù)現(xiàn)有的數(shù)據(jù)為大家提供一些全球視野的分析。

比如它能展現(xiàn)全球不同國家AI本地化技術積累的情況。

其開發(fā)者劉鵬飛表示，數(shù)據(jù)，尤其是標注數(shù)據(jù)是訓練一個AI系統(tǒng)的關鍵。所以很多時候，數(shù)據(jù)集的積累可以體現(xiàn)技術壁壘。

從DataLab上的大數(shù)據(jù)分析可以看出，美國在語言數(shù)據(jù)集上的優(yōu)勢巨大，因為很多現(xiàn)有公開、流行的數(shù)據(jù)集都是以英文為主。

相較之下，中文數(shù)據(jù)集的積累情況就不夠好。

同時，這一平臺也能對全球不同研究機構在不同任務數(shù)據(jù)集上的表現(xiàn)進行排名。

從下表中可以看到，CMU、微軟亞研院、JHU、UW幾個機構位居前四，清華大學在國內排名最高。

不過平臺開發(fā)者也提醒大家，平臺上的數(shù)據(jù)統(tǒng)計有可能因為用戶提交數(shù)據(jù)不全而導致結果不準確/考慮不周全，僅作為參考之一。

用戶也可以在DataLab官網進行數(shù)據(jù)糾正。

復旦校友領銜打造

DataLab由卡內基梅隆大學語言技術研究所（LTI）博士后劉鵬飛領銜打造。

劉鵬飛于2019年在復旦大學計算機系獲得博士學位，師從邱錫鵬教授、黃萱菁教授。

研究興趣包括NLP模型可解釋性、遷移學習、任務學習等。

博士期間，他包攬了各種計算機領域的獎學金，包括IBM博士獎學金、微軟學者獎學金、騰訊人工智能獎學金、百度獎學金。

談到打造DataLab這一平臺的初衷，劉鵬飛向量子位表示：

機器學習領域有太多技術需要被標準化和統(tǒng)一，也需要技術被折疊，不然就會造成一種資源過剩帶來的浪費。

他提到，UC伯克利大學的明星實驗室RISELab曾打造出很多新穎的技術工具，比如高性能分布式執(zhí)行框架Ray。

其掌舵人Ion Stoica教授在一次分享中提到“統(tǒng)一是它們成功的關鍵”。

DataLab這次的工作其實也是如此。

它的意義在于提供了一個“數(shù)據(jù)+操作”的統(tǒng)一框架，讓未來很多事情都可以轉化成兩件事：

1. 定義/引入一個新的數(shù)據(jù)類型；
2. 定義/引入一個新的數(shù)據(jù)操作（比如現(xiàn)在火熱的Prompt Learning，本質上就是重構數(shù)據(jù)）。

由此，研究者和開發(fā)者就可以有一個統(tǒng)一的入口去進行他們需要的各種數(shù)據(jù)分析與操作。

在DataLab里，不同數(shù)據(jù)類型、操作類型都被標準化，其目的就是讓用戶在前人已經解決的事情上不要再浪費時間，而是使用已經有的技術去探索新的技術發(fā)展。

當然，如果再深入一點，劉鵬飛表示創(chuàng)建DataLab還源于一股內在驅動力：

如何讓自己做的事情能夠在推動人類社會生產力發(fā)展上扮演一些重要的角色。

事實上，劉鵬飛也不是第一次為開發(fā)者、研究人員們打造便利的“小工具”了。

比如幫助開發(fā)者提出創(chuàng)新學術idea的輔助工具ExplainaBoard。

還有可自動生成論文評審結果的Demo網站ReviewAdvisor，只需要上傳PDF論文，即可自動生成評審結果。

哦對了，劉鵬飛還會在知乎上分享自己在NLP方面的一些研究心得。

比如這篇《近代自然語言處理技術發(fā)展的“第四范式”》就曾在網上引起過不小的反響。

感興趣的童鞋，歡迎移步大佬知乎圍觀~

DataLab地址：
http://datalab.nlpedia.ai/

GitHub地址：
https://github.com/ExpressAI/DataLab/

劉鵬飛知乎：
https://www.zhihu.com/people/liu-peng-fei-65-23/posts