ChatGPT標注數據比人類便宜20倍，80%任務上占優勢 | 蘇黎世大學
你覺得你的飯碗還保得住嗎？
Pine 發自 凹非寺
量子位 | 公眾號 QbitAI
又一“人類飯碗”被AI搶走，還是和訓練AI息息相關的：
數據標注。
蘇黎世大學研究發現，在ChatGPT面前，無論成本還是效率，人類可以說是毫無優勢：
- 成本上，ChatGPT平均每個標注成本低于0.003美元，比眾包平臺便宜20倍；
- 效率上，在相關性、立場、主題等任務中，ChatGPT也是以4:1的優勢“碾壓”人類。
論文發出后，有網友調侃，“生成訓練數據需要人工”的說法已經成為過去式了。
還有人直呼“古籍修復數字化工作是不是有希望提速了”。
還有人看熱鬧不嫌事大，直接發推稱：
這是直接端了平臺工作者的飯碗。
話說回來，ChatGPT是怎么搶了數據標注工作者的“飯碗”的？
ChatGPT在80%任務上占優勢
首先得先了解下數據標注工作的具體內容。
簡單來講，數據標注就是給社交媒體上的內容數據貼標簽，將其以不同主題或者概念進行分類，或是對其立場以及情緒進行判別。
這些經過標注的數據就可以用作NLP模型的訓練集或是評估標準。
以往，這類工作都是交由人工處理的，比如說MTurk就是專門進行數據標注的一個眾包平臺。
在MTurk這類眾包平臺內部，還會有更加精細的分工，比如說會有經過專業訓練的數據標注者以及眾包工作者。
前者在產出高質量數據上具有優勢，但自然成本也更高，而后者雖然更便宜但質量也會隨任務難度波動。
于是研究團隊就開始著手研究大語言模型（LLM）在這方面的潛力，并且對比了沒有額外訓練（zero-shot）的ChatGPT（基于GPT-3.5）和MTurk在數據標注上的性能。
這項對比基于研究團隊此前收集到的2382條推文樣本。
ChatGPT和MTurk分別將推文以“相關性、立場、主題、政策、實用性”這五種任務進行標注。
評估的標準有兩條：
- 準確性：ChatGPT和MTurk眾包工作者相較于正確標注的百分比；
- 編碼者間的一致性信度：用ChatGPT、MTurk眾包工作者以及專業數據標注者任意二者之間的一致性來計算；
結果呢也顯而易見，在準確性上，ChatGPT有五分之四的任務都要優于MTurk眾包工作者。
在一致性信度上，ChatGPT全部任務都超過了專業數據標注者。
成本方面，開頭也已經提過，ChatGPT平均每條比人工便宜20倍，何況AI還能24*7無休。
不過對于研究團隊得出的這個結論并不是所有網友都買賬，有人表示：
這五條任務都太單一了，難度也是。僅憑這一點就得出這樣的結論可靠性存疑。
甚至還有網友嘲諷了起研究樣本太少來：
（竟然）只用2382條推文做樣本。
“飯碗威脅”不止數據標注
現在，AI會不會完全取代某一類工作還不好說，但它會在一定程度上影響人類工作是毋庸置疑的。
上周，OpenAI就發布過一份分析報告，稱有80%的工作都會在一定程度上受到ChatGPT的影響，19%的崗位會受到ChatGPT的嚴重沖擊。
并且薪資越高的職業受到的沖擊就越大。
OpenAI還進一步列出了會被影響的具體職業，從大到小依次是：
翻譯從業者、文字創作者（包括詩人、作家等）、公關人員、數學家、稅務編制人員、區塊鏈工程師、財務工作者、媒體從業者……
除此之外，OpenAI的CEO奧特曼也不止在一個場合下說過“AI會取代現有的部分工作”。
前不久，MidjourneyV5大升級也是讓不少人類畫師直呼飯碗不保。
emmmmmm，你覺得你的飯碗還保得住嗎？
論文地址：
https://arxiv.org/abs/2303.15056
參考鏈接：
https://twitter.com/arankomatsuzaki/status/1640521970608402435
- GPT-5不能停！吳恩達田淵棟反對千人聯名，OpenAI CEO也發聲了2023-03-30
- 馬斯克嘲諷比爾蓋茨不懂AI/ 蘋果收購AI視頻公司/ 壁仞GPU聯創出走…今日更多新鮮事在此2023-03-28
- GPT-4老板：AI可能會殺死人類，已經出現我們無法解釋的推理能力2023-03-28
- 虛幻5再次炸場！1部iPhone搞定3A大作級動作捕捉，網友：游戲行業要變天2023-03-26
相關閱讀
