word2vec作者曝與Ilya等十年積怨：seq2seq也是我的想法

夢(mèng)晨 2023-12-18 13:53:26 來(lái)源：量子位

夢(mèng)晨 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

里程碑式論文word2vec獲得NeurIPS時(shí)間檢驗(yàn)獎(jiǎng)，可謂實(shí)至名歸。

但一作Tomas Mikolov在Facebook上發(fā)表的長(zhǎng)篇獲獎(jiǎng)感言，卻充滿了失望和不滿。

論文最初被ICLR拒稿都算小事了，他還暗諷了OpenAI首席科學(xué)家Ilya Sutskever（當(dāng)時(shí)兩人都在谷歌）：

我們當(dāng)然生活在激動(dòng)人心的時(shí)代，但不要對(duì)那些“想要壟斷基于數(shù)十上百位科學(xué)家辛勤工作的技術(shù)、同時(shí)聲稱這一切都是為了人類(lèi)利益的人”抱有太多信心。

Mikolov話中所指的是word2vec之后又一個(gè)里程碑式研究seq2seq，發(fā)表于2014年，不出意外的話也將會(huì)獲得2024年的NeurIPS時(shí)間檢驗(yàn)獎(jiǎng)。

Tomas Mikolov聲稱seq2seq的想法最初來(lái)自于他，在谷歌大腦工作期間與Quoc Le和Ilya有過(guò)多次討論。

但他跳槽到Facebook后，很驚訝看到最終發(fā)表的成果中自己沒(méi)有成為共同作者。

這正是金錢(qián)大量流入AI領(lǐng)域的時(shí)候，每個(gè)想法都價(jià)值連城。

看到深度學(xué)習(xí)社區(qū)迅速變成某種權(quán)力的游戲，我很悲哀。金錢(qián)和權(quán)力確實(shí)會(huì)腐蝕人心……

從word2vec到seq2seq

最初word2vec論文投稿到首屆ICLR會(huì)議（當(dāng)時(shí)還只是一個(gè)workshop），盡管接受率高達(dá)70%，但還是被據(jù)搞了。

這讓Mikolov感慨，審稿人想要預(yù)測(cè)一篇論文未來(lái)的影響是多么困難。

不少研究者都有同感，如今在大模型與AI繪畫(huà)都大量應(yīng)用的LoRA作者微軟Weizhu Chen透露，當(dāng)初第一次投稿時(shí)也被拒了，因?yàn)閷徃迦苏J(rèn)為太簡(jiǎn)單。

大多數(shù)真正有效的事情往往都是簡(jiǎn)單而優(yōu)雅的。

Mikolov這些年聽(tīng)到了很多對(duì)word2vec的評(píng)論，正面負(fù)面都有，但并沒(méi)有真正在網(wǎng)絡(luò)上回應(yīng)過(guò)。

不知何故，研究界不斷被某些人的公關(guān)式宣傳淹沒(méi)，他們用這種方式博取引用數(shù)和別人的注意力，我不想成為其中一份子。

借著這次獲獎(jiǎng)加10周年的機(jī)會(huì)，Mikolov分享了一些這篇經(jīng)典論文的背后故事。

首先是很多人抱怨word2vec的代碼很難理解，甚至有人以為Mikolov是故意讓大家看不懂的。

現(xiàn)在他澄清了“不，我還沒(méi)那么邪惡”，只是在等待被批準(zhǔn)發(fā)布代碼的幾個(gè)月中試圖讓它更短、更快，最終代碼被過(guò)度優(yōu)化了。

現(xiàn)在回想起來(lái)，如果谷歌大腦團(tuán)隊(duì)中沒(méi)有Greg Corrado和Jeff Dean，我懷疑是否會(huì)獲得批準(zhǔn)——我認(rèn)為word2vec可能是谷歌開(kāi)源的第一個(gè)廣為人知的AI項(xiàng)目。

盡管word2vec是Mikolov被引用次數(shù)最高的論文，但他卻從未認(rèn)為這是自己最有影響力的項(xiàng)目。

實(shí)際上word2vec最初是他的RNNLM項(xiàng)目中一個(gè)子集，這個(gè)項(xiàng)目很快被人們遺忘了。

在我看來(lái)，它至少和AlexNet一樣具有顛覆性。

RNNLM開(kāi)始于2010年，深度學(xué)習(xí)還處在黑暗時(shí)代，Mikolov列舉了其中首次展示的想法：

• 循環(huán)神經(jīng)網(wǎng)絡(luò)的可擴(kuò)展訓(xùn)練，他提出了梯度裁剪（Gradient Clipping）
• 神經(jīng)語(yǔ)言模型首次生成文本，他從2007年開(kāi)始就展示這樣的例子
• 動(dòng)態(tài)評(píng)估
• 字符和子詞級(jí)的神經(jīng)語(yǔ)言建模
• 神經(jīng)語(yǔ)言模型適應(yīng)，現(xiàn)在被稱為微調(diào)
• 第一個(gè)公開(kāi)可用的語(yǔ)言模型評(píng)測(cè)基準(zhǔn)，也就是修改后的Penn Treebank數(shù)據(jù)集

2012年，Mikolov從捷克布爾諾理工大學(xué)博士畢業(yè)后加入了谷歌大腦。

他表示自己很幸運(yùn)，那里有大量神經(jīng)網(wǎng)絡(luò)的信徒，允許自己研究word2vec、展示其潛力，但他不想給人們留下一切都很完美的印象。

在word2vec之后，Mikolov想通過(guò)改進(jìn)谷歌翻譯來(lái)普及神經(jīng)語(yǔ)言模型。開(kāi)始與Franz Och的團(tuán)隊(duì)合作，期間提出了幾個(gè)可以補(bǔ)充甚至取代當(dāng)時(shí)機(jī)器翻譯的模型。

核心想法在他加入谷歌大腦之前就已經(jīng)提出，也就是在不同語(yǔ)言句子對(duì)上訓(xùn)練，然后使用生成模型翻譯看到的第一句話。

當(dāng)時(shí)在短句子上效果很好，較長(zhǎng)句子效果還不佳。他與谷歌大腦中的其他人（主要是Quoc Le和Ilya Sutskever）多次討論過(guò)這個(gè)項(xiàng)目，他們?cè)谧约禾鄣紽acebook后接手。

當(dāng)他們最終以現(xiàn)在著名的“seq2seq”發(fā)表我的想法時(shí)，我感到非常驚訝，不僅沒(méi)有提到我作為合著者，而且我的老朋友們也忘記在論文致謝部分提到我，他們感謝了谷歌大腦中除了我之外的每一個(gè)人。

……

大家看到Mikolov的長(zhǎng)篇感言，也是百感交集。

康奈爾大學(xué)助理教授Volodymyr Kuleshov借word2vec被拒稿的故事，鼓勵(lì)大家不要因論文同行評(píng)議過(guò)程而灰心，“好的想法終會(huì)得到應(yīng)有的認(rèn)可”。

也有人認(rèn)為，Mikolov指出的貢獻(xiàn)分配、引用數(shù)量和影響力等問(wèn)題，不光是NLP的問(wèn)題，而是整個(gè)AI領(lǐng)域都存在。

參考鏈接：
[1]https://www.facebook.com/tomas.mikolov/posts/pfbid0avhBpB2WULd3KNtAieyiDCFpP9MQggxW1xSh6RXZDjWF6sGzgpYa638KMAyF75JSl
[2]https://twitter.com/AravSrinivas/status/1736090919718605169
[3]https://www.fit.vutbr.cz/~imikolov/rnnlm/