LSTM之父開(kāi)噴LeCun最新論文：為啥你不引用我的工作？LeCun沉默未回應(yīng)

明敏 2022-07-08 16:00:23 來(lái)源：量子位

明敏 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

語(yǔ)不驚人死不休的LSTM之父Jürgen Schmidhube，又來(lái)了。

這一回，他把“矛頭”對(duì)準(zhǔn)LeCun，聲稱(chēng)其前不久發(fā)表的最新62頁(yè)論文中，沒(méi)有正確引用自己實(shí)驗(yàn)室1990-2015年的成果。

沒(méi)錯(cuò)，就是LeCun那篇介紹自己未來(lái)10年研究方向的論文《A Path Towards Autonomous Machine Intelligence》。

盡管LeCun已經(jīng)在論文中聲明，其中的很多想法都是來(lái)自不同作者。

但Jürgen表示，很多內(nèi)容讀起來(lái)似曾相識(shí)，“而他并沒(méi)有正確引用我的論文”，并且列出10個(gè)方面論述了自己的觀點(diǎn)。

其中不乏LeCun眼中的下一代AI架構(gòu)世界模型、JEPA等引起熱議的部分。

Jürgen直言，自己如此較真并不是因?yàn)榇嬖诶鏇_突，而是希望自己的工作能夠得到認(rèn)可。

目前，LeCun對(duì)此還沒(méi)有回應(yīng)。

“他引用的論文都太新了”

在這次發(fā)文中，Jürgen表示LeCun引用的很多論文都太新了，卻沒(méi)有引用早年間的一些“最原創(chuàng)”的論文。

這些早年的研究，正是來(lái)自他的團(tuán)隊(duì)。

就拿LeCun此次重點(diǎn)提到的世界模型來(lái)說(shuō)。

Jürgen表示，他1990年發(fā)表的一篇論文中，就介紹到了其中的幾個(gè)概念。

這篇論文中，描述了兩個(gè)循環(huán)神經(jīng)網(wǎng)絡(luò)，可以稱(chēng)為控制器（controller）和世界模型（world model）。

控制器負(fù)責(zé)嘗試發(fā)出一系列動(dòng)作，以在最初的未知環(huán)境中盡可能多地積累輸入。

世界模型用來(lái)學(xué)習(xí)控制器發(fā)出動(dòng)作后產(chǎn)生的結(jié)果。

這種模式也就是現(xiàn)在的rollout算法。

在LeCun的論文中，關(guān)于這部分的引用是來(lái)自論文“Dyna, an integrated architecture for learning, planning, and reacting”，發(fā)表于1991年8月。

但Jürgen認(rèn)為，其中提到的集合學(xué)習(xí)、規(guī)劃和反應(yīng)的架構(gòu)，在此之前就被提出了，正是來(lái)自于他們1990年的工作。

因此，LeCun的引用有問(wèn)題。

除此之外，他還提到LeCun引用的2014年發(fā)表的論文Generative Adversarial Nets，也是基于他們的工作。

這一點(diǎn)在他之前的發(fā)聲中就有提及過(guò)。

去年，Jürgen表示ResNet、GAN等五大網(wǎng)絡(luò)都有他的功勞。

還有LeCun在論文中提到的核心——聯(lián)合嵌入預(yù)測(cè)架構(gòu) (JEPA)。

Jürgen認(rèn)為這是他在1997-2002年時(shí)提出過(guò)的工作。

諸如此類(lèi)的問(wèn)題，Jürgen在博客中列舉了將近10處，并列出了大量論文進(jìn)行論證。

網(wǎng)友：機(jī)器學(xué)習(xí)的所有工作都是他的注腳

Jürgen一波操作自然又引來(lái)了不少網(wǎng)友圍觀。

有網(wǎng)友覺(jué)得，LeCun也沒(méi)有說(shuō)這些想法都是他自己的，他的立場(chǎng)更多是綜合了大家想法下提出一個(gè)愿景，而且也提供了適當(dāng)?shù)囊米鳛閰⒖肌?/p>

大概他也應(yīng)該提到你的這些論文！

當(dāng)然更多人是出來(lái)吐槽Jürgen了……

你的確是AI領(lǐng)域的一位大佬，但你更出名的是總出來(lái)說(shuō)別人剽竊了你的想法吧。

機(jī)器學(xué)習(xí)的所有工作都是Jürgen的注腳。

更直接的調(diào)侃還有，“Jürgen發(fā)明了火”，“還有輪子”。

不過(guò)這也不能怪網(wǎng)友們嘴狠，畢竟Jürgen的嘴炮歷史非常悠久。

去年他還提出“目前引用次數(shù)最高的5項(xiàng)神經(jīng)網(wǎng)絡(luò)工作都是基于我團(tuán)隊(duì)的成果”。

這五項(xiàng)工作分別是：LSTM、ResNet、AlexNet和VGG Net、GAN、Transformer。

當(dāng)時(shí)就有不少人說(shuō)，Jürgen太美化自己的貢獻(xiàn)了。

不過(guò)不管咋說(shuō)，Jürgen的成就還是有目共睹的，作為深度學(xué)習(xí)領(lǐng)域的開(kāi)拓者，他提出的LSTM解決了一般RNN存在的長(zhǎng)期依賴(lài)問(wèn)題。

而對(duì)于Jürgen多年來(lái)的激烈表達(dá)，網(wǎng)友們似乎也習(xí)慣了。

甚至在當(dāng)年圖靈獎(jiǎng)?lì)C給“深度學(xué)習(xí)三巨頭”后，還專(zhuān)門(mén)為Jürgen寫(xiě)了首歌來(lái)讓他振作起來(lái)（doge）。

參考鏈接：
[1]https://people.idsia.ch/~juergen/lecun-rehash-1990-2022.html#DYNA90
[2]https://twitter.com/SchmidhuberAI/status/1544939700099710976
[3]https://www.reddit.com/r/MachineLearning/comments/vtcrej/d_lecuns_2022_paper_on_autonomous_machine/