LSTM之父再度炮轟Hinton：“本田獎”不該授予他，頒獎詞有六大謬誤
他和三巨頭的爭論從來沒有停止過
曉查 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI
LSTM之父Schmidhuber又來了，他和深度學(xué)習(xí)三巨頭的戰(zhàn)爭從來沒有停止過。
這次他把槍口對準(zhǔn)了最德高望重的Hinton。
這一切要從半年前的一次頒獎?wù)f起。
去年9月，Hinton獲得了當(dāng)年的“本田獎”，該獎由本田汽車創(chuàng)始人設(shè)立，用于表彰對科技做出重大貢獻(xiàn)的人士。而Hinton獲獎的原因當(dāng)然是他在AI領(lǐng)域做出的先驅(qū)性研究。
毫無意外，Schmidhuber又站出來反對了。
經(jīng)過半年的準(zhǔn)備，Schmidhuber旁征博引，用近百篇參考文獻(xiàn)證明，本田獎頒給Hinton就是個錯誤。
Schmidhuber說：“我們必須停止將某個發(fā)明錯誤地歸于某人。”上次他和GAN之父Goodfellow的論戰(zhàn)也是這個主題，總之萬物基于LSTM。
細(xì)數(shù)本田獎“六宗罪”
Schmidhuber在這篇長文中指出，AI中的一些重要技術(shù)，比如反向傳播、無監(jiān)督算法、Dropout等等都并非Hinton的首創(chuàng)。
本田獎的頒獎詞言過其實，把其他人的研究成果算在了Hinton頭上，存在著六處嚴(yán)重錯誤。
一
Hinton創(chuàng)造了許多技術(shù)，使AI得以更廣泛地應(yīng)用，其中包括反向傳播算法，該算法構(gòu)成了AI深度學(xué)習(xí)方法的基礎(chǔ)。
Schmidhuber：
Hinton和他的同事們?yōu)樯疃葘W(xué)習(xí)做出了某些重要的貢獻(xiàn)。但是，上述說法是完全錯誤的。
他是反向傳播論文的三位作者中的第二位，但他沒有提到3年前Paul Werbos建議用這種方法訓(xùn)練神經(jīng)網(wǎng)絡(luò)。
而且Hinton的文章甚至都沒有提及Seppo Linnainmaa，這是網(wǎng)絡(luò)中著名的信用分配算法（1970年）的發(fā)明者，該算法也被稱為“自動微分的反向模式”。
二
2002年，他為受限玻爾茲曼機(jī)（RBM）引入了一種快速學(xué)習(xí)算法，使他們可以學(xué)習(xí)單層分布式表示，而無需任何標(biāo)記數(shù)據(jù)。這些方法使深度學(xué)習(xí)能夠更好地工作，并引發(fā)了當(dāng)前的深度學(xué)習(xí)革命。
Schmidhuber：
Hinton的無監(jiān)督深度神經(jīng)網(wǎng)絡(luò)預(yù)訓(xùn)練與當(dāng)前的深度學(xué)習(xí)革命無關(guān)。在2010年，我們的團(tuán)隊表明，可以通過簡單的反向傳播對前饋神經(jīng)網(wǎng)絡(luò)（FNN）進(jìn)行訓(xùn)練，并且對于重要的應(yīng)用根本不需要進(jìn)行無監(jiān)督的預(yù)訓(xùn)練。
三
2009年，Hinton和他的兩名學(xué)生使用多層神經(jīng)網(wǎng)絡(luò)在語音識別方面取得了重大突破，直接導(dǎo)致了語音識別的顯著改善。
Schmidhuber：
這是非常具有誤導(dǎo)性的。我的實驗室有兩篇論文都應(yīng)用到了神經(jīng)語音識別中，分別是LSTM和CTC。
我們的團(tuán)隊在2007年 成功地將經(jīng)過CTC訓(xùn)練的LSTM應(yīng)用于識別。到2015年，當(dāng)算力變得足夠便宜時，CTC-LSTM大大改善了Google的語音識別，幾乎所有的智能手機(jī)都支持這種功能。
四
2012年，Hinton和另外兩名學(xué)生證明了深度學(xué)習(xí)比現(xiàn)有的最新技術(shù)識別圖像中的對象要好得多，徹底改變了計算機(jī)視覺。
Schmidhuber：
計算機(jī)視覺革命靠的是Fukushima、LeCun等一大批70年代學(xué)者發(fā)展的卷積神經(jīng)網(wǎng)絡(luò)。Hinton團(tuán)隊2012年在ImageNet上的成功很大程度上要歸功于GPU加速CNN運算，
我們的瑞士團(tuán)隊于2011年初創(chuàng)建了第一個基于GPU的頂級CNN——DanNet，在Hinton之前就證明了本田獎?wù)f明的這一點。
在IJCNN 2011上，DanNet贏得了比賽，并成為第一個在國際比賽中超過人類的視覺識別模型，而與Hinton經(jīng)常合作的LeCun團(tuán)隊獲得了第二名。
五
Hinton還發(fā)明了一種被廣泛使用的新方法，稱為“dropout”，該方法通過防止特征檢測器的復(fù)雜配合來減少神經(jīng)網(wǎng)絡(luò)的過擬合。
Schmidhuber：
但是，“dropout”實際上是Hanson早先的隨機(jī)Delta規(guī)則的一種變體。Hinton在2012年發(fā)表的論文并未引用這一點。
此外，我們已經(jīng)在2011年證明，dropout對于贏得計算機(jī)視覺競賽并獲得超過人類的成績并不是必要的 ，唯一真正重要的任務(wù)是使CNN在GPU上更深、更快。
六
“在全球無數(shù)的基于AI的技術(shù)服務(wù)中，毫不夸張地說，如果沒有Hinton創(chuàng)造的結(jié)果，那將是不可能的。”
Schmidhuber：
大多數(shù)著名的AI應(yīng)用都是其他人的成果，比如計算機(jī)視覺、語音識別、語言處理、手寫識別、機(jī)器人技術(shù)、游戲、醫(yī)療影像等。
其中2~6都依賴于我們的LSTM。2016年，谷歌數(shù)據(jù)中心TPU四分之一以上算力都用于處理LSTM。LSTM已經(jīng)成為20世紀(jì)引用最多的AI論文。
最后，Schmidhuber肯定了Hinton和他的同事們對神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)做出了重大貢獻(xiàn)。
但是他認(rèn)為：
Hinton最引人注目的工作是推廣了其他人創(chuàng)造的方法，而且在論文里沒有引用來源，一個重要的發(fā)明者應(yīng)該獎勵發(fā)明它的人，而不是是推廣它的人。
本田應(yīng)該糾正這一點，而不該讓企業(yè)公關(guān)行為扭曲了科學(xué)事實。
不幸的是，Hinton不信任前人的重要工作，這不應(yīng)該成為博士生的榜樣，做研究要不惜一切代價避免絲毫的抄襲。這篇文章也是對Hinton和某些其他獎項的含蓄批評。
網(wǎng)友怎么看
很快這篇長文就在Reddit上的機(jī)器學(xué)習(xí)板塊引起熱議，而這已經(jīng)不是第一次網(wǎng)友為Schmidhuber爭論，都快要成為AI界的“月經(jīng)貼”了。
有些網(wǎng)友早已對Schmidhuber的自說自話感到厭煩。
他覺得上次來Reddit宣傳Schmidhuber觀點就是小號，這類文章實在太多了，一遍遍看到類似話題讓人感到乏味，建議將討論關(guān)閉。
也有網(wǎng)友上來就硬核“打臉”：
比如ResNet贏得ImageNet競賽時，Schmidhuber就出來發(fā)文說ResNet不過是HighwayNets的一種變體，實際上只是前饋LSTM。他還說Hochreiter在1991年首次發(fā)現(xiàn)梯度消失問題。
后來，有人挖出Lang和Witbrock在1988年發(fā)表的一篇論文已經(jīng)發(fā)現(xiàn)了這一點。
每個人的想法都是對現(xiàn)有事物的改進(jìn)，如果不停追溯下去，那么神經(jīng)網(wǎng)絡(luò)的源頭是不是還要追溯到牛頓和萊布尼茲身上呢。
不過也有一些人對Schmidhuber表示理解，因為LSTM確實被廣泛用在語音識別任務(wù)中。而本田獎的表彰詞里把他的首創(chuàng)歸功于Hinton，的確讓人難以接受。
可以預(yù)料，未來Schmidhuber關(guān)于AI首創(chuàng)性研究的爭論還會繼續(xù)下去，你支持他嗎？
參考鏈接：
http://people.idsia.ch/~juergen/critique-honda-prize-hinton.html
https://www.reddit.com/r/MachineLearning/comments/g5ali0/d_schmidhuber_critique_of_honda_prize_for_dr/
相關(guān)閱讀
