LSTM之父再度炮轟Hinton：“本田獎”不該授予他，頒獎詞有六大謬誤

曉查 2020-04-22 12:10:43 來源：量子位

曉查 發自 凹非寺
量子位 報道 | 公眾號 QbitAI

LSTM之父Schmidhuber又來了，他和深度學習三巨頭的戰爭從來沒有停止過。

這次他把槍口對準了最德高望重的Hinton。

這一切要從半年前的一次頒獎說起。

去年9月，Hinton獲得了當年的“本田獎”，該獎由本田汽車創始人設立，用于表彰對科技做出重大貢獻的人士。而Hinton獲獎的原因當然是他在AI領域做出的先驅性研究。

毫無意外，Schmidhuber又站出來反對了。

經過半年的準備，Schmidhuber旁征博引，用近百篇參考文獻證明，本田獎頒給Hinton就是個錯誤。

Schmidhuber說：“我們必須停止將某個發明錯誤地歸于某人。”上次他和GAN之父Goodfellow的論戰也是這個主題，總之萬物基于LSTM。

細數本田獎“六宗罪”

Schmidhuber在這篇長文中指出，AI中的一些重要技術，比如反向傳播、無監督算法、Dropout等等都并非Hinton的首創。

本田獎的頒獎詞言過其實，把其他人的研究成果算在了Hinton頭上，存在著六處嚴重錯誤。

一

Hinton創造了許多技術，使AI得以更廣泛地應用，其中包括反向傳播算法，該算法構成了AI深度學習方法的基礎。

Schmidhuber：

Hinton和他的同事們為深度學習做出了某些重要的貢獻。但是，上述說法是完全錯誤的。

他是反向傳播論文的三位作者中的第二位，但他沒有提到3年前Paul Werbos建議用這種方法訓練神經網絡。

而且Hinton的文章甚至都沒有提及Seppo Linnainmaa，這是網絡中著名的信用分配算法（1970年）的發明者，該算法也被稱為“自動微分的反向模式”。

二

2002年，他為受限玻爾茲曼機（RBM）引入了一種快速學習算法，使他們可以學習單層分布式表示，而無需任何標記數據。這些方法使深度學習能夠更好地工作，并引發了當前的深度學習革命。

Schmidhuber：

Hinton的無監督深度神經網絡預訓練與當前的深度學習革命無關。在2010年，我們的團隊表明，可以通過簡單的反向傳播對前饋神經網絡（FNN）進行訓練，并且對于重要的應用根本不需要進行無監督的預訓練。

三

2009年，Hinton和他的兩名學生使用多層神經網絡在語音識別方面取得了重大突破，直接導致了語音識別的顯著改善。

Schmidhuber：

這是非常具有誤導性的。我的實驗室有兩篇論文都應用到了神經語音識別中，分別是LSTM和CTC。

我們的團隊在2007年 成功地將經過CTC訓練的LSTM應用于識別。到2015年，當算力變得足夠便宜時，CTC-LSTM大大改善了Google的語音識別，幾乎所有的智能手機都支持這種功能。

四

2012年，Hinton和另外兩名學生證明了深度學習比現有的最新技術識別圖像中的對象要好得多，徹底改變了計算機視覺。

Schmidhuber：

計算機視覺革命靠的是Fukushima、LeCun等一大批70年代學者發展的卷積神經網絡。Hinton團隊2012年在ImageNet上的成功很大程度上要歸功于GPU加速CNN運算，

我們的瑞士團隊于2011年初創建了第一個基于GPU的頂級CNN——DanNet，在Hinton之前就證明了本田獎說明的這一點。

在IJCNN 2011上，DanNet贏得了比賽，并成為第一個在國際比賽中超過人類的視覺識別模型，而與Hinton經常合作的LeCun團隊獲得了第二名。

五

Hinton還發明了一種被廣泛使用的新方法，稱為“dropout”，該方法通過防止特征檢測器的復雜配合來減少神經網絡的過擬合。

Schmidhuber：

但是，“dropout”實際上是Hanson早先的隨機Delta規則的一種變體。Hinton在2012年發表的論文并未引用這一點。

此外，我們已經在2011年證明，dropout對于贏得計算機視覺競賽并獲得超過人類的成績并不是必要的 ，唯一真正重要的任務是使CNN在GPU上更深、更快。

六

“在全球無數的基于AI的技術服務中，毫不夸張地說，如果沒有Hinton創造的結果，那將是不可能的。”

Schmidhuber：

大多數著名的AI應用都是其他人的成果，比如計算機視覺、語音識別、語言處理、手寫識別、機器人技術、游戲、醫療影像等。

其中2~6都依賴于我們的LSTM。2016年，谷歌數據中心TPU四分之一以上算力都用于處理LSTM。LSTM已經成為20世紀引用最多的AI論文。

最后，Schmidhuber肯定了Hinton和他的同事們對神經網絡和深度學習做出了重大貢獻。

但是他認為：

Hinton最引人注目的工作是推廣了其他人創造的方法，而且在論文里沒有引用來源，一個重要的發明者應該獎勵發明它的人，而不是是推廣它的人。

本田應該糾正這一點，而不該讓企業公關行為扭曲了科學事實。

不幸的是，Hinton不信任前人的重要工作，這不應該成為博士生的榜樣，做研究要不惜一切代價避免絲毫的抄襲。這篇文章也是對Hinton和某些其他獎項的含蓄批評。

網友怎么看

很快這篇長文就在Reddit上的機器學習板塊引起熱議，而這已經不是第一次網友為Schmidhuber爭論，都快要成為AI界的“月經貼”了。

有些網友早已對Schmidhuber的自說自話感到厭煩。

他覺得上次來Reddit宣傳Schmidhuber觀點就是小號，這類文章實在太多了，一遍遍看到類似話題讓人感到乏味，建議將討論關閉。

也有網友上來就硬核“打臉”：

比如ResNet贏得ImageNet競賽時，Schmidhuber就出來發文說ResNet不過是HighwayNets的一種變體，實際上只是前饋LSTM。他還說Hochreiter在1991年首次發現梯度消失問題。

后來，有人挖出Lang和Witbrock在1988年發表的一篇論文已經發現了這一點。

每個人的想法都是對現有事物的改進，如果不停追溯下去，那么神經網絡的源頭是不是還要追溯到牛頓和萊布尼茲身上呢。

不過也有一些人對Schmidhuber表示理解，因為LSTM確實被廣泛用在語音識別任務中。而本田獎的表彰詞里把他的首創歸功于Hinton，的確讓人難以接受。

可以預料，未來Schmidhuber關于AI首創性研究的爭論還會繼續下去，你支持他嗎？

參考鏈接：

http://people.idsia.ch/~juergen/critique-honda-prize-hinton.html

https://www.reddit.com/r/MachineLearning/comments/g5ali0/d_schmidhuber_critique_of_honda_prize_for_dr/