超越反向傳播，LSTM登頂20世紀AI論文高引No.1，光今年就近7千次

郭一璞 十三 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI

經典也會被經典超越。

20世紀深度學習研究中，引用最多的論文不再是反向傳播。

新的寵兒，是1997年Hochreiter和Schmidhuber發(fā)表的Long short-term memory。

大名鼎鼎的LSTM。

超越反向傳播

LSTM的引用量，目前已經超過了26000。

而反向傳播，相關的論文雖然不少，但都不再比LSTM高：

如果只算一年，比如馬上結束的2019年，根據(jù)Google Scholar的結果，DE Rumelhart、GE Hinton、RJ Williams三人組的兩篇反向傳播論文，今年一整年的引用量加起來足足有3085次。

但新寵LSTM被引用了6750次。

超過前者的兩倍。

因此，當一位吃瓜人士將這個數(shù)據(jù)發(fā)布到Reddit的機器學習版塊后，它迅速成為了討論的焦點。

不過，至于反向傳播與LSTM兩者的地位，在人們心中尚無定論。

有人覺得，可能反向傳播引用的太多，歷史地位太高，已經被當做了一個常識，所以干脆后來的論文作者們就不引用它了。

但深度學習走到如今這個時代，LSTM有著更廣泛的作用。

它部署在了每部智能手機上，它讓DeepMind拿到了《星際II》冠軍，讓OpenAI拿到了Dota冠軍。

Schmidhuber的LSTM

1997年，Hochreater和Schmidhuber提出了長短期記憶網絡。

這是一種時間循環(huán)神經網絡，主要是為了解決一般RNN所存在的長期依賴問題：

所有的RNN都具有一種重復神經網絡模塊的鏈式形式。

在標準的 RNN 中，這個重復的模塊只有一個非常簡單的結構，例如一個 tanh 層。

而LSTM也是類似的結構，不同點在于重復模塊的結構。

與單一的神經網絡層不同，LSTM有四個類似tanh的層，并以一種非常特殊的方式進行交互。

LSTM通過各種門(gate)來實現(xiàn)信息的添加與刪除。

根據(jù)谷歌的測試表明，LSTM中最重要的是遺忘門(Forget gate)，其次是輸入門(Input gate)，最后是輸出門(Output gate)。

遺忘門

遺忘門決定會從上一個細胞狀態(tài)中丟棄什么信息，也就是說決定要記住什么和要遺忘什么。

輸入門

輸入門決定讓多少新的信息加入到cell狀態(tài)中。

更新細胞狀態(tài)

把舊狀態(tài)與ft相乘，丟棄掉確定需要丟棄的信息，再加上經過篩選后的新信息，就得到了當前cell的狀態(tài)。

輸出門

此時，就基于當前的cell狀態(tài)進行輸出。

LSTM的表現(xiàn)通常比時間遞歸神經網絡及隱馬爾科夫模型(HMM)更好，還普遍用于自主語音識別，可作為復雜的非線性單元用于構造更大型深度神經網絡。

兩位傳奇作者

LSTM的作者Sepp Hochreiter和Juergen Schmidhuber二人都來自德國，

Sepp Hochreiter，現(xiàn)在是奧地利約翰內斯開普勒大學機器學習研究所的負責人，LSTM是他在慕尼黑工業(yè)大學的碩士畢業(yè)論文。

博士畢業(yè)后他也曾在柏林科技大學、科羅拉多大學、慕尼黑工業(yè)大學等高校任職，對強化學習、計算機視覺、NLP和生物信息學方面都有研究。

而他的老師，LSTM共同作者Juergen Schmidhuber則是一位充滿爭議的大牛，他現(xiàn)在是達勒·莫爾人工智能研究所的負責人，也曾在盧加諾大學、慕尼黑工業(yè)大學任教，開了自己的公司NNAISENSE。

不過，之所以說他充滿爭議，是因為他的研究總是和其他人的研究莫名撞車，和深度學習三巨頭、圖靈獎得主Yoshua Bengio、Geoffrey Hinton、Yann LeCun都有過糾紛，還曾跟Ian Goodfellow爭吵過GAN到底算誰的。

貴圈有點復雜。

One More Thing

最后，說了這么多上世紀最火論文，你知道本世紀最火的深度學習論文是哪篇嗎？

Hinton等大佬發(fā)在NeurIPS 2012上的Imagenet classification with deep convolutional neural networks，引用超過53000。

畢竟也是有歷史意義的ImageNet 2012得勝選手。

另外，CVPR 2016最佳論文Deep Residual Learning for Image Recognition，引用次數(shù)也超過了36000。

這幾位作者何愷明、張祥雨、任少卿、孫劍也都是當今華人AI圈的佼佼者了。