圖靈獎頒給深度學(xué)習(xí)三巨頭，他們曾是一小撮頑固的“蠢貨”

栗子 安妮 乾明 發(fā)自 凹非寺

量子位 報道 | 公眾號 QbitAI

深度學(xué)習(xí)三巨頭成為新晉圖靈獎得主！

ACM剛剛官宣，Yoshua Bengio、Geoffrey Hinton、Yann LeCun獲得了2018年度圖靈獎，表彰他們以概念和工程的突破，讓深度神經(jīng)網(wǎng)絡(luò)成為計算關(guān)鍵部件。

圖靈獎（A.M Turing Award）創(chuàng)立于1966年，是計算機(jī)界的最高榮譽。

ACM這樣介紹他們?nèi)说某删停?/p>

Hinton、LeCun和Bengio三人為深度神經(jīng)網(wǎng)絡(luò)這一領(lǐng)域建立起了概念基礎(chǔ)，通過實驗揭示了神奇的現(xiàn)象，還貢獻(xiàn)了足以展示深度神經(jīng)網(wǎng)絡(luò)實際進(jìn)步的工程進(jìn)展。

ACM主席Cherri M. Pancake評價說，人工智能是現(xiàn)在科學(xué)領(lǐng)域發(fā)展最快的領(lǐng)域之一，也是社會上最受關(guān)注的話題之一。人工智能的發(fā)展很大程度上歸功于Bengio，Hinton和LeCun奠定基礎(chǔ)的深度學(xué)習(xí)的新進(jìn)展。

近年來，深度學(xué)習(xí)方法在計算機(jī)視覺、語音識別、自然語言處理、機(jī)器人等等應(yīng)有領(lǐng)域都帶來了驚人的突破。這三個人也隨之走上人工智能”教父“的神壇。

其實，現(xiàn)代神經(jīng)網(wǎng)絡(luò)、機(jī)器學(xué)習(xí)等AI技術(shù)背后的思想，可以追溯到第二次世界大戰(zhàn)行將結(jié)束之際。彼時，學(xué)者們開始構(gòu)建計算系統(tǒng)，旨在以類似于人類大腦的方式存儲和處理信息。

而深度神經(jīng)網(wǎng)絡(luò)早在1980年代就已經(jīng)提出，但很快遭受質(zhì)疑。專注于這種方法的學(xué)者，是AI界的少數(shù)派，LeCun、Hinton和Bengio就在其中。

三十多年前，是他們一生的至暗時刻。

然而，這一小撮“頑固分子”始終堅持自己的信念，他們不怕被視作蠢貨，一直相信神經(jīng)網(wǎng)絡(luò)會照亮這個世界，并改變整個人類的命運。

最終他們的信念，也改變了自己的命運。

Geoffrey Hinton

Geoffrey Hinton，1947年生，現(xiàn)年72歲，谷歌的副總裁和工程師，也是AI研究機(jī)構(gòu)Vector Institute的首席科學(xué)顧問和多倫多大學(xué)的名譽教授。

在ACM頒獎辭博文中，主要提到了Hinton的三個貢獻(xiàn)，如果你做過AI項目，肯定不會陌生，它們分別是：

反向傳播（Backpropagation）：

1986年，在Learning Internal Representations by Error Propagation這篇論文里，Hinton證明了，反向傳播能讓神經(jīng)網(wǎng)絡(luò)發(fā)現(xiàn)自己內(nèi)部的數(shù)據(jù)表征，這樣便可以處理以往無法解決的問題。

如今，反向傳播已經(jīng)是神經(jīng)網(wǎng)絡(luò)的標(biāo)準(zhǔn)操作，Hinton也有了“反向傳播之父”的名號。

玻爾茲曼機(jī)（Boltzmann Machines）：

1983年，Hinton和同伴一起發(fā)明了玻爾茲曼機(jī)，那是最早能夠?qū)W習(xí)神經(jīng)元內(nèi)部表征的網(wǎng)絡(luò)之一：那些表征既不來自輸入，也不來自輸出。

改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)：

2012年，Hinton和學(xué)生們一起，利用線性整流神經(jīng)元（Rectified Linear Neurons）和dropout 正則化改進(jìn)了卷積神經(jīng)網(wǎng)絡(luò)。

在ImageNet比賽上，他們幾乎把物體識別的錯誤率降到了從前的一半，讓計算機(jī)視覺領(lǐng)域煥然一新。

在獲得圖靈獎之前，Hinton就已經(jīng)獲得了大量的榮譽，手握加拿大最高榮譽勛章（Companion of the Order of Canada），是頂級認(rèn)知科學(xué)獎魯梅哈特獎的首位獲獎?wù)撸搏@得了人工智能國際聯(lián)合會（IJCAI）杰出學(xué)者獎終生成就獎等等。

此外，他也是英國皇家學(xué)會成員、美國工程院外籍院士。

一個有趣的軼事是，Hinton的高祖父是大名鼎鼎的喬治·布爾——布爾邏輯的創(chuàng)立者，因“布爾檢索“而聞名于世。

而即將出場的人，曾經(jīng)在Hinton的實驗室里做過博士后。

Yann LeCun

Yann LeCun，1960年生，58歲，現(xiàn)在是Facebook首席AI科學(xué)家。卷積神經(jīng)網(wǎng)絡(luò) (CNN) 之父，是他最為人熟知的名號。

ACM列舉的成就，也是從這里開始。

卷積神經(jīng)網(wǎng)絡(luò) (CNN) ：

1989年，在AT&T貝爾實驗室工作的LeCun，以反向傳播為基礎(chǔ)，發(fā)表了一項研究，叫做“將反向傳播用到手寫郵編的識別上”。CNN的第一次實現(xiàn)，就是在這里誕生。

如今，CNN已經(jīng)成為深度學(xué)習(xí)的基礎(chǔ)技術(shù)了，不止在計算機(jī)視覺領(lǐng)域，在語音合成、語音識別這些應(yīng)用中，也是行業(yè)標(biāo)準(zhǔn)操作。

反向傳播雛形：

1985年，Hinton還沒有成為反向傳播之父的時候，LeCun在巴黎六大讀博期間，發(fā)表過反向傳播的一個早期版本，根據(jù)變分原理給出了一個簡單的推導(dǎo)過程。

他用兩種加速學(xué)習(xí)的方法，讓反向傳播變得更快了。

拓展了神經(jīng)網(wǎng)絡(luò)的視野：

LeCun不止把神經(jīng)網(wǎng)絡(luò)用在圖像識別上，還解鎖了許多其他任務(wù)。他提出的一些概念，如今已經(jīng)成了AI領(lǐng)域的基礎(chǔ)。

比如，在圖像識別上，他研究了神經(jīng)網(wǎng)絡(luò)怎樣學(xué)習(xí)分層特征表示 (Hierarchical Feature Representation) ，這也成為了如今許多識別任務(wù)中常用的概念。

另外，他和同伴Léon Bottou一起提出，學(xué)習(xí)系統(tǒng)可以由復(fù)雜的神經(jīng)網(wǎng)絡(luò)構(gòu)成。在這樣的系統(tǒng)里，反向傳播是靠自動微分來實現(xiàn)。他們還提出，深度學(xué)習(xí)架構(gòu)可以對結(jié)構(gòu)化數(shù)據(jù) (比如圖形) ，進(jìn)行處理。

LeCun博士畢業(yè)后，只在Hinton的實驗室做了一年博士后，就進(jìn)入了工業(yè)界。

不過，他在2003年成為了紐約大學(xué)的教授，還在2012年創(chuàng)辦了紐大數(shù)據(jù)科學(xué)中心。即便加入Facebook之后，也繼續(xù)在紐大兼職。

而下一位巨頭，也和LeCun一樣，橫跨學(xué)界和產(chǎn)業(yè)界。并且，他也在赫赫有名的貝爾實驗室工作過。

Yoshua Bengio

Yoshua Bengio，1964年生，55歲，現(xiàn)在是蒙特利爾大學(xué)計算機(jī)科學(xué)與運籌學(xué)系教授。

Bengio創(chuàng)建了蒙特利爾學(xué)習(xí)算法研究所（MILA），擔(dān)任研究所的科學(xué)主任，主持加拿大高等研究院（CIFAR）機(jī)器與大腦學(xué)習(xí)項目的研究。同時，Bengio也擔(dān)任著數(shù)據(jù)評估研究所（IVADO）的科學(xué)聯(lián)合主任。

同樣，ACM也總結(jié)了Bengio的三個主要貢獻(xiàn)。

序列的概率模型：

上世紀(jì)90年代，Bengio提出了序列的概率模型。他把神經(jīng)網(wǎng)絡(luò)和概率模型（例如隱馬爾可夫模型）相結(jié)合，用新技術(shù)識別手寫的支票。外界認(rèn)為，這是20世紀(jì)90年代神經(jīng)網(wǎng)絡(luò)的巔峰之作，當(dāng)下語音識別技術(shù)就是在它的基礎(chǔ)上擴(kuò)展的。

高維詞匯嵌入和注意機(jī)制：

Bengio參與發(fā)表了一篇里程碑式的論文，A Neural Probabilistic Language Model（神經(jīng)概率語言模型），把高維詞嵌入 (High-Dimentional Word Embeddings) 作為詞義的表征。這對NLP研究（如翻譯、問答和視覺問答等任務(wù)）產(chǎn)生了深遠(yuǎn)的影響。

生成對抗網(wǎng)絡(luò)（GAN）：

2014年，Bengio與Ian Goodfellow一同發(fā)表的生成對抗網(wǎng)絡(luò) (GAN) ，引發(fā)了計算機(jī)視覺和圖形學(xué)的革命。

據(jù)統(tǒng)計，Yoshua Bengio發(fā)表的300多篇學(xué)術(shù)文章的累計引用次數(shù)已經(jīng)超過137000次。

作為教授，Bengio曾經(jīng)和Ian Goodfellow、Aaron Courville等業(yè)界大神一起寫出了Deep Learning，成為人手一本的“AI圣經(jīng)”，不少人將這本書親切稱之為“花書”。

除了學(xué)術(shù)界，Bengio也活躍在產(chǎn)業(yè)界。

曾經(jīng)，Bengio聯(lián)合Jean-Fran?ois Gagné創(chuàng)立了Element AI，為那些想給自家業(yè)務(wù)尋找機(jī)器學(xué)習(xí)解決方案的公司，找到AI領(lǐng)域的專家。

除此之外，Bengio也有許多榮譽在身。他不僅成為了加拿大皇家學(xué)院（RSC）及加拿大高等研究院（CIFAR）的院士，還在2017年獲得了代表加拿大公民最高榮譽的“加拿大總督功勛獎”。

一小撮“蠢貨”

從上世紀(jì)50年代開始，神經(jīng)網(wǎng)絡(luò)的發(fā)展起起伏伏，被人唾棄過，也被屢次唱衰過。

多虧了一批最早在黑暗中等待黎明的人，不斷研究探索，才有了人工智能的今天。這是一段臥薪嘗膽般的故事，將Hinton、LeCun和Bengio的命運交織在一起。

三十多年以來，他們仨一直徘徊在人工智能研究的邊緣地帶。像局外人一樣堅守著一個簡單的觀點：計算機(jī)可以像人類一樣，通過神經(jīng)網(wǎng)絡(luò)思考，依靠直覺而不是規(guī)則。

而當(dāng)時主流學(xué)術(shù)界給出的答案，是一個震耳欲聾的No。他們說計算機(jī)最佳的學(xué)習(xí)方式，就是規(guī)則和邏輯。Hinton主張的神經(jīng)網(wǎng)絡(luò)，被他們“證明”是錯的。

1972年，25歲的Hinton在愛丁堡大學(xué)攻讀博士學(xué)位，并把神經(jīng)網(wǎng)絡(luò)作為研究重點。導(dǎo)師幾乎每周都會提醒他在浪費時間。然而Hinton不為所動。

1980年代LeCun在巴黎讀大學(xué)時，計算機(jī)就是瞎子，無法識別圖片中的內(nèi)容，也無法判斷攝像頭前方出現(xiàn)了什么。但就在那個時候，LeCun偶然涉足了探索人工智能領(lǐng)域的一種方法：“智能神經(jīng)網(wǎng)絡(luò)”。

這并不是一條新路，而且并不受待見。但在攻讀博士學(xué)位時，LeCun頂著一片質(zhì)疑聲專注于研究神經(jīng)網(wǎng)絡(luò)。“我只是不相信他們所說的。”他說。

1985年，Bengio在加拿大麥吉爾大學(xué)時，根本沒人教神經(jīng)網(wǎng)絡(luò)。他學(xué)的是經(jīng)典的、符號化的人工智能（Symbolic AI），所以，想做神經(jīng)網(wǎng)絡(luò)，必須先說服教授來指導(dǎo)他。

80年代末，神經(jīng)網(wǎng)絡(luò)曾有過一次小小的復(fù)蘇。但由于計算力和可用數(shù)據(jù)的缺乏，人工智能再次進(jìn)入寒冬。一直到2000年代初期，這群堅信神經(jīng)網(wǎng)絡(luò)的學(xué)者處境愈發(fā)邊緣化。一些學(xué)術(shù)機(jī)構(gòu)甚至不允許他們在會議上發(fā)表論文。計算機(jī)視覺的圈子將他們拒之門外。

在蒙特利爾大學(xué)任教的Yoshua Bengio發(fā)現(xiàn)，他很難找到愿意與自己共事的研究生。“我需要強(qiáng)迫學(xué)生從事這方面的研究，他們害怕在博士畢業(yè)后找不到工作。”

對Hinton、Bengio和LeCun來說，這是一段黑暗的時期。

“當(dāng)然，我們一直相信它，也一直在研究它。”Hinton說。

“神經(jīng)網(wǎng)絡(luò)終有一天會回來——至少有很小一撮人心里是這么想的。”LeCun說。

Hinton出生于一個學(xué)術(shù)背景顯赫的世家。在他長大成人的過程中，母親給過他兩種選擇：“做學(xué)者，或是做失敗者。”7歲就已經(jīng)意識到要讀博的Hinton說，自己一輩子都在壓抑、沮喪中掙扎。

但他投入研究的神經(jīng)網(wǎng)絡(luò)，真真是經(jīng)歷過漫長而幽暗的歲月。除了面對學(xué)術(shù)上的不認(rèn)可，他的兩任妻子先后罹患了癌癥。而他自己也深受背痛困擾。

2003年，Hinton在多倫多，被CIFAR招攬過去啟動一個神經(jīng)計算項目。于是，他們聚到了一起，決定努力奮斗，重新點燃這個領(lǐng)域的熱情。

一直到大約2009年前后，計算機(jī)最終有了足夠的算力挖掘大型數(shù)據(jù)庫，從此神經(jīng)網(wǎng)絡(luò)開始在語音和圖像識別方面戰(zhàn)勝基于邏輯的系統(tǒng)。工業(yè)界很快注意到變化的發(fā)生，微軟、Facebook、谷歌等科技巨頭開始在這個領(lǐng)域投資。

Bengio評價Hinton時說“他有時可以穿過黑暗看清事物。但他的個人生活非常不容易。他也有他的黑暗時代”。

在黑暗中穿行的日子里，他始終堅持一個信念：其他人都錯了。

不過最終，他們都算是等到了春天。

在去年一次彭博社的采訪中，Hinton說：未來是很難預(yù)測的。當(dāng)你開始試圖預(yù)測未來20年會發(fā)生什么事情，你基本就錯得離譜了。但也有一些東西是可以預(yù)測的，比如人工智能技術(shù)將會改變一切。