圖靈獎(jiǎng)?lì)C給深度學(xué)習(xí)三巨頭，他們?cè)且恍〈轭B固的“蠢貨”

栗子 安妮 乾明 發(fā)自 凹非寺

量子位 報(bào)道 | 公眾號(hào) QbitAI

深度學(xué)習(xí)三巨頭成為新晉圖靈獎(jiǎng)得主！

ACM剛剛官宣，Yoshua Bengio、Geoffrey Hinton、Yann LeCun獲得了2018年度圖靈獎(jiǎng)，表彰他們以概念和工程的突破，讓深度神經(jīng)網(wǎng)絡(luò)成為計(jì)算關(guān)鍵部件。

圖靈獎(jiǎng)（A.M Turing Award）創(chuàng)立于1966年，是計(jì)算機(jī)界的最高榮譽(yù)。

ACM這樣介紹他們?nèi)说某删停?/p>

Hinton、LeCun和Bengio三人為深度神經(jīng)網(wǎng)絡(luò)這一領(lǐng)域建立起了概念基礎(chǔ)，通過(guò)實(shí)驗(yàn)揭示了神奇的現(xiàn)象，還貢獻(xiàn)了足以展示深度神經(jīng)網(wǎng)絡(luò)實(shí)際進(jìn)步的工程進(jìn)展。

ACM主席Cherri M. Pancake評(píng)價(jià)說(shuō)，人工智能是現(xiàn)在科學(xué)領(lǐng)域發(fā)展最快的領(lǐng)域之一，也是社會(huì)上最受關(guān)注的話題之一。人工智能的發(fā)展很大程度上歸功于Bengio，Hinton和LeCun奠定基礎(chǔ)的深度學(xué)習(xí)的新進(jìn)展。

近年來(lái)，深度學(xué)習(xí)方法在計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別、自然語(yǔ)言處理、機(jī)器人等等應(yīng)有領(lǐng)域都帶來(lái)了驚人的突破。這三個(gè)人也隨之走上人工智能”教父“的神壇。

其實(shí)，現(xiàn)代神經(jīng)網(wǎng)絡(luò)、機(jī)器學(xué)習(xí)等AI技術(shù)背后的思想，可以追溯到第二次世界大戰(zhàn)行將結(jié)束之際。彼時(shí)，學(xué)者們開(kāi)始構(gòu)建計(jì)算系統(tǒng)，旨在以類似于人類大腦的方式存儲(chǔ)和處理信息。

而深度神經(jīng)網(wǎng)絡(luò)早在1980年代就已經(jīng)提出，但很快遭受質(zhì)疑。專注于這種方法的學(xué)者，是AI界的少數(shù)派，LeCun、Hinton和Bengio就在其中。

三十多年前，是他們一生的至暗時(shí)刻。

然而，這一小撮“頑固分子”始終堅(jiān)持自己的信念，他們不怕被視作蠢貨，一直相信神經(jīng)網(wǎng)絡(luò)會(huì)照亮這個(gè)世界，并改變整個(gè)人類的命運(yùn)。

最終他們的信念，也改變了自己的命運(yùn)。

Geoffrey Hinton

Geoffrey Hinton，1947年生，現(xiàn)年72歲，谷歌的副總裁和工程師，也是AI研究機(jī)構(gòu)Vector Institute的首席科學(xué)顧問(wèn)和多倫多大學(xué)的名譽(yù)教授。

在ACM頒獎(jiǎng)辭博文中，主要提到了Hinton的三個(gè)貢獻(xiàn)，如果你做過(guò)AI項(xiàng)目，肯定不會(huì)陌生，它們分別是：

反向傳播（Backpropagation）：

1986年，在Learning Internal Representations by Error Propagation這篇論文里，Hinton證明了，反向傳播能讓神經(jīng)網(wǎng)絡(luò)發(fā)現(xiàn)自己內(nèi)部的數(shù)據(jù)表征，這樣便可以處理以往無(wú)法解決的問(wèn)題。

如今，反向傳播已經(jīng)是神經(jīng)網(wǎng)絡(luò)的標(biāo)準(zhǔn)操作，Hinton也有了“反向傳播之父”的名號(hào)。

玻爾茲曼機(jī)（Boltzmann Machines）：

1983年，Hinton和同伴一起發(fā)明了玻爾茲曼機(jī)，那是最早能夠?qū)W習(xí)神經(jīng)元內(nèi)部表征的網(wǎng)絡(luò)之一：那些表征既不來(lái)自輸入，也不來(lái)自輸出。

改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)：

2012年，Hinton和學(xué)生們一起，利用線性整流神經(jīng)元（Rectified Linear Neurons）和dropout 正則化改進(jìn)了卷積神經(jīng)網(wǎng)絡(luò)。

在ImageNet比賽上，他們幾乎把物體識(shí)別的錯(cuò)誤率降到了從前的一半，讓計(jì)算機(jī)視覺(jué)領(lǐng)域煥然一新。

在獲得圖靈獎(jiǎng)之前，Hinton就已經(jīng)獲得了大量的榮譽(yù)，手握加拿大最高榮譽(yù)勛章（Companion of the Order of Canada），是頂級(jí)認(rèn)知科學(xué)獎(jiǎng)魯梅哈特獎(jiǎng)的首位獲獎(jiǎng)?wù)撸搏@得了人工智能國(guó)際聯(lián)合會(huì)（IJCAI）杰出學(xué)者獎(jiǎng)終生成就獎(jiǎng)等等。

此外，他也是英國(guó)皇家學(xué)會(huì)成員、美國(guó)工程院外籍院士。

一個(gè)有趣的軼事是，Hinton的高祖父是大名鼎鼎的喬治·布爾——布爾邏輯的創(chuàng)立者，因“布爾檢索“而聞名于世。

而即將出場(chǎng)的人，曾經(jīng)在Hinton的實(shí)驗(yàn)室里做過(guò)博士后。

Yann LeCun

Yann LeCun，1960年生，58歲，現(xiàn)在是Facebook首席AI科學(xué)家。卷積神經(jīng)網(wǎng)絡(luò) (CNN) 之父，是他最為人熟知的名號(hào)。

ACM列舉的成就，也是從這里開(kāi)始。

卷積神經(jīng)網(wǎng)絡(luò) (CNN) ：

1989年，在AT&T貝爾實(shí)驗(yàn)室工作的LeCun，以反向傳播為基礎(chǔ)，發(fā)表了一項(xiàng)研究，叫做“將反向傳播用到手寫郵編的識(shí)別上”。CNN的第一次實(shí)現(xiàn)，就是在這里誕生。

如今，CNN已經(jīng)成為深度學(xué)習(xí)的基礎(chǔ)技術(shù)了，不止在計(jì)算機(jī)視覺(jué)領(lǐng)域，在語(yǔ)音合成、語(yǔ)音識(shí)別這些應(yīng)用中，也是行業(yè)標(biāo)準(zhǔn)操作。

反向傳播雛形：

1985年，Hinton還沒(méi)有成為反向傳播之父的時(shí)候，LeCun在巴黎六大讀博期間，發(fā)表過(guò)反向傳播的一個(gè)早期版本，根據(jù)變分原理給出了一個(gè)簡(jiǎn)單的推導(dǎo)過(guò)程。

他用兩種加速學(xué)習(xí)的方法，讓反向傳播變得更快了。

拓展了神經(jīng)網(wǎng)絡(luò)的視野：

LeCun不止把神經(jīng)網(wǎng)絡(luò)用在圖像識(shí)別上，還解鎖了許多其他任務(wù)。他提出的一些概念，如今已經(jīng)成了AI領(lǐng)域的基礎(chǔ)。

比如，在圖像識(shí)別上，他研究了神經(jīng)網(wǎng)絡(luò)怎樣學(xué)習(xí)分層特征表示 (Hierarchical Feature Representation) ，這也成為了如今許多識(shí)別任務(wù)中常用的概念。

另外，他和同伴L(zhǎng)éon Bottou一起提出，學(xué)習(xí)系統(tǒng)可以由復(fù)雜的神經(jīng)網(wǎng)絡(luò)構(gòu)成。在這樣的系統(tǒng)里，反向傳播是靠自動(dòng)微分來(lái)實(shí)現(xiàn)。他們還提出，深度學(xué)習(xí)架構(gòu)可以對(duì)結(jié)構(gòu)化數(shù)據(jù) (比如圖形) ，進(jìn)行處理。

LeCun博士畢業(yè)后，只在Hinton的實(shí)驗(yàn)室做了一年博士后，就進(jìn)入了工業(yè)界。

不過(guò)，他在2003年成為了紐約大學(xué)的教授，還在2012年創(chuàng)辦了紐大數(shù)據(jù)科學(xué)中心。即便加入Facebook之后，也繼續(xù)在紐大兼職。

而下一位巨頭，也和LeCun一樣，橫跨學(xué)界和產(chǎn)業(yè)界。并且，他也在赫赫有名的貝爾實(shí)驗(yàn)室工作過(guò)。

Yoshua Bengio

Yoshua Bengio，1964年生，55歲，現(xiàn)在是蒙特利爾大學(xué)計(jì)算機(jī)科學(xué)與運(yùn)籌學(xué)系教授。

Bengio創(chuàng)建了蒙特利爾學(xué)習(xí)算法研究所（MILA），擔(dān)任研究所的科學(xué)主任，主持加拿大高等研究院（CIFAR）機(jī)器與大腦學(xué)習(xí)項(xiàng)目的研究。同時(shí)，Bengio也擔(dān)任著數(shù)據(jù)評(píng)估研究所（IVADO）的科學(xué)聯(lián)合主任。

同樣，ACM也總結(jié)了Bengio的三個(gè)主要貢獻(xiàn)。

序列的概率模型：

上世紀(jì)90年代，Bengio提出了序列的概率模型。他把神經(jīng)網(wǎng)絡(luò)和概率模型（例如隱馬爾可夫模型）相結(jié)合，用新技術(shù)識(shí)別手寫的支票。外界認(rèn)為，這是20世紀(jì)90年代神經(jīng)網(wǎng)絡(luò)的巔峰之作，當(dāng)下語(yǔ)音識(shí)別技術(shù)就是在它的基礎(chǔ)上擴(kuò)展的。

高維詞匯嵌入和注意機(jī)制：

Bengio參與發(fā)表了一篇里程碑式的論文，A Neural Probabilistic Language Model（神經(jīng)概率語(yǔ)言模型），把高維詞嵌入 (High-Dimentional Word Embeddings) 作為詞義的表征。這對(duì)NLP研究（如翻譯、問(wèn)答和視覺(jué)問(wèn)答等任務(wù)）產(chǎn)生了深遠(yuǎn)的影響。

生成對(duì)抗網(wǎng)絡(luò)（GAN）：

2014年，Bengio與Ian Goodfellow一同發(fā)表的生成對(duì)抗網(wǎng)絡(luò) (GAN) ，引發(fā)了計(jì)算機(jī)視覺(jué)和圖形學(xué)的革命。

據(jù)統(tǒng)計(jì)，Yoshua Bengio發(fā)表的300多篇學(xué)術(shù)文章的累計(jì)引用次數(shù)已經(jīng)超過(guò)137000次。

作為教授，Bengio曾經(jīng)和Ian Goodfellow、Aaron Courville等業(yè)界大神一起寫出了Deep Learning，成為人手一本的“AI圣經(jīng)”，不少人將這本書親切稱之為“花書”。

除了學(xué)術(shù)界，Bengio也活躍在產(chǎn)業(yè)界。

曾經(jīng)，Bengio聯(lián)合Jean-Fran?ois Gagné創(chuàng)立了Element AI，為那些想給自家業(yè)務(wù)尋找機(jī)器學(xué)習(xí)解決方案的公司，找到AI領(lǐng)域的專家。

除此之外，Bengio也有許多榮譽(yù)在身。他不僅成為了加拿大皇家學(xué)院（RSC）及加拿大高等研究院（CIFAR）的院士，還在2017年獲得了代表加拿大公民最高榮譽(yù)的“加拿大總督功勛獎(jiǎng)”。

一小撮“蠢貨”

從上世紀(jì)50年代開(kāi)始，神經(jīng)網(wǎng)絡(luò)的發(fā)展起起伏伏，被人唾棄過(guò)，也被屢次唱衰過(guò)。

多虧了一批最早在黑暗中等待黎明的人，不斷研究探索，才有了人工智能的今天。這是一段臥薪嘗膽般的故事，將Hinton、LeCun和Bengio的命運(yùn)交織在一起。

三十多年以來(lái)，他們仨一直徘徊在人工智能研究的邊緣地帶。像局外人一樣堅(jiān)守著一個(gè)簡(jiǎn)單的觀點(diǎn)：計(jì)算機(jī)可以像人類一樣，通過(guò)神經(jīng)網(wǎng)絡(luò)思考，依靠直覺(jué)而不是規(guī)則。

而當(dāng)時(shí)主流學(xué)術(shù)界給出的答案，是一個(gè)震耳欲聾的No。他們說(shuō)計(jì)算機(jī)最佳的學(xué)習(xí)方式，就是規(guī)則和邏輯。Hinton主張的神經(jīng)網(wǎng)絡(luò)，被他們“證明”是錯(cuò)的。

1972年，25歲的Hinton在愛(ài)丁堡大學(xué)攻讀博士學(xué)位，并把神經(jīng)網(wǎng)絡(luò)作為研究重點(diǎn)。導(dǎo)師幾乎每周都會(huì)提醒他在浪費(fèi)時(shí)間。然而Hinton不為所動(dòng)。

1980年代LeCun在巴黎讀大學(xué)時(shí)，計(jì)算機(jī)就是瞎子，無(wú)法識(shí)別圖片中的內(nèi)容，也無(wú)法判斷攝像頭前方出現(xiàn)了什么。但就在那個(gè)時(shí)候，LeCun偶然涉足了探索人工智能領(lǐng)域的一種方法：“智能神經(jīng)網(wǎng)絡(luò)”。

這并不是一條新路，而且并不受待見(jiàn)。但在攻讀博士學(xué)位時(shí)，LeCun頂著一片質(zhì)疑聲專注于研究神經(jīng)網(wǎng)絡(luò)。“我只是不相信他們所說(shuō)的。”他說(shuō)。

1985年，Bengio在加拿大麥吉爾大學(xué)時(shí)，根本沒(méi)人教神經(jīng)網(wǎng)絡(luò)。他學(xué)的是經(jīng)典的、符號(hào)化的人工智能（Symbolic AI），所以，想做神經(jīng)網(wǎng)絡(luò)，必須先說(shuō)服教授來(lái)指導(dǎo)他。

80年代末，神經(jīng)網(wǎng)絡(luò)曾有過(guò)一次小小的復(fù)蘇。但由于計(jì)算力和可用數(shù)據(jù)的缺乏，人工智能再次進(jìn)入寒冬。一直到2000年代初期，這群堅(jiān)信神經(jīng)網(wǎng)絡(luò)的學(xué)者處境愈發(fā)邊緣化。一些學(xué)術(shù)機(jī)構(gòu)甚至不允許他們?cè)跁?huì)議上發(fā)表論文。計(jì)算機(jī)視覺(jué)的圈子將他們拒之門外。

在蒙特利爾大學(xué)任教的Yoshua Bengio發(fā)現(xiàn)，他很難找到愿意與自己共事的研究生。“我需要強(qiáng)迫學(xué)生從事這方面的研究，他們害怕在博士畢業(yè)后找不到工作。”

對(duì)Hinton、Bengio和LeCun來(lái)說(shuō)，這是一段黑暗的時(shí)期。

“當(dāng)然，我們一直相信它，也一直在研究它。”Hinton說(shuō)。

“神經(jīng)網(wǎng)絡(luò)終有一天會(huì)回來(lái)——至少有很小一撮人心里是這么想的。”LeCun說(shuō)。

Hinton出生于一個(gè)學(xué)術(shù)背景顯赫的世家。在他長(zhǎng)大成人的過(guò)程中，母親給過(guò)他兩種選擇：“做學(xué)者，或是做失敗者。”7歲就已經(jīng)意識(shí)到要讀博的Hinton說(shuō)，自己一輩子都在壓抑、沮喪中掙扎。

但他投入研究的神經(jīng)網(wǎng)絡(luò)，真真是經(jīng)歷過(guò)漫長(zhǎng)而幽暗的歲月。除了面對(duì)學(xué)術(shù)上的不認(rèn)可，他的兩任妻子先后罹患了癌癥。而他自己也深受背痛困擾。

2003年，Hinton在多倫多，被CIFAR招攬過(guò)去啟動(dòng)一個(gè)神經(jīng)計(jì)算項(xiàng)目。于是，他們聚到了一起，決定努力奮斗，重新點(diǎn)燃這個(gè)領(lǐng)域的熱情。

一直到大約2009年前后，計(jì)算機(jī)最終有了足夠的算力挖掘大型數(shù)據(jù)庫(kù)，從此神經(jīng)網(wǎng)絡(luò)開(kāi)始在語(yǔ)音和圖像識(shí)別方面戰(zhàn)勝基于邏輯的系統(tǒng)。工業(yè)界很快注意到變化的發(fā)生，微軟、Facebook、谷歌等科技巨頭開(kāi)始在這個(gè)領(lǐng)域投資。

Bengio評(píng)價(jià)Hinton時(shí)說(shuō)“他有時(shí)可以穿過(guò)黑暗看清事物。但他的個(gè)人生活非常不容易。他也有他的黑暗時(shí)代”。

在黑暗中穿行的日子里，他始終堅(jiān)持一個(gè)信念：其他人都錯(cuò)了。

不過(guò)最終，他們都算是等到了春天。

在去年一次彭博社的采訪中，Hinton說(shuō)：未來(lái)是很難預(yù)測(cè)的。當(dāng)你開(kāi)始試圖預(yù)測(cè)未來(lái)20年會(huì)發(fā)生什么事情，你基本就錯(cuò)得離譜了。但也有一些東西是可以預(yù)測(cè)的，比如人工智能技術(shù)將會(huì)改變一切。