深度學(xué)習(xí)已成強(qiáng)弩之末？Bengio等大牛NeurlPS2019上支招

賴可 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI

局面越來越清楚：

靠增加算力、更多數(shù)據(jù)，并不能解決AI面臨的挑戰(zhàn)。

NeurlPS 2019上，多位專家討論到AI的未來，認(rèn)為深度學(xué)習(xí)算法的瓶頸已經(jīng)出現(xiàn)。

有人覺得深度學(xué)習(xí)方法可以進(jìn)化，有人則期待新的方法出現(xiàn)。

相通的是，專家都紛紛把目光轉(zhuǎn)向生物，希望能在自然智能身上獲得靈感。

深度學(xué)習(xí)的局限

來自谷歌的Aguera y Arcas說：

我們有點(diǎn)像趕上班車的狗

他表示，深度學(xué)習(xí)已搞定了AI方面的一些長(zhǎng)期挑戰(zhàn)，但是，還有許多存在的挑戰(zhàn)，目前無法解決。

涉及推理或社會(huì)智能的問題，比如，想用AI來衡量潛在雇員，仍然遙不可及。

而且目前所有訓(xùn)練的模型只是通過一個(gè)測(cè)試，或者贏得一個(gè)有評(píng)分的比賽。但是人類這樣的智能可以做的事情遠(yuǎn)遠(yuǎn)超出這種有規(guī)則的模式。

深度學(xué)習(xí)三巨頭之一、圖靈獎(jiǎng)得主Yoshua Bengio在接受Spectrum采訪時(shí)表示：

現(xiàn)在的深度學(xué)習(xí)還無法達(dá)到一個(gè)兩歲孩子的智商，完成一項(xiàng)任務(wù)需要很多的數(shù)據(jù)，而且還會(huì)犯很多愚蠢的錯(cuò)誤。

從公司落地的層面而言，對(duì)于技術(shù)實(shí)現(xiàn)的預(yù)測(cè)也表現(xiàn)得謹(jǐn)慎起來。

Google對(duì)自動(dòng)駕駛出租車實(shí)現(xiàn)的預(yù)測(cè)，已經(jīng)改變了原來的樂觀態(tài)度，變得充滿克制。

Facebook的AI副總裁Jerome Pesenti最近表示，他的公司和其他公司不應(yīng)該期待僅通過開發(fā)具有更多計(jì)算能力和數(shù)據(jù)的更大的深度學(xué)習(xí)系統(tǒng)來繼續(xù)在AI方面取得進(jìn)步。

 

對(duì)創(chuàng)新的呼吁

面對(duì)這一現(xiàn)狀，人們提出了自己的建議。

Arcas和Bengio都希望與會(huì)者多考慮自然智能的生物學(xué)根源。

Arcas展示了一項(xiàng)模擬細(xì)菌的試驗(yàn)。這些細(xì)菌通過人工進(jìn)化的方式進(jìn)行覓食和交流。

而Yoshua Bengio認(rèn)為深度學(xué)習(xí)這個(gè)方法行得通，他正在往工具箱里增加更多的東西。

他在會(huì)議上做了主題為從深度學(xué)習(xí)系統(tǒng)1到深度學(xué)習(xí)系統(tǒng)2的演講，提出軟注意力和深度強(qiáng)化學(xué)習(xí)方式能夠促進(jìn)解決推理、計(jì)劃、捕獲因果關(guān)系等問題。

他的新方法受到了自然智能的啟發(fā)。根據(jù)意識(shí)的先驗(yàn)性進(jìn)行相關(guān)假設(shè)，許多高級(jí)依賴關(guān)系可以通過稀疏因子圖近似地捕獲。軟注意力機(jī)制構(gòu)成了一個(gè)關(guān)鍵因素，它可以一次將計(jì)算集中于幾個(gè)概念（“意識(shí)思維”）。

蒙特利爾大學(xué)副教授Irina Rish則希望能夠出現(xiàn)新想法：

深度學(xué)習(xí)很棒，但是我們需要一個(gè)不同的工具箱。

他回憶起2006年的一次非正式深度學(xué)習(xí)研討會(huì)，比喻就像“宗教聚會(huì)”，組織者拒絕接受邊緣的技術(shù)想法。

雖然在今年的大會(huì)上，深度學(xué)習(xí)是主流，他希望自己的發(fā)言能夠支持新的想法出現(xiàn)。

 

元學(xué)習(xí)

新的出路也被談及。

Uber研究員Jeff Clune已經(jīng)表示明年會(huì)加入Open AI 。他還是新興領(lǐng)域元學(xué)習(xí)metalearning的成員。這一領(lǐng)域希望實(shí)現(xiàn)AI自己設(shè)計(jì)學(xué)習(xí)算法。

在演講中，他介紹了POET成對(duì)結(jié)合開放式開拓者，讓AI掌握自我進(jìn)化來變得更聰明。這一方法的靈感之一是自然進(jìn)化。他給了一個(gè)例子，動(dòng)畫中的一雙腿可以自動(dòng)學(xué)習(xí)在更復(fù)雜的地形上走路。

場(chǎng)景的多樣性和復(fù)雜度會(huì)自動(dòng)增加

最終可以自己學(xué)會(huì)下樓梯

不知道你有沒有想過，AI的發(fā)展將怎樣實(shí)現(xiàn)下一個(gè)突破呢？

參考資料：

https://www.wired.com/story/sobering-message-future-ai-party/

https://spectrum.ieee.org/tech-talk/robotics/artificial-intelligence/yoshua-bengio-revered-architect-of-ai-has-some-ideas-about-what-to-build-next

POET: Endlessly Generating Increasingly Complex and Diverse Learning Environments and their Solutions through the Paired Open-Ended Trailblazer

https://nips.cc/Conferences/2019/Schedule?showEvent=15488