讀博無門，求職碰壁，孤獨(dú)當(dāng)了7個(gè)月“民科”后，我的論文中了頂會(huì)Spotlight

賴可 2020-01-01 11:58:14 來源：量子位

賴可 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI

一位丹麥科技大學(xué)碩士畢業(yè)的機(jī)器學(xué)習(xí)研究生，沒有申請(qǐng)到博士學(xué)位，也沒有找到合適的工作。

他決定給自己8個(gè)月的時(shí)間，在頂會(huì)上發(fā)表一篇論文，不然就去做程序猿。

最終他做到了！

他收到了超過100條私信，來問怎樣像他一樣做個(gè)「獨(dú)立研究者」。

于是他把自己的經(jīng)歷詳細(xì)寫了下來，還給了忠告：這條路太苦了，能不走就別走。

申請(qǐng)碰壁

在distill.pub發(fā)表了一篇論文之后，Andreas小哥天真地以為，有了獨(dú)立發(fā)表的論文，加上自己的碩士學(xué)位，就可以申請(qǐng)到一個(gè)博士學(xué)位了，不然也能申請(qǐng)到軟件工程師、ML工程師之類的職位。

他以唯一作者的身份在distill.pub上發(fā)表了論文《在RNN中的可視化記憶》，展示了兩個(gè)準(zhǔn)確度相似的模型在NLP的顯著交互可視性有很大不同。

他一邊寫信給教授，一邊寫給各種大廠，像谷歌、微軟、Rakuten、ElementAI，英偉達(dá)、Hypefactors，英特爾，京東，亞馬遜，三星，Shift Technology，Corti都試了，還請(qǐng)認(rèn)識(shí)的人幫忙推薦。最后得到的結(jié)果是：

沒有一篇頂會(huì)發(fā)表的文章，很難申請(qǐng)到好的AI博士項(xiàng)目。

而這位小哥在丹麥大學(xué)完成碩士學(xué)業(yè)，學(xué)校并不鼓勵(lì)他們發(fā)論文。

當(dāng)然他也沒有收到任何公司的offer，連一個(gè)面試電話都沒有。

碰了一圈壁之后，小哥明白了：

想做博士，又沒有圈內(nèi)人推薦，你需要提前做等同于博士學(xué)位一半的工作。

申請(qǐng)季過去，2019年4月，他決定背水一戰(zhàn)：

到2020年1月前，如果沒有在NeurIPS或ICLR上發(fā)表文章，就去做JavaScrip程序猿。

一邊賺錢養(yǎng)自己一邊做研究

此前的一年，小哥是一個(gè)自由職業(yè)者。因此找到活干養(yǎng)自己并不太困難。

之前他就通過朋友接到了一個(gè)NearForm項(xiàng)目。要求是：了解Node.js的內(nèi)部結(jié)構(gòu)，統(tǒng)計(jì)背景 ，Web可視化技能。他既滿足這些要求，又能獲得不錯(cuò)的薪水。

到了2019年，原來的項(xiàng)目又給了他新的活，開發(fā)在NodeConf EU 2019上發(fā)布的IoT智能手表及胸牌的TensorFlow部分。這讓他保持在2019年繼續(xù)有收入。

生活問題解決了，想發(fā)表論文的第一個(gè)困難是要確定研究方向。

機(jī)緣總是會(huì)提前埋下伏筆。

畢業(yè)后，他曾經(jīng)到自己學(xué)校AI學(xué)生協(xié)會(huì)的開幕式上找導(dǎo)師談博士學(xué)位的事情，卻沒有成功。不過，他遇到了后來的貴人：助理研究員Alexander。

和對(duì)方的通信中，Alexander告訴他，有幾個(gè)學(xué)生試圖復(fù)制DeepMind的論文「 NALU」（神經(jīng)算術(shù)邏輯單元），但沒有成功。問他是不是可以試一試這個(gè)方向，也許可以成為NeurIPS論文。

他想起自己之前的論文也一直在優(yōu)化別人的研究。這樣的工作他也挺感興趣。

幾乎所有出版物都夸大了它們的表現(xiàn)。改善他人的工作是一種可行的研究策略。

孤獨(dú)前行

人是社會(huì)動(dòng)物，需要來自環(huán)境的支持和鼓勵(lì)。博士寫論文很苦逼，但是至少周圍還有一群跟你一樣苦逼的人。

而一個(gè)人做研究寫論文，可以想象有多孤獨(dú)。孤獨(dú)到走過這條路的小哥建議大家不要再這么做：

沒有支持網(wǎng)絡(luò)，經(jīng)歷作為第一作者寫論文的掙扎痛苦，這是我不建議做獨(dú)立研究員的第一個(gè)原因。不要以為你可以連續(xù)7個(gè)月沒有任何鼓勵(lì)。

那Andreas是如何撐過這7個(gè)月的呢？

1、每周一次和Alexander見面，討論研究。這對(duì)他幫助很大，Alexander有很好的批判性思維，會(huì)對(duì)他的研究提出質(zhì)疑。這樣的督促作用是，讓自己不要想偷懶走捷徑。

2、同時(shí)做一些其它的小項(xiàng)目。不把所有的時(shí)間都押注在研究上。編寫一個(gè)開放源代碼的工具，實(shí)現(xiàn)一個(gè)已知的論文，等等。這樣階段性的小成就，更容易獲得其它研究員的鼓勵(lì)，讓自己有一些正反饋。

不要怕拒絕，反復(fù)投，反復(fù)改

論文初稿完成后，Andreas進(jìn)行了三波投稿。

第一波，投石問路。他把論文投給了他發(fā)表過論文的distill.pub，被拒絕了。

修改了以后，再次投給distill.pub，這次他得到了非常有價(jià)值的評(píng)審建議。他覺得，如果沒有來自distill.pub兩位評(píng)審的意見，論文最后可能就不能進(jìn)入ICLR。

至于他的目標(biāo)是NeurIPS或ICLR，那就一個(gè)一個(gè)試。

于是第二波，他投了NeurlPS,也被拒絕了。

研究本身是對(duì)來自Deepmind的NALU的優(yōu)化，質(zhì)疑的意見也大多與此有關(guān)：

1、一些評(píng)論者認(rèn)為新研究無法成功復(fù)制 NALU的結(jié)果。一個(gè)反復(fù)出現(xiàn)的問題是“為什么原始論文的結(jié)果要比你提案中的結(jié)果好得多”。

2、一些評(píng)論者還提議，做NALU論文聲稱要做的所有事情。但是論文中提供了明確的證據(jù)，表明NALU模型并不能令人滿意地完成所有工作。

小哥從被拒絕的經(jīng)驗(yàn)中總結(jié)：

評(píng)審員傾向于支持已經(jīng)發(fā)表的結(jié)論。他們會(huì)嚴(yán)格地對(duì)待你提交的內(nèi)容，但不會(huì)對(duì)先前發(fā)表過的內(nèi)容這樣。尤其是已發(fā)表的內(nèi)容來自DeepMind的時(shí)候。

再接再厲，小哥再次把論文進(jìn)行了修改，增加了更多證據(jù)和實(shí)例，投了ICLR。

此外，他還做了一件為自己的研究爭(zhēng)取好評(píng)的事情：

將實(shí)驗(yàn)設(shè)定和復(fù)現(xiàn)結(jié)果投給了 NeurlIPS 2019的SEDL workshop。然后他發(fā)了一條twitter，標(biāo)記了NALU的第一作者A. Trask，結(jié)果對(duì)方回復(fù)了：Great work! 有了好的基準(zhǔn)，才能繼續(xù)提升。

在ICLR評(píng)審上，小哥的論文得到了4條評(píng)審意見，分別是3，6，6，8。

其中一位評(píng)審人之前在NeurIPS就讀過他的研究，對(duì)他研究的接受度也增加了，從NeurIPS的Weak Reject 到ICLR的Weak Accept ，最后變成了Accept。

最終，區(qū)域主席給的決定是接受（spotlight）。

評(píng)語(yǔ)是：

本文擴(kuò)展了關(guān)于NALU的工作，提供了一對(duì)性能優(yōu)于NALU的單元，審稿人廣泛贊成該論文。盡管修訂中已解決了要點(diǎn)，一位異議的審核者似乎沒有時(shí)間重新考慮他們的分?jǐn)?shù)。我很樂意在這里保持樂觀，并假設(shè)他們會(huì)對(duì)討論所帶來的變化感到滿意，并建議接受。

經(jīng)驗(yàn)總結(jié)

小哥認(rèn)為，自己的經(jīng)歷有一個(gè)重要的背景：

在2017年以后，碩士申請(qǐng)博士的門檻提高了，不再像之前那樣隨隨便便就可以申請(qǐng)到。申請(qǐng)到博士學(xué)位甚至比完成博士還要難。

申請(qǐng)博士需要1到2篇在頂會(huì)發(fā)表的論文，最好還要有著名的合作者。同樣，對(duì)相關(guān)行業(yè)從業(yè)者的要求也在提高。小哥在碩士畢業(yè)沒有申請(qǐng)到合適的大廠職位，而在2013～2015年，碩士學(xué)位也可以應(yīng)聘成為google的研究員。

最后，小哥總結(jié)出三條經(jīng)驗(yàn)：

1、與別人合作。找到可以對(duì)研究提出建設(shè)性意見的人很重要，此外，在大學(xué)里找到可以使用大量計(jì)算資源人的人也很必要。作為助理研究員的Alexander給小哥的研究提供了計(jì)算資源。

2、不要灰心， 也要給自己留備選項(xiàng)。目前投稿的接收率大概是20%，做獨(dú)立研究，被接受的機(jī)會(huì)可能更少，但是不要因?yàn)橐淮尉芙^就灰心。同時(shí)也要進(jìn)行其它項(xiàng)目，這樣即使失敗了，也不會(huì)感到完全浪費(fèi)時(shí)間。

3、說一千道一萬：有別的選擇，就不要走這條路。

One more thing

有人問他：要取得spotlight，還需要額外做什么？
小哥回：說實(shí)話，我覺得主要是運(yùn)氣。

他還回答了別的問題：

Q：你這些漂亮的圖是什么做的？
A：我所有的圖都是用 R 庫(kù)的 ggplot2 繪制的。

Q：你的工作沒有什么用，你就是個(gè)笑話。
A：謝謝你，你有想過成為一名評(píng)審者嗎？

Q：你花了多長(zhǎng)時(shí)間？
A：在這篇論文上，我每周大約花 48 個(gè)小時(shí)，有時(shí)候達(dá)到 100 個(gè)小時(shí)。但要記住一點(diǎn)，我也做了業(yè)余項(xiàng)目和自由工作。

Q：你的計(jì)算資源來自哪里？
A：Alexander 可以為我們提供計(jì)算資源，因?yàn)樗且幻硌芯繂T。

Q：我的導(dǎo)師要給我一個(gè)讀博的機(jī)會(huì)，我是否應(yīng)該接受？
A：如果你真的想做研究，也許你應(yīng)該接受。現(xiàn)在競(jìng)爭(zhēng)很激烈，我認(rèn)為你應(yīng)該接受你所能得到的。

Q：我現(xiàn)在正在實(shí)習(xí)，但我感覺什么都學(xué)不到，因?yàn)槲业膶?dǎo)師不管我。
A：你要對(duì)自己負(fù)責(zé)，不要指望你的導(dǎo)師主動(dòng)來找你。很高興你能得到實(shí)習(xí)機(jī)會(huì)，我之前沒有得到。可以開始著手安排會(huì)面，但也要記住，除了導(dǎo)師，你還可以向別人請(qǐng)教。

Q：我是碩士在讀，要怎么為發(fā)論文做準(zhǔn)備？
A：如果你能找到一位對(duì)此持開放態(tài)度的導(dǎo)師，那就嘗試發(fā)表。同時(shí)，注意在學(xué)習(xí)期間找實(shí)習(xí)工作。大多數(shù)實(shí)習(xí)工作只對(duì)學(xué)生開放。我曾經(jīng)得到過實(shí)習(xí)機(jī)會(huì)但卻去不了，因?yàn)槲乙呀?jīng)畢業(yè)了。

Q：我要如何提升自己的編程技巧？
A：我多年來一直在堅(jiān)持寫開源代碼，在此過程中，得到了一些優(yōu)秀程序員的指導(dǎo)。

Q：我看到一些人拿到碩士學(xué)位就進(jìn)了谷歌當(dāng)研究員，他們是怎么做到的？
A：是有這種情況，而且黃金時(shí)期是 2013 年到 2015 年。如果當(dāng)時(shí)你拿到了碩士學(xué)位并且足夠幸運(yùn)，你就可以走得很遠(yuǎn)。

機(jī)器學(xué)習(xí)之路對(duì)任何人而言都漫長(zhǎng)。然而，如果你不著手開始，就似乎不可能。如果你真的想，就花精力來尋找其它方法。

聽了Andreas小哥的故事，是不是有所觸動(dòng)呢？

參考資料

https://openreview.net/forum?id=H1gNOeHKPS
https://medium.com/@andreas_madsen/becoming-an-independent-researcher-and-getting-published-in-iclr-with-spotlight-c93ef0b39b8b
https://arxiv.org/abs/1912.11980