NeurIPS18最佳論文NeuralODE,現在有了TensorFlow實現 | 附56頁講解PPT
復現代碼、Jupyter notebook筆記、56頁講解PPT一應俱全
銅靈 發自 凹非寺
量子位 出品 | 公眾號 QbitAI
還記得NeurIPS 18的最佳論文Neural Ordinary Differential Equations(后簡稱NeuralODE)嗎,最近,有一個小哥用TensorFlow實現了它。
今天,小哥kmkolasinski一口氣拋出了NeuralODE的復現代碼、Jupyter notebook筆記,還放出了56頁的PPT,具體講解了論文思路與求解方法,簡潔清晰,在Reddit上引發熱烈討論。
來看具體實現過程。
啥是NeuralODE
這項研究來自多倫多大學向量研究所,一作陳天琦為華裔,本碩畢業于加拿大不列顛哥倫比亞大學,目前在多倫多大學讀博。
在論文中,陳天琦等提出了一種新的深度神經網絡模型家族:NeuralODE,它能進行自適應評估,并可以在控制計算速度和準確度之間進行權衡。
另外,NeuralODE也可以應用于時間序列建模、監督學習、密度估計中。
陳天琦等人研究了黑盒常微分方程(ODE)求解器作為模型組件,展此外,NeuralODE還可以應用于時間序列建模、監督學習、密度估計。
最后,作者推導了變量公式變化的瞬時版本,并開發了連續歸一化流程,而且可以拓展到更大的層尺寸。
就是這篇論文,在4856篇NeurIPS 2018投稿中脫穎而出,成為4篇最佳論文之一。
就是這么厲害的研究,已經被小哥kmkolasinski實現了。
實現過程
在PPT和Jupyter Notebook中,小哥先解釋了什么是ODE。ODE通常被用來描述很多動力系統,比如放射性衰變問題。
用放射性衰變的案例,小哥進行了詳細解釋。
然后,kmkolasinski繼而展示了如何求解這個方程,也就是如何實現簡單的黑盒求解器。
針對在神經網絡提出問題函數的情況下,小哥對如何整合ODE進行了詳細的解讀。
以及用Adjoint方法Naive Approach兩種方法計算梯度的優劣。
最后,小哥還推導了連續歸一化流。
具體的實現代碼可以在GitHub repo中找到,作者表示,只實現了幾個求解積分的方法,包括簡單的Euler和Runge-Kutta方法的高階變種,即RK2和RK4。
講解細致,代碼也并不復雜,接下來就看你了~
傳送門
GitHub地址:
https://github.com/kmkolasinski/deep-learning-notes/tree/master/seminars/2019-03-Neural-Ordinary-Differential-Equations
PPT地址:
https://docs.google.com/presentation/d/e/2PACX-1vQSh–YqRiXKjkydmoawYOk5e09eCCJvwzrmCLltMIdxDX7r20XEdZUmY6Y-wb1435EtdKYJMR5kKaT/pub?start=false&loop=false&delayms=3000&slide=id.g5284a8f4fd_0_106
論文地址:
https://arxiv.org/abs/1806.07366
—?完?—
誠摯招聘
量子位正在招募編輯/記者,工作地點在北京中關村。期待有才氣、有熱情的同學加入我們!相關細節,請在量子位公眾號(QbitAI)對話界面,回復“招聘”兩個字。
量子位?QbitAI · 頭條號簽約作者
?’?’ ? 追蹤AI技術和產品新動態
- 微軟公布19財年財報:凈利潤增長22%,云計算首超個人計算業務2019-07-19
- 騰訊云推出物聯網邊緣計算平臺,具備五大特點,想攻克物聯網落地難題2019-08-28
- DeepMind醫療業務幾經動蕩,現在團隊并入Google2019-09-20
- 首例基因編輯干細胞治療艾滋病:北大鄧宏魁參與,達最佳治療效果2019-09-14




