NeurIPS18最佳論文NeuralODE，現在有了TensorFlow實現 | 附56頁講解PPT

安妮 2019-03-29 11:56:06 來源：量子位

銅靈 發自 凹非寺

量子位 出品 | 公眾號 QbitAI

還記得NeurIPS 18的最佳論文Neural Ordinary Differential Equations（后簡稱NeuralODE）嗎，最近，有一個小哥用TensorFlow實現了它。

今天，小哥kmkolasinski一口氣拋出了NeuralODE的復現代碼、Jupyter notebook筆記，還放出了56頁的PPT，具體講解了論文思路與求解方法，簡潔清晰，在Reddit上引發熱烈討論。

來看具體實現過程。

啥是NeuralODE

這項研究來自多倫多大學向量研究所，一作陳天琦為華裔，本碩畢業于加拿大不列顛哥倫比亞大學，目前在多倫多大學讀博。

在論文中，陳天琦等提出了一種新的深度神經網絡模型家族：NeuralODE，它能進行自適應評估，并可以在控制計算速度和準確度之間進行權衡。

另外，NeuralODE也可以應用于時間序列建模、監督學習、密度估計中。

陳天琦等人研究了黑盒常微分方程（ODE）求解器作為模型組件，展此外，NeuralODE還可以應用于時間序列建模、監督學習、密度估計。

最后，作者推導了變量公式變化的瞬時版本，并開發了連續歸一化流程，而且可以拓展到更大的層尺寸。

就是這篇論文，在4856篇NeurIPS 2018投稿中脫穎而出，成為4篇最佳論文之一。

就是這么厲害的研究，已經被小哥kmkolasinski實現了。

實現過程

在PPT和Jupyter Notebook中，小哥先解釋了什么是ODE。ODE通常被用來描述很多動力系統，比如放射性衰變問題。

用放射性衰變的案例，小哥進行了詳細解釋。

然后，kmkolasinski繼而展示了如何求解這個方程，也就是如何實現簡單的黑盒求解器。

針對在神經網絡提出問題函數的情況下，小哥對如何整合ODE進行了詳細的解讀。

以及用Adjoint方法Naive Approach兩種方法計算梯度的優劣。

最后，小哥還推導了連續歸一化流。

具體的實現代碼可以在GitHub repo中找到，作者表示，只實現了幾個求解積分的方法，包括簡單的Euler和Runge-Kutta方法的高階變種，即RK2和RK4。

講解細致，代碼也并不復雜，接下來就看你了~

傳送門

GitHub地址：

https://github.com/kmkolasinski/deep-learning-notes/tree/master/seminars/2019-03-Neural-Ordinary-Differential-Equations

PPT地址：

https://docs.google.com/presentation/d/e/2PACX-1vQSh–YqRiXKjkydmoawYOk5e09eCCJvwzrmCLltMIdxDX7r20XEdZUmY6Y-wb1435EtdKYJMR5kKaT/pub?start=false&loop=false&delayms=3000&slide=id.g5284a8f4fd_0_106

論文地址：

https://arxiv.org/abs/1806.07366

—?完?—

誠摯招聘

量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界面，回復“招聘”兩個字。

量子位?QbitAI · 頭條號簽約作者

?’?’ ? 追蹤AI技術和產品新動態