NeurIPS18最佳論文NeuralODE，現(xiàn)在有了TensorFlow實(shí)現(xiàn) | 附56頁講解PPT
復(fù)現(xiàn)代碼、Jupyter notebook筆記、56頁講解PPT一應(yīng)俱全
銅靈 發(fā)自 凹非寺
量子位 出品 | 公眾號(hào) QbitAI
還記得NeurIPS 18的最佳論文Neural Ordinary Differential Equations（后簡稱NeuralODE）嗎，最近，有一個(gè)小哥用TensorFlow實(shí)現(xiàn)了它。
今天，小哥kmkolasinski一口氣拋出了NeuralODE的復(fù)現(xiàn)代碼、Jupyter notebook筆記，還放出了56頁的PPT，具體講解了論文思路與求解方法，簡潔清晰，在Reddit上引發(fā)熱烈討論。
來看具體實(shí)現(xiàn)過程。
啥是NeuralODE
這項(xiàng)研究來自多倫多大學(xué)向量研究所，一作陳天琦為華裔，本碩畢業(yè)于加拿大不列顛哥倫比亞大學(xué)，目前在多倫多大學(xué)讀博。
在論文中，陳天琦等提出了一種新的深度神經(jīng)網(wǎng)絡(luò)模型家族：NeuralODE，它能進(jìn)行自適應(yīng)評估，并可以在控制計(jì)算速度和準(zhǔn)確度之間進(jìn)行權(quán)衡。
另外，NeuralODE也可以應(yīng)用于時(shí)間序列建模、監(jiān)督學(xué)習(xí)、密度估計(jì)中。
陳天琦等人研究了黑盒常微分方程（ODE）求解器作為模型組件，展此外，NeuralODE還可以應(yīng)用于時(shí)間序列建模、監(jiān)督學(xué)習(xí)、密度估計(jì)。
最后，作者推導(dǎo)了變量公式變化的瞬時(shí)版本，并開發(fā)了連續(xù)歸一化流程，而且可以拓展到更大的層尺寸。
就是這篇論文，在4856篇NeurIPS 2018投稿中脫穎而出，成為4篇最佳論文之一。
就是這么厲害的研究，已經(jīng)被小哥kmkolasinski實(shí)現(xiàn)了。
實(shí)現(xiàn)過程
在PPT和Jupyter Notebook中，小哥先解釋了什么是ODE。ODE通常被用來描述很多動(dòng)力系統(tǒng)，比如放射性衰變問題。
用放射性衰變的案例，小哥進(jìn)行了詳細(xì)解釋。
然后，kmkolasinski繼而展示了如何求解這個(gè)方程，也就是如何實(shí)現(xiàn)簡單的黑盒求解器。
針對在神經(jīng)網(wǎng)絡(luò)提出問題函數(shù)的情況下，小哥對如何整合ODE進(jìn)行了詳細(xì)的解讀。
以及用Adjoint方法Naive Approach兩種方法計(jì)算梯度的優(yōu)劣。
最后，小哥還推導(dǎo)了連續(xù)歸一化流。
具體的實(shí)現(xiàn)代碼可以在GitHub repo中找到，作者表示，只實(shí)現(xiàn)了幾個(gè)求解積分的方法，包括簡單的Euler和Runge-Kutta方法的高階變種，即RK2和RK4。
講解細(xì)致，代碼也并不復(fù)雜，接下來就看你了~
傳送門
GitHub地址：
https://github.com/kmkolasinski/deep-learning-notes/tree/master/seminars/2019-03-Neural-Ordinary-Differential-Equations
PPT地址：
https://docs.google.com/presentation/d/e/2PACX-1vQSh–YqRiXKjkydmoawYOk5e09eCCJvwzrmCLltMIdxDX7r20XEdZUmY6Y-wb1435EtdKYJMR5kKaT/pub?start=false&loop=false&delayms=3000&slide=id.g5284a8f4fd_0_106
論文地址：
https://arxiv.org/abs/1806.07366
—?完?—
誠摯招聘
量子位正在招募編輯/記者，工作地點(diǎn)在北京中關(guān)村。期待有才氣、有熱情的同學(xué)加入我們！相關(guān)細(xì)節(jié)，請?jiān)诹孔游还娞?hào)(QbitAI)對話界面，回復(fù)“招聘”兩個(gè)字。
量子位?QbitAI · 頭條號(hào)簽約作者
?’?’ ? 追蹤AI技術(shù)和產(chǎn)品新動(dòng)態(tài)
