推薦幾個(gè)出論文的好方向

允中?發(fā)自 凹非寺
量子位 編輯 | 公眾號(hào) QbitAI

加入AI行業(yè)拿到高薪僅僅是職業(yè)生涯的開(kāi)始。現(xiàn)階段AI人才結(jié)構(gòu)在不斷升級(jí)，對(duì)AI人才的要求也不斷升高，如果對(duì)自己沒(méi)有很高的要求，其實(shí)很容易被快速發(fā)展的趨勢(shì)所淘汰。

為了迎合時(shí)代的需求，貪心科技推出了《機(jī)器學(xué)習(xí)高端訓(xùn)練營(yíng)》。這個(gè)訓(xùn)練營(yíng)的目的很簡(jiǎn)單：想培養(yǎng)更多高端的人才，幫助那些即將或者目前從事科研或已從事AI行業(yè)的朋友提高技術(shù)深度。

本期已經(jīng)是我們開(kāi)設(shè)的第5期，我們對(duì)課程內(nèi)容做了大幅度的更新，一方面新增了對(duì)前沿主題的講解如圖神經(jīng)網(wǎng)絡(luò)（GCN，GAT等），另外一方面對(duì)核心部分（如凸優(yōu)化、強(qiáng)化學(xué)習(xí)）加大了對(duì)理論層面上的深度。除此之外，也會(huì)包含科研方法論、元學(xué)習(xí)、解釋性、Fair learning等系列主題。目前在全網(wǎng)上應(yīng)該找不到類(lèi)似體系化的課程。課程仍然采用全程直播授課模式。

那什么樣的人適合來(lái)參加高階班呢？

• 從事AI行業(yè)多年，但技術(shù)上感覺(jué)不夠深入，遇到了瓶頸；
• 停留在使用模型/工具上，很難基于業(yè)務(wù)場(chǎng)景來(lái)提出新的模型；
• 對(duì)于機(jī)器學(xué)習(xí)背后的優(yōu)化理論、前沿的技術(shù)不夠深入；
• 計(jì)劃從事尖端的科研、研究工作、申請(qǐng)AI領(lǐng)域研究生、博士生；
• 打算進(jìn)入頂尖的AI公司如Google，F(xiàn)acebook，Amazon， 阿里等；
• 讀ICML，IJCAI等會(huì)議文章比較吃力，似懂非懂，無(wú)法把每個(gè)細(xì)節(jié)理解透；

01 課程大綱

第一部分：凸優(yōu)化與機(jī)器學(xué)習(xí)

第一周：凸優(yōu)化介紹

• 從優(yōu)化角度理解機(jī)器學(xué)習(xí)
• 優(yōu)化技術(shù)的重要性
• 常見(jiàn)的凸優(yōu)化問(wèn)題
• 線(xiàn)性規(guī)劃以及Simplex Method
• Two-Stage LP
• 案例：運(yùn)輸問(wèn)題講解

第二周：凸函數(shù)講解

• 凸集的判斷
• First-Order Convexity
• Second-order Convexity
• Operations Preserve Convexity
• 二次規(guī)劃問(wèn)題（QP)
• 案例：最小二乘問(wèn)題
• 項(xiàng)目作業(yè)：股票投資組合優(yōu)化

第三周：凸優(yōu)化問(wèn)題

• 常見(jiàn)的凸優(yōu)化問(wèn)題類(lèi)別
• 半定規(guī)劃問(wèn)題
• 幾何規(guī)劃問(wèn)題
• 非凸函數(shù)的優(yōu)化
• 松弛化（Relaxation）
• 整數(shù)規(guī)劃（Integer Programming)
• 案例：打車(chē)中的匹配問(wèn)題

第四周：對(duì)偶（Duality）

• 拉格朗日對(duì)偶函數(shù)
• 對(duì)偶的幾何意義
• Weak and Strong Duality
• KKT條件
• LP, QP, SDP的對(duì)偶問(wèn)題
• 案例：經(jīng)典模型的對(duì)偶推導(dǎo)及實(shí)現(xiàn)
• 對(duì)偶的其他應(yīng)用

第五周：優(yōu)化技術(shù)

• 一階與二階優(yōu)化技術(shù)
• Gradient Descent
• Subgradient Method
• Proximal Gradient Descent
• Projected Gradient Descent
• SGD與收斂
• Newton’s Method
• Quasi-Newton’s Method

第二部分 圖神經(jīng)網(wǎng)絡(luò)

第六周：數(shù)學(xué)基礎(chǔ)

• 向量空間和圖論基礎(chǔ)
• Inner Product, Hilbert Space
• Eigenfunctions, Eigenvalue
• 傅里葉變化
• 卷積操作
• Time Domain, Spectral Domain
• Laplacian, Graph Laplacian

第七周：譜域的圖神經(jīng)網(wǎng)絡(luò)

• 卷積神經(jīng)網(wǎng)絡(luò)回歸
• 卷積操作的數(shù)學(xué)意義
• Graph Convolution
• Graph Filter
• ChebNet
• CayleyNet
• GCN
• Graph Pooling
• 案例：基于GCN的推薦

第八周：空間域的圖神經(jīng)網(wǎng)絡(luò)

• Spatial Convolution
• Mixture Model Network (MoNet)
• 注意力機(jī)制
• Graph Attention Network(GAT)
• Edge Convolution
• 空間域與譜域的比較
• 項(xiàng)目作業(yè)：基于圖神經(jīng)網(wǎng)絡(luò)的鏈路預(yù)測(cè)

第九周：圖神經(jīng)網(wǎng)絡(luò)改進(jìn)與應(yīng)用

• 拓展1: Relative Position與圖神經(jīng)網(wǎng)絡(luò)
• 拓展2：融入Edge特征：Edge GCN
• 拓展3：圖神經(jīng)網(wǎng)絡(luò)與知識(shí)圖譜: Knowledge GCN
• 拓展4：姿勢(shì)識(shí)別：ST-GCN
• 案例：基于圖的文本分類(lèi)
• 案例：基于圖的閱讀理解

第三部分 強(qiáng)化學(xué)習(xí)

第十周：強(qiáng)化學(xué)習(xí)基礎(chǔ)

• Markov Decision Process
• Bellman Equation
• 三種方法：Value，Policy，Model-Based
• Value-Based Approach: Q-learning
• Policy-Based Approach: SARSA

第十一周：Multi-Armed Bandits

• Multi-Armed bandits
• Epsilon-Greedy
• Upper Confidence Bound (UCB)
• Contextual UCB
• LinUCB & Kernel UCB
• 案例：Bandits在推薦系統(tǒng)的應(yīng)用案例

第十二周：路徑規(guī)劃

• Monte-Carlo Tree Search
• N-step learning
• Approximation
• Reward Shaping
• 結(jié)合深度學(xué)習(xí)：Deep RL
• 項(xiàng)目作業(yè)：強(qiáng)化學(xué)習(xí)在游戲中的應(yīng)用案例

第十三周: 自然語(yǔ)言處理中的RL

• Seq2seq模型的問(wèn)題
• 結(jié)合Evaluation Metric的自定義loss
• 結(jié)合aspect的自定義loss
• 不同RL模型與seq2seq模型的結(jié)合
• 案例：基于RL的文本生成

第四部分 貝葉斯方法

第十四周：貝葉斯方法論簡(jiǎn)介

• 貝葉斯定理
• 從MLE, MAP到貝葉斯估計(jì)
• 集成模型與貝葉斯方法比較
• 計(jì)算上的Intractiblity
• MCMC與變分法簡(jiǎn)介
• 貝葉斯線(xiàn)性回歸
• 貝葉斯神經(jīng)網(wǎng)絡(luò)
• 案例：基于Bayesian-LSTM的命名實(shí)體識(shí)別

第十五周：主題模型

• 生成模型與判別模型
• 隱變量模型
• 貝葉斯中Prior的重要性
• 狄利克雷分布、多項(xiàng)式分布
• LDA的生成過(guò)程
• LDA中的參數(shù)與隱變量
• Supervised LDA
• Dynamic LDA
• LDA的其他變種
• 項(xiàng)目作業(yè)：LDA的基礎(chǔ)上修改并搭建無(wú)監(jiān)督情感分析模型

第十六周：MCMC方法

• Detailed Balance
• 對(duì)于LDA的吉布斯采樣
• 對(duì)于LDA的Collapsed吉布斯采樣
• Metropolis Hasting
• Importance Sampling
• Rejection Sampling
• 大規(guī)模分布式MCMC
• 大數(shù)據(jù)與SGLD
• 案例：基于分布式的LDA訓(xùn)練

第十七周：變分法（Variational Method)

• 變分法核心思想
• KL散度與ELBo的推導(dǎo)
• Mean-Field變分法
• EM算法
• LDA的變分法推導(dǎo)
• 大數(shù)據(jù)與SVI
• 變分法與MCMC的比較
• Variational Autoencoder
• Probabilistic Programming
• 案例：使用概率編程工具來(lái)訓(xùn)練貝葉斯模型

第十八周：其他前沿主題

• 模型的可解釋性
• 解釋CNN模型
• 解釋序列模型
• Meta Learing
• Fair Learning
• 技術(shù)前瞻

課程其他的細(xì)節(jié)可以聯(lián)系課程顧問(wèn)來(lái)獲取
添加課程顧問(wèn)小姐姐微信
報(bào)名、課程咨詢(xún)

02 部分案例和項(xiàng)目

運(yùn)輸優(yōu)化問(wèn)題：在運(yùn)籌學(xué)以及優(yōu)化領(lǐng)域最為經(jīng)典的問(wèn)題之一，類(lèi)似的思想廣泛應(yīng)用在倉(cāng)庫(kù)優(yōu)化，匹配等問(wèn)題上。

涉及到的知識(shí)點(diǎn)：

• 線(xiàn)性回歸以及優(yōu)化實(shí)現(xiàn)
• Two-Stage隨機(jī)線(xiàn)性規(guī)劃一下優(yōu)化實(shí)現(xiàn)

打車(chē)中的路徑規(guī)劃問(wèn)題：我們幾乎每天都在使用打車(chē)軟件或者外賣(mài)軟件。對(duì)于這些應(yīng)用來(lái)講，核心算法應(yīng)用就是乘客和車(chē)輛的匹配。

涉及到的知識(shí)點(diǎn)：

• Mixed Integer Linear Programming
• 提供approximation bounds

經(jīng)典機(jī)器學(xué)習(xí)模型的對(duì)偶推導(dǎo)及實(shí)現(xiàn)：通過(guò)此練習(xí)，更深入理解機(jī)器學(xué)習(xí)模型以及對(duì)偶的作用。

涉及到的知識(shí)點(diǎn)：

• SVM，LP等模型
• 對(duì)偶技術(shù)
• KKT條件

基于圖神經(jīng)網(wǎng)絡(luò)的文本分類(lèi)：當(dāng)使用語(yǔ)法分析工具處理文本之后，一段文本便可以成為一個(gè)圖，接下來(lái)就可以使用圖卷積神經(jīng)網(wǎng)絡(luò)來(lái)做后續(xù)的分類(lèi)工作

涉及到的知識(shí)點(diǎn)：

• 語(yǔ)法分析
• 圖神經(jīng)網(wǎng)絡(luò)

基于圖神經(jīng)網(wǎng)絡(luò)的閱讀理解：一般的閱讀需要讓機(jī)器閱讀多個(gè)文章并對(duì)提出的問(wèn)題給出答案。在閱讀理解中抽取關(guān)鍵的實(shí)體和關(guān)系變得很重要，這些實(shí)體和關(guān)系可以用來(lái)構(gòu)造一個(gè)圖。

涉及到的知識(shí)點(diǎn)：

• 命名識(shí)別，關(guān)系抽取
• 圖神經(jīng)網(wǎng)絡(luò)
• Heterogeneous Graph

Bandits在推薦系統(tǒng)的應(yīng)用案例：Bandits應(yīng)用在順序決策問(wèn)題的應(yīng)用中有易于實(shí)現(xiàn)、計(jì)算效率高、解決冷啟動(dòng)問(wèn)題、數(shù)據(jù)標(biāo)注相對(duì)要求不高（一般只需部分標(biāo)注作為reward，如用戶(hù)點(diǎn)擊）等優(yōu)點(diǎn)。本案例講解bandits如何應(yīng)用在新聞推薦的系統(tǒng)中做基于內(nèi)容的推薦。

涉及到的知識(shí)點(diǎn)：

• Exploration & Exploitation
• Epsilon Greedy
• Upper Confidential Bounder
• LineUCB

使用概率編程工具來(lái)訓(xùn)練貝葉斯模型：類(lèi)似于Pytorch，Tensorflow，概率編程工具提供了對(duì)貝葉斯模型的自動(dòng)學(xué)習(xí)，我們以L(fǎng)DA等模型為例來(lái)說(shuō)明這些工具的使用。

涉及到的知識(shí)點(diǎn)：

• 概率編程
• 主題模型
• MCMC和變分法

股票投資組合優(yōu)化：在投資組合優(yōu)化中，我們需要根據(jù)用戶(hù)的風(fēng)險(xiǎn)承受能力來(lái)設(shè)計(jì)并組合資產(chǎn)。在本項(xiàng)目中，我們?cè)囍诙我?guī)劃的框架下做一些必要的修改如加入必要的限制條件、必要的正則來(lái)控制組合的稀疏性、加入投資中的先驗(yàn)等信息，最后根據(jù)預(yù)先定義好的評(píng)估標(biāo)準(zhǔn)來(lái)引導(dǎo)模型的學(xué)習(xí)

涉及到的知識(shí)點(diǎn)：

• 二次規(guī)劃
• 不同的正則使用
• 基于限制條件的優(yōu)化
• 先驗(yàn)的引入

課程其他的細(xì)節(jié)可以聯(lián)系課程顧問(wèn)來(lái)獲取
添加課程顧問(wèn)小姐姐微信
報(bào)名、課程咨詢(xún)

03 授課導(dǎo)師

李文哲：貪心科技創(chuàng)始人兼CEO，人工智能和知識(shí)圖譜領(lǐng)域?qū)＜?，曾任金融科技?dú)角獸公司的首席科學(xué)家、美國(guó)亞馬遜的高級(jí)工程師，先后負(fù)責(zé)過(guò)聊天機(jī)器人、量化交易、自適應(yīng)教育、金融知識(shí)圖譜等項(xiàng)目，并在AAAI、KDD、AISTATS等頂會(huì)上發(fā)表過(guò)15篇以上論文，并榮獲IAAI，IPDPS的最佳論文獎(jiǎng)，多次出席行業(yè)峰會(huì)發(fā)表演講。分別在USC, TAMU，南開(kāi)攻讀博士、碩士和本科。

楊棟：香港城市大學(xué)博士, UC Merced博士后，主要從事于機(jī)器學(xué)習(xí)，圖卷積，圖嵌入的研究。先后在ECCV, Trans on Cybernetics, Trans on NSE, INDIN等國(guó)際頂會(huì)及期刊上發(fā)表過(guò)數(shù)篇論文。

04 直播授課，現(xiàn)場(chǎng)推導(dǎo)演示

區(qū)別于劣質(zhì)的PPT講解，導(dǎo)師全程現(xiàn)場(chǎng)推導(dǎo)，讓你在學(xué)習(xí)中有清晰的思路，深刻的理解算法模型背后推導(dǎo)的每個(gè)細(xì)節(jié)。更重要的是可以清晰地看到各種模型之間的關(guān)系！幫助你打通六脈！

▲源自：LDA模型講解

▲源自：Convex Optimization 講解

▲源自：Convergence Analysis 講解

05 課程安排（以前兩周為例）

06 前兩期學(xué)員背景

07 入學(xué)標(biāo)準(zhǔn)

1、理工科專(zhuān)業(yè)相關(guān)本科生、碩士生、博士生。
2、目前從事AI工作。
3、具備良好的Python編程能力。
4、具備一定機(jī)器學(xué)習(xí)基礎(chǔ)，零基礎(chǔ)學(xué)員不太適合。

08 報(bào)名須知

1、本課程為收費(fèi)教學(xué)。
2、本期僅招收剩余名額有限。
3、品質(zhì)保障！正式開(kāi)課后7天內(nèi)，無(wú)條件全額退款。
4、學(xué)習(xí)本課程需要具備一定的機(jī)器學(xué)習(xí)基礎(chǔ)。

—?完?—