ICML杰出論文開獎(jiǎng)，北大數(shù)院、武漢理工校友獲獎(jiǎng)，蘋果大模型相關(guān)研究入選

魚羊 2023-07-26 14:15:42 來源：量子位

魚羊 夢(mèng)晨 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

ICML 2023杰出論文，今天開獎(jiǎng)！

今年共有32篇論文入圍候選，最終6篇論文脫穎而出，分別涉及：

無學(xué)習(xí)率學(xué)習(xí)、大語言模型水印、分布外泛化、不完美信息零和博弈的近優(yōu)策略、馬爾可夫鏈蒙特卡羅算法和序列決策等研究方向。

作者之中，依然不乏華人學(xué)者的身影，包括北大數(shù)院校友Yunbei Xu，武漢理工校友Jie Hu，以及馬里蘭大學(xué)帕克分校的Yunxin Wen。

一起來看獲獎(jiǎng)?wù)撐木唧w細(xì)節(jié)。

ICML杰出論文

Learning-Rate-Free Learning by D-Adaptation

作者來自Meta AI和三星AI中心。

這篇論文提出了一個(gè)有趣的方法，旨在解決在非光滑隨機(jī)凸優(yōu)化問題中獲得無需學(xué)習(xí)率的最優(yōu)界限的挑戰(zhàn)。作者提出了一個(gè)新的方法來克服傳統(tǒng)學(xué)習(xí)率選擇在優(yōu)化這類問題時(shí)帶來的限制。這項(xiàng)研究為優(yōu)化領(lǐng)域做出了有價(jià)值的實(shí)踐貢獻(xiàn)。

論文地址：https://openreview.net/forum?id=GXZ6cT5cvY

A Watermark for Large Language Models

作者來自馬里蘭大學(xué)。作者之一的Yuxin Wen目前在馬里蘭大學(xué)帕克分校讀博，此前曾在百度實(shí)習(xí)。

這篇論文提出了一種給大語言模型輸出添加水印的方法，即在生成的文本中嵌入人類不可見但算法可檢測的信號(hào)?？蔁o需重新訓(xùn)練即可生成水印，并在不訪問API或參數(shù)的情況下檢測。還提出了一種用可解釋p-value檢測水印的統(tǒng)計(jì)測試方法和一個(gè)信息論框架來分析其敏感性。該方法簡單新穎，并進(jìn)行了充分的理論分析和可靠的實(shí)驗(yàn)?？紤]到檢測和審核大模型生成的合成文本所帶來的關(guān)鍵挑戰(zhàn)，本文有可能對(duì)該研究領(lǐng)域產(chǎn)生重大影響。

論文地址：https://openreview.net/forum?id=aX8ig9X2a7

Generalization on the Unseen, Logic Reasoning and Degree Curriculum

作者來自洛桑聯(lián)邦理工學(xué)院和蘋果。

這項(xiàng)工作在布爾函數(shù)學(xué)習(xí)方面取得了重大進(jìn)展，特別是針對(duì)“看不見的泛化”(Generalization on the Unseen，GOTU)設(shè)置，提出了一個(gè)具有挑戰(zhàn)性的分布外泛化問題。文廣泛深入地探討了這一重要課題，提供了一種結(jié)構(gòu)合理的方法，并輔以理論分析和大量實(shí)驗(yàn)。此外，它還勾勒出深度神經(jīng)網(wǎng)絡(luò)領(lǐng)域的一個(gè)關(guān)鍵研究方向，從而脫穎而出。

論文地址：https://openreview.net/forum?id=3dqwXb1te4

Adapting to game trees in zero-sum imperfect information games

作者來自CREST、ENS Lyon、Omron Sinic X以及DeepMind等研究機(jī)構(gòu)。

這篇論文介紹了不完全信息零和博弈的近優(yōu)策略。它嚴(yán)格地建立了一個(gè)新穎的下界，并提出了兩種算法—平衡 FTRL 和自適應(yīng) FTRL。這些貢獻(xiàn)極大地推動(dòng)了不完全信息博弈優(yōu)化領(lǐng)域的發(fā)展。實(shí)驗(yàn)證實(shí)了這些說法，為研究結(jié)果提供了充分的支持。

論文地址：https://openreview.net/forum?id=O1j4uFuSVW

Self-Repellent Random Walks on General Graphs – Achieving Minimal Sampling Variance via Nonlinear Markov Chains

作者來自昆泰公司和北卡羅來納州立大學(xué)。作者之一的Jie Hu目前在北卡羅萊納州立大學(xué)攻讀博士，他本科畢業(yè)于武漢理工大學(xué)。

這篇論文探討了一系列具有挑戰(zhàn)性的開放問題，即具有自斥隨機(jī)游走的 MCMC。它超越了傳統(tǒng)的非回溯方法，為 MCMC 采樣的新研究方向鋪平了道路。作者對(duì)馬爾可夫鏈蒙特卡羅做出了原創(chuàng)性的、非同小可的貢獻(xiàn)；令人矚目的是，該過程可以得到嚴(yán)格的分析和證明。論文文筆優(yōu)美，對(duì)主要概念的解釋清晰直觀。結(jié)果令人信服且全面。

論文地址：https://openreview.net/forum?id=450iImFM4U

Bayesian Design Principles for Frequentist Sequential Learning

作者來自哥倫比亞大學(xué)。一作Yunbei Xu是北大數(shù)院校友，完成論文時(shí)在哥倫比亞大學(xué)讀博，現(xiàn)為MIT博士后研究員。

本文解決了設(shè)計(jì)老虎機(jī)和其他順序決策策略中非常普適的問題。它提出了使用一種新提出的量“算法信息比”來界定任意策略的遺憾的方法，并推導(dǎo)出了優(yōu)化這個(gè)界的方法。這個(gè)界比之前的相似信息論量更緊。而且這些方法在隨機(jī)和對(duì)抗多臂老虎機(jī)環(huán)境下表現(xiàn)良好，達(dá)到了兼顧各方的最優(yōu)。特別有趣的是，本文可能為多臂老虎機(jī)開辟了一條新的探索-利用策略的道路，不止局限于著名的湯普森采樣和UCB法則。這一原理能推廣到強(qiáng)化學(xué)習(xí)的特點(diǎn)也非常有前景。本文受到所有審稿專家的一致強(qiáng)烈推薦。

論文地址：https://openreview.net/forum?id=tRhQsHnoFw

獲獎(jiǎng)公告：
https://icml.cc/Conferences/2023/Awards