賈揚(yáng)清共一論文獲ICML時(shí)間檢驗(yàn)獎(jiǎng)：首個(gè)開(kāi)源版AlexNet，著名框架Caffe前身，最佳論文獎(jiǎng)也已公布

西風(fēng) 2024-07-24 12:47:20 來(lái)源：量子位

西風(fēng) 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

ICML 2024時(shí)間檢驗(yàn)獎(jiǎng)出爐，賈揚(yáng)清共同一作論文獲獎(jiǎng)！

論文題為“DeCAF: A Deep Convolutional Activation Feature for Generic Visual Recognition”，是賈揚(yáng)清及其團(tuán)隊(duì)10年前在UC伯克利期間完成的工作。

ICML官方第一時(shí)間發(fā)推文表示祝賀，賈揚(yáng)清回應(yīng)道“深感榮幸DeCAF獲ICML2024時(shí)間檢驗(yàn)獎(jiǎng)，這是人工智能發(fā)展驚人的十年”，并把其他作者艾特了個(gè)遍。

作者之一、現(xiàn)谷歌DeepMind副總裁、Gemini項(xiàng)目聯(lián)合負(fù)責(zé)人Oriol Vinyals也開(kāi)麥表示“非常感謝這個(gè)獎(jiǎng)（讓我感覺(jué)自己老了）”：

DeCAF是AlexNet的首個(gè)開(kāi)源版本，我們通過(guò)它測(cè)試了這個(gè)卓越的ImageNet分類(lèi)器學(xué)習(xí)到的特征是否能廣泛應(yīng)用于其他視覺(jué)任務(wù)。事實(shí)證明，這個(gè)想法在今天仍然與最好的多模態(tài)模型非常相關(guān)！

兩位老搭檔也在評(píng)論區(qū)敘上了舊：

ICML今年是其舉辦的第41屆，投稿量9000+，接受率27.5%。除了時(shí)間檢驗(yàn)獎(jiǎng)，最佳論文獎(jiǎng)也已出爐，Stable Diffusion 3論文等上榜。

獲得時(shí)間檢驗(yàn)獎(jiǎng)的這篇論文，目前谷歌學(xué)術(shù)被引6012次：

先來(lái)看這篇論文都講了什么。

著名框架Caffe的前身

這篇論文提出了一種名為DeCAF（Deep Convolutional Activation Feature）的深度卷積激活特征，用于解決通用視覺(jué)識(shí)別問(wèn)題。

主要是探索了在ImageNet等大規(guī)模標(biāo)記數(shù)據(jù)集上預(yù)訓(xùn)練的深度卷積神經(jīng)網(wǎng)絡(luò)，其中間層特征是否能夠有效遷移到其他視覺(jué)任務(wù)中，即transfer learning的可行性。

作者采用了Geoffrey Hinton、Alex Krizhevsky、Ilya Sutskever?2012年提出的AlexNet卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，包含5個(gè)卷積層和3個(gè)全連接層。在ImageNet數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練后，凍結(jié)網(wǎng)絡(luò)權(quán)重。

提取了不同層的激活作為特征，具體包括DeCAF5、DeCAF6和DeCAF7（最后一個(gè)隱藏層的激活）。并在新任務(wù)上僅訓(xùn)練簡(jiǎn)單的線性分類(lèi)器，同時(shí)保持DeCAF特征不變。

為了驗(yàn)證這種方法的有效性，作者在多個(gè)標(biāo)準(zhǔn)計(jì)算機(jī)視覺(jué)基準(zhǔn)測(cè)試上進(jìn)行了實(shí)驗(yàn)，包括對(duì)象識(shí)別（Caltech-101）、域適應(yīng)（Office數(shù)據(jù)集）、細(xì)粒度識(shí)別（Caltech-UCSD鳥(niǎo)類(lèi)數(shù)據(jù)集）和場(chǎng)景識(shí)別（SUN-397）。

實(shí)驗(yàn)結(jié)果顯示，DeCAF在所有這些任務(wù)上都取得了優(yōu)秀的表現(xiàn)，常常超越當(dāng)時(shí)的最佳方法。

使用t-SNE算法將高維特征映射到2D空間，展示了DeCAF特征在語(yǔ)義聚類(lèi)方面優(yōu)于GIST和LLC等傳統(tǒng)特征。

即使在訓(xùn)練樣本稀缺的情況下，如單樣本學(xué)習(xí)，DeCAF仍然表現(xiàn)出色。論文還詳細(xì)分析了網(wǎng)絡(luò)各層的計(jì)算時(shí)間分布，發(fā)現(xiàn)全連接層占用了大部分計(jì)算時(shí)間。

此外，論文還探討了dropout等正則化技術(shù)的影響，特別是在DeCAF6和DeCAF7層上的應(yīng)用。

最終作者開(kāi)源了DeCAF特征提取工具和預(yù)訓(xùn)練模型。

有網(wǎng)友看到這篇論文在十年后的今天獲獎(jiǎng)后，突然反應(yīng)過(guò)來(lái)“這是不是Caffe的起源？”

賈揚(yáng)清也做出了回復(fù)：

DeCAF的訓(xùn)練速度不夠快（我們估計(jì)訓(xùn)練時(shí)間需要超過(guò)一個(gè)月），因此我們轉(zhuǎn)而使用了Caffe。這就是為什么一個(gè)名字中含caffeine（咖啡因）成分為零而另一個(gè)有的原因——無(wú)論是人還是機(jī)器，含caffeine都運(yùn)行得更快。

最佳論文獎(jiǎng)

除時(shí)間檢驗(yàn)獎(jiǎng)，ICML 2024最佳論文獎(jiǎng)也出爐了，今年獲獎(jiǎng)?wù)撐墓灿?0篇。

其中包括Stable Diffusion 3論文“Scaling Rectified Flow Transformers for High-Resolution Image Synthesis”。

Pika聯(lián)合創(chuàng)始人兼CTO Chenlin Meng參與的“Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution”這項(xiàng)工作也獲獎(jiǎng)了。

參考鏈接：
[1]https://icml.cc/virtual/2024/awards_detail
[2]https://arxiv.org/abs/1310.1531
[3]https://x.com/jiayq/status/1815653822028738667
[4]https://x.com/jiayq/status/1815862939569774796