賈揚清共一論文獲ICML時間檢驗獎：首個開源版AlexNet，著名框架Caffe前身，最佳論文獎也已公布
人和機器含咖啡因都運行得更快（doge）
西風 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
ICML 2024時間檢驗獎出爐，賈揚清共同一作論文獲獎！
論文題為“DeCAF: A Deep Convolutional Activation Feature for Generic Visual Recognition”，是賈揚清及其團隊10年前在UC伯克利期間完成的工作。
ICML官方第一時間發(fā)推文表示祝賀，賈揚清回應道“深感榮幸DeCAF獲ICML2024時間檢驗獎，這是人工智能發(fā)展驚人的十年”，并把其他作者艾特了個遍。
作者之一、現(xiàn)谷歌DeepMind副總裁、Gemini項目聯(lián)合負責人Oriol Vinyals也開麥表示“非常感謝這個獎（讓我感覺自己老了）”：
DeCAF是AlexNet的首個開源版本，我們通過它測試了這個卓越的ImageNet分類器學習到的特征是否能廣泛應用于其他視覺任務。事實證明，這個想法在今天仍然與最好的多模態(tài)模型非常相關！
兩位老搭檔也在評論區(qū)敘上了舊：
ICML今年是其舉辦的第41屆，投稿量9000+，接受率27.5%。除了時間檢驗獎，最佳論文獎也已出爐，Stable Diffusion 3論文等上榜。
獲得時間檢驗獎的這篇論文，目前谷歌學術被引6012次：
先來看這篇論文都講了什么。
著名框架Caffe的前身
這篇論文提出了一種名為DeCAF（Deep Convolutional Activation Feature）的深度卷積激活特征，用于解決通用視覺識別問題。
主要是探索了在ImageNet等大規(guī)模標記數(shù)據(jù)集上預訓練的深度卷積神經(jīng)網(wǎng)絡，其中間層特征是否能夠有效遷移到其他視覺任務中，即transfer learning的可行性。
作者采用了Geoffrey Hinton、Alex Krizhevsky、Ilya Sutskever?2012年提出的AlexNet卷積神經(jīng)網(wǎng)絡架構，包含5個卷積層和3個全連接層。在ImageNet數(shù)據(jù)集上進行預訓練后，凍結網(wǎng)絡權重。
提取了不同層的激活作為特征，具體包括DeCAF5、DeCAF6和DeCAF7（最后一個隱藏層的激活）。并在新任務上僅訓練簡單的線性分類器，同時保持DeCAF特征不變。
為了驗證這種方法的有效性，作者在多個標準計算機視覺基準測試上進行了實驗，包括對象識別（Caltech-101）、域適應（Office數(shù)據(jù)集）、細粒度識別（Caltech-UCSD鳥類數(shù)據(jù)集）和場景識別（SUN-397）。
實驗結果顯示，DeCAF在所有這些任務上都取得了優(yōu)秀的表現(xiàn)，常常超越當時的最佳方法。
使用t-SNE算法將高維特征映射到2D空間，展示了DeCAF特征在語義聚類方面優(yōu)于GIST和LLC等傳統(tǒng)特征。
即使在訓練樣本稀缺的情況下，如單樣本學習，DeCAF仍然表現(xiàn)出色。論文還詳細分析了網(wǎng)絡各層的計算時間分布，發(fā)現(xiàn)全連接層占用了大部分計算時間。
此外，論文還探討了dropout等正則化技術的影響，特別是在DeCAF6和DeCAF7層上的應用。
最終作者開源了DeCAF特征提取工具和預訓練模型。
有網(wǎng)友看到這篇論文在十年后的今天獲獎后，突然反應過來“這是不是Caffe的起源？”
賈揚清也做出了回復：
DeCAF的訓練速度不夠快（我們估計訓練時間需要超過一個月），因此我們轉而使用了Caffe。這就是為什么一個名字中含caffeine（咖啡因）成分為零而另一個有的原因——無論是人還是機器，含caffeine都運行得更快。
最佳論文獎
除時間檢驗獎，ICML 2024最佳論文獎也出爐了，今年獲獎論文共有10篇。
其中包括Stable Diffusion 3論文“Scaling Rectified Flow Transformers for High-Resolution Image Synthesis”。
Pika聯(lián)合創(chuàng)始人兼CTO Chenlin Meng參與的“Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution”這項工作也獲獎了。
參考鏈接：
[1]https://icml.cc/virtual/2024/awards_detail
[2]https://arxiv.org/abs/1310.1531
[3]https://x.com/jiayq/status/1815653822028738667
[4]https://x.com/jiayq/status/1815862939569774796
- 多人有聲視頻一體化生成！用百度最新AI生成營銷視頻，現(xiàn)在1.4元/5秒2025-08-22
- 馬斯克一覺醒來，Space X在京開賣了2025-08-21
- 離譜！現(xiàn)在的Agent都卷成100個成團了？3分鐘并行干完5個復雜任務，還能隨時改需求2025-08-18
- 國家級AI創(chuàng)新應用賽事殺瘋了！超200萬元獎金池+全場景賽道，沖線團隊速來2025-08-15
