谷歌全網扒1000億圖像文本對，ViT大佬坐鎮(zhèn)：數(shù)據(jù)Scaling潛力依舊

明敏 2025-02-13 17:13:47 來源：量子位

明敏 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

史上最大規(guī)模視覺語言數(shù)據(jù)集：1000億圖像-文本對！

什么概念？

較此前紀錄擴大10倍。

這就是由谷歌推出的最新數(shù)據(jù)集WebLI-100B。

它進一步證明，數(shù)據(jù)Scaling Law還遠沒有到上限。

在英文世界之外的多元文化、多語言維度，1000億規(guī)模數(shù)據(jù)集能更好覆蓋長尾場景，由此帶來明顯性能提升。

這意味著，想要構建更加多元的多模態(tài)大模型，千億級數(shù)據(jù)規(guī)模，將成為一個重要參考。

同時研究還進一步證明，CLIP等模型的過濾篩選步驟，會對這種多元性提升帶來負面影響。

該研究由谷歌DeepMind帶來，一作為Xiao Wang、 Ibrahim Alabdulmohsin。

作者之列中還發(fā)現(xiàn)了ViT核心作者翟曉華。2024年12月，他在推特上官宣，將入職OpenAI蘇黎世實驗室。

數(shù)據(jù)規(guī)模越大對細節(jié)理解越好

論文主要工作有三方面。

• 驗證VLMs在1000億規(guī)模數(shù)據(jù)集上的效果
• 證明1000億規(guī)模數(shù)據(jù)集能增強VLMs文化多樣性、多語言能力以及減少不同子組之間的性能差異。
• 發(fā)現(xiàn)CLIP這類模型過濾篩選數(shù)據(jù)的過程會對無意中降低模型的文化多元性，在1000億規(guī)模數(shù)據(jù)集上亦是如此。

具體來看，研究人員從網絡上搜集了1000億圖像-文本對，初步去除有害內容以及敏感信息。

然后使用CLIP模型對數(shù)據(jù)集進行質量評估，篩選出與圖像內容高度對齊的圖像-文本對。

他們訓練了一個分類器模型，對圖像-文本進行對齊和錯位分類，并調整閾值以重新篩選數(shù)據(jù)集。為了評估多語言能力，還使用網頁的語言標簽來確定數(shù)據(jù)集中的語言分布。

為了評估不同數(shù)據(jù)規(guī)模對模型性能的影響，研究人員從1000億數(shù)據(jù)集中隨機抽取了1%和10%的數(shù)據(jù)，分別創(chuàng)建了10億和100億規(guī)模的數(shù)據(jù)集。

同時為了提高低資源語言的代表性，研究人員對低資源語言進行了上采樣，將它們的占比從0.5%提高到1%。

實驗方面，研究人員使用SigLIP模型在不同規(guī)模的數(shù)據(jù)集上進行對比視覺語言預訓練。

他們訓練了不同大小的模型（ViTB/16、ViT-L/16、ViT-H/14），并使用了大規(guī)模的批量大小和學習率調度。

從結果來看，1B數(shù)據(jù)集訓練的模型在注意力圖上無法很好捕捉細節(jié)。10B數(shù)據(jù)集有所改善，100B數(shù)據(jù)集能更精準。

同時使用多語言mt5分詞器對文本進行分詞，并訓練了多種語言的模型。

在模型評估上，研究人員主要進行以下幾個維度分析：

• 傳統(tǒng)基準測試：多個傳統(tǒng)基準測試（如ImageNet、COCO Captions等）上評估。
• 文化多樣性：使用Dollar Street、GeoDE和Google Landmarks Dataset v2等數(shù)據(jù)集評估了模型在文化多樣性任務上的性能。
• 多語言能力：使用Crossmodal-3600數(shù)據(jù)集評估了模型在多語言任務上的性能。
• 公平性：評估了模型在不同子組（如性別、收入水平、地理區(qū)域）上的性能差異，以評估模型的公平性。

結果顯示，從100億到1000億規(guī)模數(shù)據(jù)，在以西方文化為主的傳統(tǒng)基準測試上帶來的提升比較有限，但在多語言能力和公平性相關任務上顯著提高。

數(shù)據(jù)過濾可以提高模型在傳統(tǒng)任務上的性能，但可能會減少某些文化背景的代表性，從而限制數(shù)據(jù)集的多樣性。

此外，通過調整低資源語言的混合比例，可以顯著提高模型在低資源語言基準測試上的性能。

主創(chuàng)翟曉華已被OpenAI挖走

該研究的一作為Xiao Wang和Ibrahim Alabdulmohsin。

Xiao Wang本科畢業(yè)于南京大學，碩士畢業(yè)于北京大學。

領英資料顯示，他畢業(yè)后先后任職于IBM中國開發(fā)實驗室、網易有道。2015年加入谷歌DeepMind至今，職位是高級軟件工程師，主要從事視覺語言研究。

主創(chuàng)中還發(fā)現(xiàn)了翟曉華的身影。

他同樣本科畢業(yè)于南京大學，在北京大學攻讀博士學位后，赴蘇黎世加入谷歌。

翟曉華和盧卡斯·拜爾（Lucas Beyer）、亞歷山大·科列斯尼科夫（Alexander Kolesnikov）一起在谷歌提出多項重要工作。

2021年，他們三人作為共同一作的計算機視覺領域神作ViT發(fā)布即刷新ImageNet最高分。

這項研究證實了CNN在CV領域不是必需的，Transformer從NLP跨界，一樣可以取得先進效果。開創(chuàng)了Transformer在CV領域應用的先河。

目前這篇論文被引用量已超過5.3萬。

他在谷歌DeepMind時領導蘇黎世多模態(tài)研究小組，重點研究多模態(tài)數(shù)據(jù)（WebLI）、開放權重模型 ( SigLIP、PaliGemma )以及文化包容性。

2024年12月，爆料稱OpenAI挖走ViT三大核心作者。隨后，該消息被本人證實。

論文地址：
https://arxiv.org/abs/2502.07617