HuggingFace教你怎樣做出SOTA視覺模型
來自開發(fā)實(shí)踐的經(jīng)驗
克雷西 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
前有OpenAI的GPT-4o，后有谷歌的系列王炸，先進(jìn)的多模態(tài)大模型接連炸場。
其他從業(yè)者在震撼之余，也再次開始思考怎么追趕這些超級模型了。
剛好在這時，HuggingFace和法國索邦大學(xué)的一篇論文，總結(jié)出了構(gòu)建視覺大模型的關(guān)鍵經(jīng)驗，給開發(fā)者指明了一條路。
這些經(jīng)驗涵蓋了模型架構(gòu)選擇、訓(xùn)練方法、訓(xùn)練數(shù)據(jù)等多個方面，作者在多方比較之后給出了詳盡的總結(jié)，核心要點(diǎn)包括這些內(nèi)容：
- 想把視覺大模型搞好，架構(gòu)的選擇很重要。
- 語言模型對整體表現(xiàn)的影響，比視覺模塊更大。
- 采用分階段預(yù)訓(xùn)練策略，更有利于構(gòu)建模型能力。
- 訓(xùn)練數(shù)據(jù)應(yīng)包含多種類型，并注意之間的比例平衡。
可以說，HF能夠打造出同規(guī)模SOTA的視覺模型Idefics2，背后依靠的都是這些經(jīng)驗。
Idefics2基于Mistral-7B打造，整體擁有8B的參數(shù)量，可以準(zhǔn)確識別出手寫字體。
專業(yè)人士評價稱，這是一篇很好的調(diào)查報告，對視覺模型開發(fā)者很有幫助，不過同時也提醒說不要當(dāng)成萬金油來看。
當(dāng)然也有人打趣說，什么架構(gòu)數(shù)據(jù)都是浮云，有GPU才是最關(guān)鍵的。
倒也有些道理，不過玩笑歸玩笑，還是來看看HuggingFace都帶給了我們哪些經(jīng)驗。
來自SOTA模型開發(fā)實(shí)戰(zhàn)
HuggingFace論文中的這些經(jīng)驗，來自于視覺模型Idefics2的開發(fā)過程。
與前一代Idefics1和Flamingo等同規(guī)模前SOTA相比，Idefics2在多個數(shù)據(jù)集上表現(xiàn)優(yōu)異，甚至還超過了更大的13B模型。
同時，和在COCO數(shù)據(jù)集上略勝于Idefics2的MM1相比，Idefics2在每張圖上消耗的token大幅減少。
從Idefics2的開發(fā)實(shí)戰(zhàn)當(dāng)中，HuggingFace給我們帶來的經(jīng)驗至少包含以下幾個方面：
- backbone和架構(gòu)的選擇
- 訓(xùn)練方法和策略
- 數(shù)據(jù)多樣性和處理策略
語言模型對整體表現(xiàn)影響更大
當(dāng)前的視覺大模型主要都采用語言模型+視覺編碼器的形式進(jìn)行開發(fā)，作者對二者給整體表現(xiàn)帶來的影響分別進(jìn)行了評估。
結(jié)果顯示，語言模型的質(zhì)量比視覺模型更重要。
在相同參數(shù)量的情況下，使用更好的語言模型（如將Llama-7B替換為Mistral-7B），能夠顯著提升視覺大模型在下游任務(wù)上的性能。
而升級視覺編碼器帶來的提升則較為有限，因此在需要權(quán)衡時最好的做法是優(yōu)先選擇更強(qiáng)的語言模型。
當(dāng)然這不意味著升級視覺編碼器沒有作用，在條件允許的情況下，選用更好的視覺編碼器也能帶來一定的性能提升。
此外還應(yīng)當(dāng)注意選擇要與下游任務(wù)相匹配，例如在文本識別任務(wù)上，應(yīng)使用支持可變分辨率的視覺編碼器；如果任務(wù)對推理速度要求很高，可以選擇更輕量級的模型。
以及在實(shí)際應(yīng)用中，推理速度和內(nèi)存占用也是需要權(quán)衡的因素，Idefics2選用的SigLIP-SO400M就在性能和效率之間取得了很好的平衡。
根據(jù)需求選擇架構(gòu)類型
關(guān)于架構(gòu)的選擇，這篇論文討論了常見的完全自回歸和交叉注意力這兩種。
完全自回歸架構(gòu)通過自回歸方式生成每個輸出，考慮了整個序列的依賴關(guān)系；
后者則允許模型在處理一種模態(tài)時動態(tài)地關(guān)注另一種模態(tài)的不同部分，實(shí)現(xiàn)更靈活的模態(tài)間交互。
在具體工作中，作者發(fā)現(xiàn)哪種架構(gòu)表現(xiàn)更好取決于預(yù)訓(xùn)練的backbone是否被凍結(jié)。
（簡單說，若預(yù)訓(xùn)練backbone參與正式訓(xùn)練過程則為非凍結(jié)，不參與則為凍結(jié)）
若未被凍結(jié)，則完全自回歸架構(gòu)的表現(xiàn)更優(yōu)，反之則是交叉注意力架構(gòu)更好。
至于是否需要對backbone進(jìn)行凍結(jié)，就要看開發(fā)者需求的側(cè)重點(diǎn)了。
在資源有限的條件下，如果需要高性能、對延遲高度敏感，選擇凍結(jié)更為合適；
如果希望模型具有更高的靈活性和適應(yīng)性，則應(yīng)選擇非凍結(jié)的訓(xùn)練方式。
具體到Idefics2，選擇了不凍結(jié)backbone，因此相應(yīng)地采用了完全自回歸架構(gòu)。
訓(xùn)練階段的經(jīng)驗
選擇好適當(dāng)?shù)募軜?gòu)固然重要，訓(xùn)練過程同樣也必不可少，在Idefics2的訓(xùn)練過程之中，作者總結(jié)出了這些經(jīng)驗供我們參考：
一是整體上采用分階段的預(yù)訓(xùn)練策略，初始階段使用較低分辨率的圖像，隨后引入更高分辨率的PDF文檔，這種做法可以逐步構(gòu)建模型的多種能力。
二是使用Learned Pooling替代直接將圖像特征送入語言模型，這可以大幅減少圖像token數(shù)量，顯著提升訓(xùn)練和推理效率，并且還帶來了性能的提升。
三是數(shù)據(jù)增強(qiáng)，一種方法是在訓(xùn)練時將圖像切分成多個子圖像送入模型，可以在推理時用計算時間換取更強(qiáng)的性能，這在文本識別等任務(wù)上尤為有效，不過并非所有圖片都需要這樣處理。
四是在指令微調(diào)階段使用更多元的數(shù)據(jù)和任務(wù)，可以提升模型的泛化和魯棒性。
此外為了穩(wěn)定訓(xùn)練，當(dāng)預(yù)訓(xùn)練的單模態(tài)backbone參與訓(xùn)練（非凍結(jié)）時，作者還使用了LoRA技術(shù)來適配預(yù)訓(xùn)練參數(shù)。
數(shù)據(jù)的多樣性和處理策略
除了訓(xùn)練過程本身，所選用的數(shù)據(jù)也會對模型的表現(xiàn)造成重大影響。
從收集階段開始，就應(yīng)注意要選擇多種類型的數(shù)據(jù)，如Idefics2就使用的數(shù)據(jù)就包括三類——圖文對齊的文檔（如網(wǎng)頁）、圖像-文本對（如圖片標(biāo)題），以及帶OCR標(biāo)注的PDF文檔。
對于各類數(shù)據(jù)所占的比例，也應(yīng)根據(jù)實(shí)際需要進(jìn)行適當(dāng)平衡，而不是簡單等分。
至于數(shù)據(jù)規(guī)模，則是在條件允許的情況下多多益善，當(dāng)然應(yīng)當(dāng)注意過濾掉低質(zhì)量數(shù)據(jù)。
當(dāng)然收集只是獲得訓(xùn)練數(shù)據(jù)的一個步驟，想把模型訓(xùn)練好，還需要進(jìn)行一定的加工處理。
對不同類型的數(shù)據(jù)采用不同的預(yù)處理和增強(qiáng)策略，比如對于OCR數(shù)據(jù)，使用更高分辨率的圖片是必要的，其他數(shù)據(jù)則可以使用較低分辨率。
這其中需要注意的是，處理圖像時要保留原始的寬高比和分辨率，可以在提高模型適應(yīng)性的同時大幅節(jié)省訓(xùn)練和推理的計算開銷。
如果你認(rèn)為這些經(jīng)驗對你有所啟發(fā)，可以讀讀原論文了解更多詳情，也歡迎在評論區(qū)交流你的開發(fā)經(jīng)驗。
論文地址：
https://arxiv.org/abs/2405.02246
相關(guān)閱讀
