開(kāi)源多模態(tài)SOTA再易主，19B模型比肩GPT-4v，16G顯存就能跑

夢(mèng)晨 2024-05-22 14:00:11 來(lái)源：量子位

夢(mèng)晨 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

開(kāi)源多模態(tài)SOTA模型再易主！

Hugging Face開(kāi)發(fā)者大使剛剛把王冠交給了CogVLM2，來(lái)自大模型創(chuàng)業(yè)公司智譜AI。

CogVLM2甚至在3項(xiàng)基準(zhǔn)測(cè)試上超過(guò)GPT-4v和Gemini Pro，還不是超過(guò)一點(diǎn)，是大幅領(lǐng)先。

網(wǎng)友聞?dòng)嵍鴣?lái)，發(fā)現(xiàn)ChatGPT新絕技之“AI挑瓜”，我們開(kāi)源屆也不缺了。

更復(fù)雜的學(xué)術(shù)圖表，它也能理解并給出詳細(xì)解釋。

CogVLM2整體模型參數(shù)量?jī)H19B，卻能在多項(xiàng)指標(biāo)取得接近或超過(guò)GPT-4V的水平，此外還有幾大亮點(diǎn)：

• 支持8K文本長(zhǎng)度
• 支持高達(dá)1344*1344的圖像分辨率
• 提供支持中英文雙語(yǔ)的開(kāi)源模型版本
• 開(kāi)源可商用

英文版經(jīng)網(wǎng)友測(cè)試也有不錯(cuò)的表現(xiàn)。

特別值得注意的是，盡管CogVLM2的總參數(shù)量為19B，但得益于精心設(shè)計(jì)的多專(zhuān)家模塊結(jié)構(gòu)，每次進(jìn)行推理時(shí)實(shí)際激活的參數(shù)量?jī)H約12B，這樣一來(lái)，全量推理（BF16/PF16）需要42GB 顯存。

接下來(lái)劃重點(diǎn)了：

Int4量化版本，僅需要16GB顯存。

也就是一張英偉達(dá)RTX4080，或者剛出不久的RTX4070 Ti SUPER就能搞定了。

性能不俗，算力需求也不離譜，以至于剛開(kāi)源不久就在GitHub上小火了一把，各類(lèi)開(kāi)發(fā)者帶著自己的場(chǎng)景來(lái)找團(tuán)隊(duì)咨詢(xún)。

團(tuán)隊(duì)也貼心的表示，考慮到很多實(shí)際場(chǎng)景需要微調(diào)，專(zhuān)門(mén)給大家提供了Lora微調(diào)代碼。

• 凍結(jié)視覺(jué)部分，BF16 Lora微調(diào)僅需57GB顯存
• 如果同時(shí)對(duì)視覺(jué)部分進(jìn)行 BF16 Lora微調(diào)，則至少需要80GB顯存

CogVLM2也提供在線(xiàn)Demo，感興趣的話(huà)可以先試玩一下。

（試玩地址在文末領(lǐng)?。?/p>

好嘛，一般的小詭計(jì)還真騙不過(guò)它～

大模型整合視覺(jué)專(zhuān)家模塊

其實(shí)去年10月，團(tuán)隊(duì)就發(fā)布了CogVLM一代，量子位當(dāng)時(shí)也介紹過(guò)。

系列的核心思路，是給大語(yǔ)言模型的每一層都添加可訓(xùn)練的視覺(jué)專(zhuān)家模塊，以實(shí)現(xiàn)圖像特征和文本特征的深度對(duì)齊，而不會(huì)犧牲NLP任務(wù)的性能。

可以說(shuō)是把視覺(jué)語(yǔ)言模型的訓(xùn)練方式，從圖像文本的淺層對(duì)齊，轉(zhuǎn)向了深度融合。

CogVLM2在繼承這一經(jīng)典架構(gòu)的基礎(chǔ)上，做了不少優(yōu)化和改進(jìn)。

語(yǔ)言模型基座升級(jí)成最新的Llama3-8B-Instruct，視覺(jué)編碼器升級(jí)到5B、視覺(jué)專(zhuān)家模塊也升級(jí)到7B，支持更高的圖像分辨率等等。

特別是視覺(jué)專(zhuān)家模塊，通過(guò)獨(dú)特的參數(shù)設(shè)置精細(xì)地建模了視覺(jué)與語(yǔ)言序列的交互，確保了在增強(qiáng)視覺(jué)理解能力的同時(shí)，不會(huì)削弱模型在語(yǔ)言處理上的原有優(yōu)勢(shì)。

升級(jí)后能力有多強(qiáng)？

在不損失任何通用能力的前提下，在許多關(guān)鍵指標(biāo)上有了顯著提升，如在 OCRbench基準(zhǔn)上性能提升32%，在TextVQA基準(zhǔn)上性能提升21.9%，且模型具備了較強(qiáng)的文檔圖像理解能力（DocVQA）等。

也可以來(lái)個(gè)更直觀(guān)的展示：

現(xiàn)在，復(fù)雜的模型架構(gòu)圖都可以讓CogVLM2自己描述一遍，而一代的時(shí)候我們也測(cè)試過(guò)，當(dāng)時(shí)還是有難度的。

為了更為嚴(yán)格地驗(yàn)證CogVLM的性能和泛化能力，一系列多模態(tài)基準(zhǔn)上的定量評(píng)估更能說(shuō)明問(wèn)題。

CogVLM2的兩個(gè)模型，盡管具有較小的模型尺寸，但在多個(gè)基準(zhǔn)中取得 SOTA性能；而在其他性能上，也能達(dá)到與閉源模型（例如GPT-4V、Gemini Pro等）接近的水平。

中文能力到位，模型代碼試玩開(kāi)放

可能有人會(huì)疑惑，Llama3系列是出了名的能看懂中文，但死活不愿意用中文完整回答，有一種各說(shuō)各話(huà)、跨服交流的美。

怎么到CogVLM2這里，加入視覺(jué)專(zhuān)家模塊之后，中文輸出能力也這么6了？

我們就這個(gè)問(wèn)題詢(xún)問(wèn)了智譜團(tuán)隊(duì)，他們表示為了解決這個(gè)問(wèn)題可費(fèi)了不少功夫。

團(tuán)隊(duì)判斷Llama 3 8B Instruct模型的訓(xùn)練數(shù)據(jù)中可能包含了大量英文數(shù)據(jù)，而中文數(shù)據(jù)的比例相對(duì)較低。

找到問(wèn)題，就能對(duì)癥下藥了：

首先，在預(yù)訓(xùn)練階段，團(tuán)隊(duì)收集了大量的中文圖文數(shù)據(jù)，涵蓋了中文場(chǎng)景的各種情況。

特別是針對(duì)中文場(chǎng)景進(jìn)行了OCR和文檔等類(lèi)型的數(shù)據(jù)收集。通過(guò)這些數(shù)據(jù)，我們使得模型在預(yù)訓(xùn)練階段就能夠充分接觸和理解中文語(yǔ)境。

其次，在指令微調(diào)階段也構(gòu)造了一些高質(zhì)量的中文數(shù)據(jù)。這些數(shù)據(jù)包含了各種中文指令和對(duì)應(yīng)的回答，使得模型能夠更好地理解和回答中文問(wèn)題。在這個(gè)過(guò)程中確保中英數(shù)據(jù)的比例在一個(gè)合理的范圍內(nèi)，從而使得模型在處理中文問(wèn)題時(shí)能夠更加得心應(yīng)手。

通過(guò)這些措施，CogVLM2在支持中文方面就有了顯著的提升，無(wú)論是在理解中文問(wèn)題還是在用中文回答問(wèn)題方面，都成了亮點(diǎn)和優(yōu)勢(shì)。

比如識(shí)別火車(chē)票信息，再整理成json格式，部分文字反光或者掉色也不受影響。

又或者識(shí)別并描述復(fù)雜戶(hù)型圖，連注釋和水印都不放過(guò)。

又或者識(shí)別中文手寫(xiě)字體。

甚至古代字體。

最后，奉上CogVLM2開(kāi)源相關(guān)的一系列鏈接，感興趣的朋友可以自取。

團(tuán)隊(duì)還透露，GLM新版本會(huì)內(nèi)嵌CogVLM2能力，在智譜清言App和智譜AI大模型MaaS開(kāi)放平臺(tái)上線(xiàn)。

代碼倉(cāng)庫(kù)：
github.com/THUDM/CogVLM2

模型下載：
Huggingface：huggingface.co/THUDM
魔搭社區(qū)：modelscope.cn/models/ZhipuAI
始智社區(qū)：wisemodel.cn/models/ZhipuAI

Demo體驗(yàn)：
http://36.103.203.44:7861