杭州領(lǐng)跑AI開源！阿里Qwen除夕開源視覺理解新旗艦，全系列3尺寸，7B模型超GPT-4o-mini

衡宇 白交 發(fā)自 川渝

量子位 | 公眾號 QbitAI

眼看著半只腳都跨進(jìn)蛇年了，杭州城還是一如既往真卷啊！

今天凌晨4點(diǎn)，阿里通義Qwen發(fā)布新春節(jié)禮第二彈：推出視覺理解模型Qwen2.5-VL，開源的。

可以支持視覺理解事物、Agent、理解長視頻并且捕捉事件、視覺定位和結(jié)構(gòu)化輸出等等。

Qwen2.5-VL是Qwen系列旗下全新的視覺理解模型，也被官方稱為“旗艦視覺語言模型”，推出了3B、7B和72B三個版本。

官方放出的測試結(jié)果，Qwen系列視覺旗艦中的旗艦——Qwen2.5-VL-72B-Instruct，在一系列涵蓋多個領(lǐng)域和任務(wù)的基準(zhǔn)測試中表現(xiàn)如下。

包括大學(xué)水平的問題、數(shù)學(xué)、文檔理解、視覺問答、視頻理解和視覺Agent：

而此系列中的7B模型，Qwen2.5-VL-7B-Instruct，在多個任務(wù)中超越了GPT-4o-mini。

此外，通義Qwen團(tuán)隊(duì)還將Qwen2.5-VL-3B稱為“端側(cè)AI的潛力股”，它以3B之身，超越了此前的Qwen2-VL-7B。

可以觀察到的一點(diǎn)是，Qwen2.5-VL在理解文檔和圖表方面表現(xiàn)突出。

此外，當(dāng)作為視覺Agent操作時，Qwen2.5-VL無需進(jìn)行特定任務(wù)的微調(diào)。

官方宣布，Qwen2.5-VL的Base和Instruct模型，全系列3B、7B、72B仨尺寸的模型，已經(jīng)統(tǒng)統(tǒng)開源。

（按慣例，文末有之指路直通車）

Qwen旗下全新視覺旗艦，模型能力如何？

下面展示對Qwen2.5-VL在6個方面的能力：

• 視覺定位能力
• 通用圖像識別能力
• Qwen特色的文檔解析
• 能夠操作電腦和手機(jī)的視覺Agent
• 增強(qiáng)的視頻理解能力
• 文字識別和理解能力

視覺定位能力

據(jù)官方信息，Qwen2.5-VL可以采用矩形框和點(diǎn)的多樣化方式，對通用物體定位，并實(shí)現(xiàn)層級化定位和規(guī)范的 JSON格式輸出。

譬如，喂給它一張街頭實(shí)拍圖，并輸入Prompt：

檢測圖像中的所有摩托車手，并以坐標(biāo)形式返回他們的位置。輸出格式應(yīng)類似于{“bbox_2d”: [x1, y1, x2, y2], “l(fā)abel”: “motorcyclist”, “sub_label”: “wearing helmat” # 或 “not wearing helmat”}。

然后你將得到一個用不同顏色方框，框選中圖中載人摩托車的返回結(jié)果：

坐標(biāo)返回也沒落下，按要求返回：

Qwen團(tuán)隊(duì)表示，Qwen2.5-VL增強(qiáng)的定位能力，提供了在復(fù)雜場景中，視覺Agent進(jìn)行理解和推理任務(wù)的基礎(chǔ)。

通用圖像識別能力

此外，相較于視覺模型系列前作Qwen2-VL，Qwen2.5-VL主要提升了其通用圖像識別能力。

同時擴(kuò)大了模型可識別的圖像類別量級，包括動植物、著名山川河流等地標(biāo)，還包括各種影視IP，以及各類商品。

Prompt：這些景點(diǎn)是什么？請用中文和英文給出它們的名字。

量子位親測，Qwen2.5-VL-72B-Instruct給出的答案如下：

Qwen特色的文檔解析

在Qwen2.5-VL中，研發(fā)團(tuán)隊(duì)設(shè)計了一種“更全面的文檔解析格式”，稱為QwenVL HTML格式。

簡單來說，該模式下的Qwen2.5-VL，既可以將文檔中的文本精準(zhǔn)地識別出來，也能夠提取文檔元素（如圖片、表格等）的位置信息，從而準(zhǔn)確地將文檔中的版面布局進(jìn)行精準(zhǔn)還原。

以下為Qwen團(tuán)隊(duì)的官方測試demo。

Prompt：QwenVL HTML。

同時喂給下面這張圖片：

Qwen2.5-VL吐回的結(jié)果是醬嬸兒的：

研發(fā)人員還表示，基于精心構(gòu)建的海量數(shù)據(jù)，QwenVL HTML可以對廣泛的場景進(jìn)行魯棒的文檔解析，比如雜志、論文、網(wǎng)頁等。

甚至包含手機(jī)截屏～

能夠操作電腦和手機(jī)的視覺Agent

通過利用內(nèi)在的感知、解析和推理能力，Qwen2.5-VL展現(xiàn)出了不錯的設(shè)備操作能力。

包括在手機(jī)、網(wǎng)絡(luò)平臺和電腦上執(zhí)行任務(wù)。

譬如，讓它幫忙訂一張今天從重慶飛北京的機(jī)票：

Prompt：請幫我通過預(yù)訂應(yīng)用查看單程機(jī)票。出發(fā)點(diǎn)是重慶江北機(jī)場，終點(diǎn)是北京首都機(jī)場，日期是1月28日。

請欣賞它的執(zhí)行過程和背后代碼（雖然執(zhí)行過程的動作速度還比較緩慢）：

視頻理解能力

視頻里能力方面，在時間處理上，Qwen2.5-VL引入了動態(tài)幀率（FPS）訓(xùn)練和絕對時間編碼技術(shù)。

如此一來，模型不僅能夠支持小時級別的超長視頻理解，還具備秒級的事件定位能力。

它不僅能夠準(zhǔn)確地理解小時級別的長視頻內(nèi)容，還可以在視頻中搜索具體事件，并對視頻的不同時間段進(jìn)行要點(diǎn)總結(jié)，從而快速、高效地幫助用戶提取視頻中蘊(yùn)藏的關(guān)鍵信息。

譬如，讓它觀看以下視頻，并列出視頻中出現(xiàn)的paper名字。

它吐出來的結(jié)果如下：

文字識別和理解能力

最后，Qwen2.5-VL提升了OCR識別能力——

增強(qiáng)了多場景、多語言和多方向的文本識別和文本定位能力。

同時，該系列模型又著重增強(qiáng)了信息抽取能力，以滿足日益增長的資質(zhì)審核、金融商務(wù)等數(shù)字化、智能化需求。

Qwen2.5-VL系列，升級在哪里？

去年9月2日，阿里通義團(tuán)隊(duì)開源了上一代（也是第二代）視覺語言模型 Qwen2-VL，當(dāng)時推出的是2B、7B兩個參數(shù)版本，及其及其量化版本。

當(dāng)時的Qwen2-VL可以理解20分鐘以上長視頻，以及可集成后自主操作手機(jī)和機(jī)器人。

與Qwen2-VL相比，Qwen2.5-VL增強(qiáng)了模型對時間和空間尺度的感知能力，并進(jìn)一步簡化了網(wǎng)絡(luò)結(jié)構(gòu)以提高模型效率。

具體可分為兩個方面。

其一是時間和圖像尺寸的感知。

在空間維度上，Qwen2.5-VL不僅能夠動態(tài)地將不同尺寸的圖像轉(zhuǎn)換為不同長度的token，還直接使用圖像的實(shí)際尺寸來表示檢測框和點(diǎn)等坐標(biāo)，而不進(jìn)行傳統(tǒng)的坐標(biāo)歸一化。

這使得模型能夠直接學(xué)習(xí)圖像的尺度。

在時間維度上，引入了動態(tài)FPS（每秒幀數(shù)）訓(xùn)練和絕對時間編碼，將mRoPE id直接與時間流速對齊。

這使得模型能夠通過時間維度id的間隔來學(xué)習(xí)時間的節(jié)奏。

其二是更簡潔高效的視覺編碼器。

視覺編碼器在多模態(tài)大模型中扮演著至關(guān)重要的角色。

Qwen2.5-VL團(tuán)隊(duì)從頭開始訓(xùn)練了一個原生動態(tài)分辨率的ViT，包括CLIP、視覺-語言模型對齊和端到端訓(xùn)練等階段。

為了解決多模態(tài)大模型在訓(xùn)練和測試階段ViT負(fù)載不均衡的問題，研究人員又引入了窗口注意力機(jī)制，有效減少了ViT端的計算負(fù)擔(dān)。

在Qwen2.5-VL的ViT設(shè)置中，只有四層是全注意力層，其余層使用窗口注意力。

最大窗口大小為8×8，小于8×8的區(qū)域不需要填充，而是保持原始尺度，確保模型保持原生分辨率。

此外，為了簡化整體網(wǎng)絡(luò)結(jié)構(gòu)，團(tuán)隊(duì)使ViT架構(gòu)與LLMs更加一致，采用了RMSNorm和SwiGLU結(jié)構(gòu)。

在此基礎(chǔ)上，Qwen2.5-VL呈現(xiàn)出如下主要特點(diǎn)：

第一，視覺理解：

Qwen2.5-VL不僅擅長識別常見物體，如花、鳥、魚和昆蟲，還能夠分析圖像中的文本、圖表、圖標(biāo)、圖形和布局。

第二，Agent：

Qwen2.5-VL直接作為一個視覺Agent，可以推理并動態(tài)地使用工具，初步具備了使用電腦和使用手機(jī)的能力。

第三，理解長視頻和捕捉事件：

Qwen2.5-VL能夠理解超過1小時（進(jìn)步了40分鐘）的視頻，并且它具備了通過精準(zhǔn)定位相關(guān)視頻片段來捕捉事件的新能力。

第四，視覺定位：

Qwen2.5-VL可以通過生成bounding boxes或者points來準(zhǔn)確定位圖像中的物體，并能夠?yàn)樽鴺?biāo)和屬性提供穩(wěn)定的JSON輸出。

第五，結(jié)構(gòu)化輸出：

對于發(fā)票、表單、表格等數(shù)據(jù)，Qwen2.5-VL支持其內(nèi)容的結(jié)構(gòu)化輸出，有助于在金融、商業(yè)等領(lǐng)域的應(yīng)用。

One More Thing

目前，Qwen2.5-VL全系列已經(jīng)開源在抱抱臉、魔搭社區(qū)。

而Qwen Chat官網(wǎng)可直接體驗(yàn)Qwen2.5-VL-72B-Instruct。

Qwen團(tuán)隊(duì)還表示：

在不久的將來，我們將進(jìn)一步提升模型的問題解決和推理能力，同時整合更多模態(tài)。
這將使模型變得更加智能，并推動我們向著能夠處理多種輸入類型和任務(wù)的綜合全能模型邁進(jìn)。

看來，推理、多模態(tài)是Qwen團(tuán)隊(duì)的下一步重點(diǎn)，最終星辰大海是綜合全能模型。

Qwen Chat：
https://chat.qwenlm.ai

抱抱臉：
https://huggingface.co/collections/Qwen/qwen25-vl-6795ffac22b334a837c0f9a5

魔搭：
https://modelscope.cn/collections/Qwen25-VL-58fbb5d31f1d47

參考鏈接：
https://mp.weixin.qq.com/s/RhRcULJrEGwasMLoNYXPOw

— 完 —

量子位 QbitAI · 頭條號

關(guān)注我們，第一時間獲知前沿科技動態(tài)