開(kāi)源多模態(tài)大模型哪家強(qiáng)？TOP12榜單來(lái)了，GitHub攬獲2.2k+星

蕭簫 2023-07-05 14:53:29 來(lái)源：量子位

整理自 Happy
量子位 | 公眾號(hào) QbitAI

GPT-4的爆火，徹底掀起了學(xué)術(shù)界對(duì)于多模態(tài)大模型的研究熱潮。

不過(guò)，這類(lèi)模型的性能究竟要如何衡量，業(yè)界卻一直眾說(shuō)紛紜，沒(méi)有一個(gè)覆蓋面足夠廣泛的評(píng)價(jià)標(biāo)準(zhǔn)。

此外，也還沒(méi)有一篇完整綜述對(duì)其進(jìn)行定義和研究。

考慮到這一點(diǎn)，騰訊優(yōu)圖分別聯(lián)合中國(guó)科學(xué)技術(shù)大學(xué)以及廈門(mén)大學(xué)，一連發(fā)布了兩篇關(guān)于多模態(tài)大模型的論文。

這里面不僅有首篇多模態(tài)大模型綜述——

還有一個(gè)全面的評(píng)測(cè)榜單！

相關(guān)項(xiàng)目在GitHub上爆火，截至7月3號(hào)已經(jīng)攬獲2200+星。

那么，當(dāng)前業(yè)界最好用的多模態(tài)大模型究竟有哪些？它的定義、關(guān)鍵技術(shù)、優(yōu)勢(shì)和存在的挑戰(zhàn)又是什么？

我們一起來(lái)看看。

多模態(tài)大模型TOP12排行

研究人員一共設(shè)置了16個(gè)榜單，包括了兩個(gè)總榜單和14個(gè)子任務(wù)。

總榜單可以看做是模型“整體能力”的評(píng)分，分為感知類(lèi)和認(rèn)知類(lèi)，14個(gè)子任務(wù)則是其中的一些細(xì)分小任務(wù)，可以評(píng)測(cè)多模態(tài)大模型是不是更擅長(zhǎng)做某件事。

研究人員一共挑選了12個(gè)開(kāi)源多模態(tài)大模型，給評(píng)測(cè)標(biāo)準(zhǔn)做個(gè)“示范”。

感知類(lèi)總榜單，是將各項(xiàng)感知任務(wù)綜合起來(lái)的總評(píng)分，顯示是BLIP-2最高：

認(rèn)知類(lèi)總榜單，則是各種涉及認(rèn)知類(lèi)任務(wù)的榜單，加起來(lái)是MiniGPT-4最高：

評(píng)測(cè)結(jié)果發(fā)現(xiàn)，BLIP-2和InstructBLIP在這兩個(gè)榜單中都保持在前三，屬實(shí)是當(dāng)前開(kāi)源多模態(tài)大模型的“頂流玩家”了。

具體到14個(gè)子任務(wù)上，模型的排名又有所不同。

評(píng)測(cè)結(jié)果具體如下，誰(shuí)更“偏科”、誰(shuí)更能在各種任務(wù)上做到綜合性最優(yōu)，可以說(shuō)是一目了然：

所以，這個(gè)榜單的評(píng)分結(jié)果究竟是如何得出的呢？

評(píng)分標(biāo)準(zhǔn)如何得出

論文認(rèn)為，一個(gè)好的多模態(tài)大模型評(píng)分標(biāo)準(zhǔn)，應(yīng)該具備以下四大特性：

（1）應(yīng)該覆蓋盡可能多的范圍，包括感知和認(rèn)知能力（感知是認(rèn)知的基礎(chǔ)）。

其中，前者指的是識(shí)別物體，包括其存在性、數(shù)量、位置和顏色等；后者指的是基于綜合感知信息以及LLM中的知識(shí)來(lái)進(jìn)行更復(fù)雜的推理，包括包括常識(shí)推理、數(shù)值計(jì)算、文本翻譯和代碼推理等任務(wù)。

（2）它的數(shù)據(jù)或者標(biāo)注應(yīng)該盡可能避免采用已有的公開(kāi)數(shù)據(jù)集，以減少數(shù)據(jù)泄露的風(fēng)險(xiǎn)。

因此，評(píng)測(cè)中所有的指令-答案對(duì)都應(yīng)該是人工構(gòu)建的，對(duì)于少量使用到的公開(kāi)數(shù)據(jù)集，僅使用其圖像而沒(méi)有依賴(lài)其原始標(biāo)注。同時(shí)，盡力通過(guò)人工拍攝和圖像生成的方式來(lái)采集數(shù)據(jù)。

（3）指令設(shè)計(jì)應(yīng)該盡可能簡(jiǎn)潔，并且符合人類(lèi)的認(rèn)知習(xí)慣。

不同的指令設(shè)計(jì)可能會(huì)極大影響模型的輸出，但所有的模型都在統(tǒng)一的簡(jiǎn)潔指令下進(jìn)行評(píng)測(cè)可以保證公平性。一個(gè)好的多模態(tài)大模型應(yīng)該具備泛化到這種簡(jiǎn)潔指令上的能力，避免陷入提示工程。

（4）多模態(tài)大模型在該簡(jiǎn)潔指令下的輸出應(yīng)該是直觀的、并且便于定量統(tǒng)計(jì)。

多模態(tài)大模型開(kāi)放式的回答給量化統(tǒng)計(jì)提出了很大挑戰(zhàn)?，F(xiàn)有方法傾向于使用GPT或者人工打分，但可能面臨著不準(zhǔn)確和主觀性的問(wèn)題。

因此，在經(jīng)過(guò)制作后，最后的評(píng)測(cè)問(wèn)題大約長(zhǎng)這樣：

隨后， 根據(jù)模型回答的準(zhǔn)確性來(lái)進(jìn)行判分。

值得一提的是，作者們也嘗試過(guò)設(shè)計(jì)選擇題的指令，但發(fā)現(xiàn)當(dāng)前的多模態(tài)大模型還難以跟隨這類(lèi)較為復(fù)雜的指令。（doge）

首篇多模態(tài)大模型綜述

當(dāng)然，這個(gè)榜單的評(píng)測(cè)標(biāo)準(zhǔn)并非“空穴來(lái)風(fēng)”。

要想知道為什么榜單這樣評(píng)分，可以去看看另一篇關(guān)于多模態(tài)大模型的論文綜述，后者仔細(xì)整理了它的定義、關(guān)鍵技術(shù)和挑戰(zhàn)。

具體來(lái)說(shuō)，論文將多模態(tài)大模型（MLLM）定義為“由LLM擴(kuò)展而來(lái)的具有接收與推理多模態(tài)信息能力的模型”。

這類(lèi)模型相較于熱門(mén)的單模態(tài)LLM，具有以下優(yōu)勢(shì)：

• 更符合人類(lèi)認(rèn)知世界的習(xí)慣。人類(lèi)具有多種感官來(lái)接受多種模態(tài)信息，這些信息通常是互為補(bǔ)充、協(xié)同作用的。因此，使用多模態(tài)信息一般可以更好地認(rèn)知與完成任務(wù)。
• 更加強(qiáng)大與用戶(hù)友好的接口。通過(guò)支持多模態(tài)輸入，用戶(hù)可以通過(guò)更加靈活的方式輸入與傳達(dá)信息。
• 更廣泛的任務(wù)支持。LLM通常只能完成純文本相關(guān)的任務(wù)，而MLLM通過(guò)多模態(tài)可以額外完成更多任務(wù)，如圖片描述和視覺(jué)知識(shí)問(wèn)答等。

因此，要想研究這類(lèi)多模態(tài)大模型，往往需要掌握三個(gè)關(guān)鍵技術(shù)：

1、多模態(tài)指令微調(diào)（Multimodal Instruction Tuning, M-IT）
2、多模態(tài)上下文學(xué)習(xí)（Multimodal In-Context Learning, M-ICL）
3、多模態(tài)思維鏈（Multimodal Chain of Thought, M-CoT）

除此之外，還需要針對(duì)它的一個(gè)應(yīng)用進(jìn)行研究（以 LLM 為核心的多模態(tài)系統(tǒng)），即LLM輔助的視覺(jué)推理（LLM-Aided Visual Reasoning, LAVR）。

不過(guò)，目前多模態(tài)大模型還處于起步階段，因此也存在一些挑戰(zhàn)，如感知能力受限、推理鏈較為脆弱、指令服從能力需要進(jìn)一步提升以及物體幻視問(wèn)題普遍存在等。

更多綜述細(xì)節(jié)和榜單詳情，可以戳論文查看~

多模態(tài)大模型榜單：
https://github.com/BradyFU/Awesome-Multimodal-Large-Language-Models/tree/Evaluation

論文地址：
[1]綜述：https://arxiv.org/abs/2306.13549
[2]評(píng)測(cè)：https://arxiv.org/abs/2306.13394