在多模態(tài)專有基準(zhǔn)MME上，Gemini-Pro的感知和認(rèn)知綜合表現(xiàn)則直接獲得了1933.4的高分，超越GPT-4V（1926.6）。

此前，CMU測(cè)評(píng)發(fā)現(xiàn)Gemini-Pro的綜合能力居然和GPT-3.5差不多。

現(xiàn)在，在多模態(tài)這個(gè)一大主推的賣點(diǎn)上，Gemini-Pro可算是扳回一局。

那么具體如何？

測(cè)評(píng)報(bào)告一共128頁(yè)，咱們就挑重點(diǎn)來(lái)看。

Gemini-Pro的首份多模態(tài)能力報(bào)告來(lái)了

這份測(cè)評(píng)主要是對(duì)Gemini-Pro的視覺(jué)理解能力進(jìn)行評(píng)估。

一共涵蓋基礎(chǔ)感知、高級(jí)認(rèn)知、挑戰(zhàn)性視覺(jué)任務(wù)和各種專家能力四大領(lǐng)域，在37個(gè)細(xì)分任務(wù)項(xiàng)上進(jìn)行定性比較。

定量評(píng)估則在專為多模態(tài)大語(yǔ)言模型專門設(shè)計(jì)的評(píng)測(cè)基準(zhǔn)MME上展開(kāi)。

首先來(lái)看定量測(cè)試結(jié)果。

MME上綜合表現(xiàn)比GPT-4V強(qiáng)

MME基準(zhǔn)包含兩大類任務(wù)。

一個(gè)是感知，涵蓋目標(biāo)存在性判斷、物體計(jì)數(shù)、位置關(guān)系、顏色判斷、OCR識(shí)別、海報(bào)識(shí)別、名人識(shí)別、場(chǎng)景識(shí)別、地標(biāo)識(shí)別和藝術(shù)品識(shí)別等。

一個(gè)是認(rèn)知，涵蓋常識(shí)推理、數(shù)值計(jì)算、文本翻譯和代碼推理等。

結(jié)果如下：

可以看到Gemini-Pro和GPT-4V可謂“各有所長(zhǎng)”。

而計(jì)分顯示，Gemini-Pro的總分為1933.4，比GPT-4V（1926.6）要高那么一點(diǎn)點(diǎn)。

具體來(lái)看：

1、Gemini-Pro在文本翻譯、顏色/地標(biāo)/人物識(shí)別、OCR等任務(wù)中表現(xiàn)突出；

2、GPT-4V在名人識(shí)別任務(wù)上的得分為0，主要是因?yàn)榫芙^回答名人相關(guān)的問(wèn)題；

3、無(wú)論是Gemini還是GPT-4V在位置識(shí)別任務(wù)上表現(xiàn)都不佳，表明他們對(duì)空間位置信息不敏感；

4、開(kāi)源模型SPHINX在感知任務(wù)上與GPT-4V以及Gemini平齊甚至更優(yōu)，但認(rèn)知和兩者有較大差距。

下面就是四大項(xiàng)任務(wù)上的定性結(jié)果了。

基礎(chǔ)感知

感知能力直接影響模型在高階任務(wù)中的能力，因?yàn)樗鼪Q定了模型獲取和處理原始視覺(jué)輸入的準(zhǔn)確性和有效性。

報(bào)告中分別測(cè)試了模型的對(duì)象級(jí)感知能力、場(chǎng)景級(jí)感知能力和基于知識(shí)的感知能力。

具體一共10個(gè)細(xì)分任務(wù)：

鑒于篇幅有限，我們?cè)诖酥徽故酒渲?個(gè)：

1、空間關(guān)系

都不分左右。但GPT-4V可以通過(guò)上下文少樣本學(xué)習(xí)這項(xiàng)任務(wù)，然后做出正確回答。

2、物體計(jì)數(shù)

簡(jiǎn)單樣例整體還OK，但復(fù)雜一點(diǎn)的全軍覆沒(méi)。不過(guò)在數(shù)NBA籃球運(yùn)動(dòng)員時(shí)，Gemini-Pro的答案已經(jīng)相當(dāng)接近了（正確為42個(gè)）。

3、視覺(jué)錯(cuò)覺(jué)

左側(cè)樣例中，兩個(gè)梨實(shí)際上具有相同的亮度。Gemini Pro正確識(shí)別，而GPT-4V和SPHNIX被欺騙。

4、場(chǎng)景理解

模型都能夠描繪場(chǎng)景中的關(guān)鍵視覺(jué)元素。相比之下，GPT-4V顯示出優(yōu)越的性能，描述更加詳細(xì)，并且幻覺(jué)的實(shí)例也更少。

5、視頻場(chǎng)景理解

從視頻中抽取三個(gè)時(shí)刻的關(guān)鍵幀，Gemini Pro能夠?qū)⒉煌瑤男畔⒄铣梢粋€(gè)連貫的場(chǎng)景描述。

而GPT-4V只是逐幀描述圖像的內(nèi)容。相比之下，SPHNIX的描述并沒(méi)有表現(xiàn)出對(duì)圖像序列的全面理解。

高級(jí)認(rèn)知

這類任務(wù)需要模型進(jìn)行深入的推理、解決問(wèn)題和決策。

在此，報(bào)告中分別測(cè)試了模型的富含文本的視覺(jué)推理能力、抽象視覺(jué)推理能力、解決科學(xué)問(wèn)題能力、情感分析能力、智力游戲能力。具體包括13項(xiàng)細(xì)分任務(wù)，同樣限于篇幅我們只展示其中幾項(xiàng)。

1、代碼生成

將結(jié)構(gòu)化視覺(jué)內(nèi)容轉(zhuǎn)換為相應(yīng)的代碼是多模態(tài)大模型的一項(xiàng)重要技能，在此分別測(cè)試了模型識(shí)別公式生成LaTex代碼和識(shí)別網(wǎng)頁(yè)生成HTML代碼的能力。

Gemini Pro和GPT-4V在公式識(shí)別上表現(xiàn)出更好的結(jié)果，但仍然會(huì)錯(cuò)誤識(shí)別一些小字符或符號(hào)。

三個(gè)模型的識(shí)別網(wǎng)頁(yè)生成相應(yīng)HTML代碼的能力仍然存在很大的改進(jìn)空間。

2、抽象視覺(jué)刺激

對(duì)抽象視覺(jué)刺激和符號(hào)的理解和推理是人類智能的一項(xiàng)基本能力。GPT-4V展示了最好的抽象性能，提供了對(duì)象如何由形狀組成的詳細(xì)描述。Gemini Pro能識(shí)別一些簡(jiǎn)單的抽象模式。

3、圖像情感分析

模型都可以很好地描繪視圖，并提供其中可能的情感。GPT-4V觀察是中立的，強(qiáng)調(diào)情緒是主觀的，同時(shí)給出了更全面的分析。Gemini Pro傾向于直接輸出情感偏好。

4、情感調(diào)節(jié)輸出

情感調(diào)節(jié)輸出是讓多模態(tài)大模型描述以預(yù)定義情感為條件的視覺(jué)上下文。

雖然Gemini Pro和GPT-4V能夠正確地將相應(yīng)的情感注入到生成的文本中，但它們都遇到了幻覺(jué)問(wèn)題。

5、數(shù)獨(dú)游戲

如果僅以圖像作為輸入，盡管Gemini Pro嘗試在輸出矩陣內(nèi)提供答案，但無(wú)法正確識(shí)別空白位置，而GPT-4V和SPHNIX則無(wú)法進(jìn)行第一步 光學(xué)字符識(shí)別。此外，給定相應(yīng)的文本輸入，Gemini Pro和GPT-4V都可以給出正確的答案。

挑戰(zhàn)性視覺(jué)任務(wù)

評(píng)估多模態(tài)大模型在超出標(biāo)準(zhǔn)視覺(jué)問(wèn)答范圍的各種具有挑戰(zhàn)性的視覺(jué)任務(wù)中的性能。

需要模型具有深厚的視覺(jué)感知和理解能力，評(píng)估這類表現(xiàn)將有助于深入了解模型在多領(lǐng)域應(yīng)用的可行性。

報(bào)告中分別測(cè)試了模型在圖像視覺(jué)任務(wù)和時(shí)序視覺(jué)任務(wù)中的性能。具體包括以下7個(gè)細(xì)分任務(wù)：

在此我們展示3個(gè)。

1、指稱表達(dá)式理解

Gemini Pro和GPT-4V都能夠識(shí)別指稱對(duì)象的大致位置，但它們很難提供精確的坐標(biāo)和框大小。而SPHNIX展示了提供引用對(duì)象的準(zhǔn)確位置和大小的能力。

2、目標(biāo)跟蹤

Gemini Pro和GPT-4V都能夠描繪出要跟蹤的目標(biāo)的細(xì)節(jié)，但它們隨后兩幀圖像中提供了錯(cuò)誤的邊界框。

3、視覺(jué)故事生成

任務(wù)要求模型完全理解圖像中的信息，并在生成的故事中對(duì)其進(jìn)行邏輯組織。

Gemini Pro和SPHNIX提供了連貫的故事，但卻和沒(méi)有十分貼近漫畫劇情。

GPT-4V為每個(gè)插圖提供了精確的描述，卻未能根據(jù)任務(wù)要求將它們編織成一個(gè)有凝聚力的故事。

各種專家能力

專家能力衡量多模態(tài)大模型將其學(xué)到的知識(shí)和技能應(yīng)用于不同專業(yè)領(lǐng)域的泛化能力。除了上述的感知和認(rèn)知任務(wù)外，多模態(tài)大模型在專門和獨(dú)特場(chǎng)景下的魯棒性通常具有更實(shí)際的參考意義。也是7個(gè)細(xì)分任務(wù)：

在此我們同樣展示3個(gè)：

1、缺陷檢測(cè)

缺陷檢測(cè)需要高精度和對(duì)細(xì)節(jié)的關(guān)注。對(duì)于缺陷明顯的圖像，模型都可以提供正確答案，其中GPT-4V輸出更詳細(xì)的原因和描述。

對(duì)于下圖中的螺紋損壞的樣例，Gemini Pro給出了過(guò)于籠統(tǒng)的答案，SPHNIX錯(cuò)誤地描述了外觀，而GPT-4V給出了標(biāo)準(zhǔn)答案。

2、經(jīng)濟(jì)分析

報(bào)告展示了兩個(gè)用于回答問(wèn)題的股價(jià)走勢(shì)圖。Gemini Pro擅長(zhǎng)專家級(jí)金融知識(shí)，能夠給出正確答案。GPT-4V由于安全風(fēng)險(xiǎn)而沒(méi)有給出明確答案。SPHNIX由于缺乏相關(guān)訓(xùn)練數(shù)據(jù)無(wú)法理解此類問(wèn)題。

3、機(jī)器人運(yùn)動(dòng)規(guī)劃

機(jī)器人規(guī)劃要求機(jī)器人能夠確定如何在給定情況下采取行動(dòng)以實(shí)現(xiàn)特定目標(biāo)。

Gemini Pro和GPT-4V都可以提供有條理且詳細(xì)的步驟，并且GPT-4V似乎比Gemini Pro給出了更合理的決定，例如電池的安裝順序，但SPHNIX無(wú)法完成手機(jī)的組裝，說(shuō)明其泛化能力有限。

總結(jié)評(píng)價(jià)：都是“半斤八兩”

鑒于其卓越的多模態(tài)推理能力，Gemini確實(shí)是GPT-4V的有力挑戰(zhàn)者。

在大多數(shù)情況下，與GPT-4V相比，Gemini的回答準(zhǔn)確性具有競(jìng)爭(zhēng)力，并展示了不同的回答風(fēng)格和偏好。

GPT-4V傾向于生成對(duì)感知任務(wù)更詳細(xì)的描述，并為認(rèn)知任務(wù)提供深入的分析和逐步的中間推理，而Gemini更喜歡對(duì)答案提供直接而簡(jiǎn)潔的回應(yīng)，這有助于用戶快速找到相關(guān)信息。

不過(guò)，兩個(gè)模型也存在一定的共性問(wèn)題，比如空間感知能力不強(qiáng)，復(fù)雜OCR和抽象視覺(jué)理解不理想，推理過(guò)程可能存在不自洽結(jié)果，對(duì)提示設(shè)計(jì)的魯棒性不足……在很多情況下仍然陷入困境。

所以，從現(xiàn)階段成果來(lái)看，兩者都點(diǎn)“半斤八兩”的意思。

作者最后的結(jié)論就是：

大模型的多模態(tài)能力總的來(lái)說(shuō)都還有很長(zhǎng)的路要走。

具體往哪走？

三個(gè)方面：視覺(jué)表示編碼（細(xì)粒度外觀、空間關(guān)系感知）、多模態(tài)對(duì)齊（減輕幻覺(jué)、OCR準(zhǔn)確性）以及模型推理能力（定量處理、邏輯一致性）。

關(guān)于Gemini Pro與GPT-4V、SPHNIX的更多評(píng)估比較，請(qǐng)查看原論文。

鏈接：
[1]https://arxiv.org/pdf/2312.12436.pdf
[2]https://github.com/BradyFU/Awesome-Multimodal-Large-Language-Models