Michael 投稿自 凹非寺
量子位 | 公眾號 QbitAI
谷歌人機驗證已經(jīng)攔不住AI了！
最新多模態(tài)大模型，能輕松找到圖中所有交通信號燈，還準確圈出了具體位置。
表現(xiàn)直接超越GPT-4V。
這就是由蘋果和哥倫比亞大學研究團隊帶來的多模態(tài)大模型“雪貂”（Ferret）。
它具備更強的圖文關聯(lián)能力，提升了大模型在“看說答”任務中的精確度。
比如下圖中非常細小的部件（region 1），它也可以分辨出來是避震。
GPT-4V沒能回答正確，在細小部分上的表現(xiàn)不佳。
所以，F(xiàn)erret是如何做到的呢？
“點一點”圖像大模型都懂
Ferret解決的核心問題是讓引用（referring）和定位（grounding）兩方面空間理解能力更加緊密。
引用是指讓模型準確理解給定區(qū)域的語義，也就是指一個位置它能知道是什么。
定位則是給出語義，讓模型在圖中找到對應目標。
對于人類來說，這兩種能力是自然結合的，但是現(xiàn)有很多多模態(tài)大模型卻只會單獨使用引用和定位。
所以Ferret提出了一種新型的混合區(qū)域表示方法，能將離散坐標和連續(xù)特征聯(lián)合起來表示圖像中的區(qū)域。
這樣一來，模型就能分辨出邊界框幾乎一樣的對象。
比如下圖中兩個物體的情況，如果只用離散邊界框，模型會感到很“困惑”。和連續(xù)的自由形狀混合表示相結合，能很好解決這一問題。
為了提取多樣化區(qū)域的連續(xù)特征，論文提出了一種空間感知的視覺采樣器，能夠處理不同形狀之間的稀疏性差異。
因此，F(xiàn)erret可以接受各種區(qū)域輸入，如點、邊界框和自由形狀，并理解其語義。
在輸出中，它可以根據(jù)文本自動生成每個定位對象的坐標。
為了實現(xiàn)這一目標，F(xiàn)erret模型的架構包括圖像編碼器、空間感知的視覺采樣器和語言模型（LLM）等組成部分。
Ferret結合了離散坐標和連續(xù)特征，形成了一種混合區(qū)域表示。
這種表示方法旨在解決表示各種形狀和格式的區(qū)域的挑戰(zhàn)，包括點、邊界框和自由形狀。
離散坐標中每個坐標都被量化為一個目標框的離散坐標，這種量化確保了模型對不同圖像大小的魯棒性。
而連續(xù)特征則由空間感知視覺采樣器提取，它利用二進制掩碼和特征圖在ROI內(nèi)隨機采樣點，并通過雙線性插值獲得特征。
這些特征經(jīng)過一個由3D點云模型啟發(fā)的空間感知模塊處理后，被濃縮成一個單一的向量, 并映射到大型語言模型（LLM）進行下一步處理。
為了增強Ferret的能力，論文還創(chuàng)建了一個名為GRIT的數(shù)據(jù)集。
這個數(shù)據(jù)集包含1.1M個樣本，涵蓋了個體對象、對象之間的關系、特定區(qū)域的描述以及基于區(qū)域的復雜推理等四個主要類別。
GRIT數(shù)據(jù)集包括了從公共數(shù)據(jù)集轉換而來的數(shù)據(jù)、通過ChatGPT和GPT-4生成的指令調(diào)整數(shù)據(jù)，并額外提供了95K個困難的負樣本以提高模型的魯棒性。
實驗結果表明，該模型不僅在經(jīng)典的引用和定位任務中表現(xiàn)出優(yōu)越性能，而且在基于區(qū)域和需要定位的多模態(tài)對話中遠遠超過現(xiàn)有其他MLLM模型。
此外，研究還提出了Ferret-Bench，可以評估圖像局部區(qū)域的引用/定位、語義、知識和推理能力。
Ferret模型在LLaVA-Bench和Ferret-Bench上進行評估，在所有任務中都表現(xiàn)出色，特別是在需要指代和視覺grounding的三個新任務上，F(xiàn)erret的表現(xiàn)很出色。
而且在描述圖像細節(jié)上有明顯提升，幻覺有明顯下降。
全華人團隊
Ferret大模型由蘋果AI/ML和哥倫比亞大學研究團隊共同帶來，全華人陣容。
有昊軒和張昊天為共同一作。
有昊軒現(xiàn)在為哥倫畢業(yè)大學計算機科學博士，畢業(yè)后將加入蘋果AI/ML團隊。2018年從西安電子科技大學本科畢業(yè)。
主要研究方向為視覺語言理解、文本-圖像生成和視覺語言。
張昊天現(xiàn)在為蘋果AI/ML團隊視覺智能研究員。
在加入蘋果之前，張昊天在華盛頓大學獲得博士學位，本科畢業(yè)于上海交通大學。
他是GLIP/GLIPv2的主要作者之一，GLIP曾獲得CVPR2022的Best Paper Award的提名。
此外團隊成員還包括甘哲、王子瑞、曹亮亮、楊寅飛等前谷歌和微軟的多位優(yōu)秀的多模態(tài)大模型研究員。
論文地址：https://arxiv.org/abs/2310.07704
