阿里多模態(tài)檢索智能體，自帶o1式思考過程！復(fù)雜問題逐步拆解

西風(fēng) 2024-12-04 14:21:18 來源：量子位

OmniSearch團(tuán)隊(duì) 投稿

量子位 | 公眾號(hào) QbitAI

多模態(tài)檢索增強(qiáng)生成（mRAG）也有o1思考推理那味兒了！

阿里通義實(shí)驗(yàn)室新研究推出自適應(yīng)規(guī)劃的多模態(tài)檢索智能體。

名叫OmniSearch，它能模擬人類解決問題的思維方式，將復(fù)雜問題逐步拆解進(jìn)行智能檢索規(guī)劃。

直接看效果：

隨便上傳一張圖，詢問任何問題，OmniSearch都會(huì)進(jìn)行一段“思考過程”，不僅會(huì)將復(fù)雜問題拆解檢索，而且會(huì)根據(jù)當(dāng)前檢索結(jié)果和問題情境動(dòng)態(tài)調(diào)整下一步檢索策略。

相比傳統(tǒng)mRAG受制于其靜態(tài)的檢索策略，這種設(shè)計(jì)不僅提高了檢索效率，也顯著增強(qiáng)了模型生成內(nèi)容的準(zhǔn)確性。

為評(píng)估OmniSearch，研究團(tuán)隊(duì)構(gòu)建了全新Dyn-VQA數(shù)據(jù)集。

在一系列基準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)中，OmniSearch展現(xiàn)了顯著的性能優(yōu)勢(shì)。特別是在處理需要多步推理、多模態(tài)知識(shí)和快速變化答案的問題時(shí)，OmniSearch相較于現(xiàn)有的mRAG方法表現(xiàn)更為優(yōu)異。

目前OmniSearch在魔搭社區(qū)還有demo可玩。

動(dòng)態(tài)檢索規(guī)劃框架，打破傳統(tǒng)mRAG局限

傳統(tǒng)mRAG方法遵循固定的檢索流程，典型的步驟如下：

• 輸入轉(zhuǎn)化：接收多模態(tài)輸入（例如圖像+文本問題），將圖像轉(zhuǎn)化為描述性文本（例如通過image caption模型）。
• 單一模態(tài)檢索：將問題或描述性文本作為檢索查詢，向知識(shí)庫發(fā)送單一模態(tài)檢索請(qǐng)求（通常是文本檢索）。
• 固定生成流程：將檢索到的信息與原始問題結(jié)合，交由MLLM生成答案。

OmniSearch旨在解決傳統(tǒng)mRAG方法的以下痛點(diǎn)：

• 靜態(tài)檢索策略的局限：傳統(tǒng)方法采用固定的兩步檢索流程，無法根據(jù)問題和檢索內(nèi)容動(dòng)態(tài)調(diào)整檢索路徑，導(dǎo)致信息獲取效率低下。
• 檢索查詢過載：單一檢索查詢往往包含了多個(gè)查詢意圖，反而會(huì)引入大量無關(guān)信息，干擾模型的推理過程。

為克服上述局限，OmniSearch引入了一種動(dòng)態(tài)檢索規(guī)劃框架。

OmniSearch的核心架構(gòu)包括：

• 規(guī)劃智能體（Planning Agent）：負(fù)責(zé)對(duì)原始問題進(jìn)行逐步拆解，根據(jù)每個(gè)檢索步驟的反饋決定下一步的子問題及檢索策略。
• 檢索器（Retriever）：執(zhí)行實(shí)際的檢索任務(wù)，支持圖像檢索、文本檢索以及跨模態(tài)檢索。
• 子問題求解器（Sub-question Solver）：對(duì)檢索到的信息進(jìn)行總結(jié)和解答，具備高度的可擴(kuò)展性，可以與不同大小的多模態(tài)大語言模型集成。
• 迭代推理與檢索（Iterative Reasoning and Retrieval）：通過遞歸式的檢索與推理流程，逐步接近問題的最終答案。
• 多模態(tài)特征的交互：有效處理文本、圖像等多模態(tài)信息，靈活調(diào)整檢索策略。
• 反饋循環(huán)機(jī)制（Feedback Loop）：在每一步檢索和推理后，反思當(dāng)前的檢索結(jié)果并決定下一步行動(dòng)，以提高檢索的精確度和有效性。

構(gòu)建新數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)評(píng)估

為了更好地評(píng)估OmniSearch和其它mRAG方法的性能，研究團(tuán)隊(duì)構(gòu)建了全新的Dyn-VQA數(shù)據(jù)集。Dyn-VQA包含1452個(gè)動(dòng)態(tài)問題，涵蓋了以下三種類型：

• 答案快速變化的問題：這類問題的背景知識(shí)不斷更新，需要模型具備動(dòng)態(tài)的再檢索能力。例如，詢問某位明星的最新電影票房，答案會(huì)隨著時(shí)間的推移而發(fā)生變化。
• 多模態(tài)知識(shí)需求的問題：問題需要同時(shí)從多模態(tài)信息（如圖像、文本等）中獲取知識(shí)。例如，識(shí)別一張圖片中的球員，并回答他的球隊(duì)圖標(biāo)是什么。
• 多跳問題：問題需要多個(gè)推理步驟，要求模型在檢索后進(jìn)行多步推理。

這些類型的問題相比傳統(tǒng)的VQA數(shù)據(jù)集需要更復(fù)雜的檢索流程，更考驗(yàn)多模態(tài)檢索方法對(duì)復(fù)雜檢索的規(guī)劃能力。

在Dyn-VQA數(shù)據(jù)集上的表現(xiàn)

• 答案更新頻率：對(duì)于答案快速變化的問題，OmniSearch的表現(xiàn)顯著優(yōu)于GPT-4V結(jié)合啟發(fā)式mRAG方法，準(zhǔn)確率提升了近88%。
• 多模態(tài)知識(shí)需求：OmniSearch能夠有效地結(jié)合圖像和文本進(jìn)行檢索，其在需要額外視覺知識(shí)的復(fù)雜問題上的表現(xiàn)遠(yuǎn)超現(xiàn)有模型，準(zhǔn)確率提高了35%以上。
• 多跳推理問題：OmniSearch通過多次檢索和動(dòng)態(tài)規(guī)劃，能夠精確解決需要多步推理的問題，實(shí)驗(yàn)結(jié)果表明其在這類問題上的表現(xiàn)優(yōu)于當(dāng)前最先進(jìn)的多模態(tài)模型，準(zhǔn)確率提升了約35%。

在其它數(shù)據(jù)集上的表現(xiàn)

接近人類級(jí)別表現(xiàn)：

OmniSearch在大多數(shù)VQA任務(wù)上達(dá)到了接近人類水平的表現(xiàn)。例如，在VQAv2和A-OKVQA數(shù)據(jù)集中，OmniSearch的準(zhǔn)確率分別達(dá)到了70.34和84.12，顯著超越了傳統(tǒng)mRAG方法。

復(fù)雜問題處理能力：

在更具挑戰(zhàn)性的Dyn-VQA數(shù)據(jù)集上，OmniSearch通過多步檢索策略顯著提升了模型的表現(xiàn)，達(dá)到了50.03的F1-Recall評(píng)分，相比基于GPT-4V的傳統(tǒng)兩步檢索方法提升了近14分。

模塊化能力與可擴(kuò)展性

OmniSearch可以靈活集成不同規(guī)模和類型的多模態(tài)大語言模型（MLLM）作為子問題求解器。

無論是開源模型（如Qwen-VL-Chat）還是閉源模型（如GPT-4V），OmniSearch都能通過動(dòng)態(tài)規(guī)劃與這些模型協(xié)作完成復(fù)雜問題的解決。

它的模塊化設(shè)計(jì)允許根據(jù)任務(wù)需求選擇最合適的模型，甚至在不同階段調(diào)用不同大小的MLLM，以在性能和計(jì)算成本之間實(shí)現(xiàn)靈活平衡。

下面是OmniSearch和不同模型配合的實(shí)驗(yàn)結(jié)果：

Paper：https://arxiv.org/abs/2411.02937
Github：https://github.com/Alibaba-NLP/OmniSearch
ModelScope Demo: https://modelscope.cn/studios/iic/OmniSearch/summary?header=default&fullWidth=false