首個視覺RL統(tǒng)一框架！推理感知兩手抓，性能橫掃MEGA-Bench

鷺羽 2025-05-28 22:30:45 來源：量子位

鷺羽 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

僅需一個強化學習（RL）框架，就能實現視覺任務大統(tǒng)一？

現有RL對推理和感知任務只能二選一，但“大模型六小強”之一MiniMax表示：我全都要！

最新開源V-Triune（視覺三重統(tǒng)一強化學習系統(tǒng)）框架，使VLM首次能夠在單個后訓練流程中，聯合學習和掌握視覺推理和感知任務。

通過三層組件設計和基于動態(tài)交并比（IoU）的獎勵機制，彌補了傳統(tǒng)RL方法無法兼顧多重任務的空白。

甚至基于V-Triune，MiniMax還一步到位，貼心地給大家開發(fā)了全新的Orsta（One RL to See Them All）模型系列（7B至32B），在MEGA-Bench Core基準測試中從+2.1%顯著提升至+14.1%。

值得注意的是，在論文的作者一欄，MiniMax創(chuàng)始人兼CEO閆俊杰也參與了這項研究。

目前V-Triune框架和Orsta模型都在GitHub上實現全面開源，點擊文末鏈接即可跳轉一鍵獲取。

那話不多說，咱們直接上細節(jié)。

推理感知“兩手抓”

視覺任務可以分為推理和感知兩類，在當前，RL研究主要集中于數學QA和科學QA等視覺推理任務。

而目標檢測和定位等視覺感知任務，因亟需獨特的獎勵設計和訓練穩(wěn)定性保障，還沒有得到一個很好的解決方案……

針對上述問題，MiniMax針對性地提出了新框架V-Triune，作為首個面向VLM后訓練的統(tǒng)一RL系統(tǒng)，通過三個互補組件核心巧妙實現二者的平衡。

樣本級數據格式化

讓每個樣本自定義其獎勵設置和驗證器，支持動態(tài)路由和權重調整，以處理多種任務需求。

數據模式基于HuggingFace數據集實現，包含以下三個字段：

1. reward_model：樣本級定義獎勵類型、權重。
2. verifier：指定驗證器及其參數。
3. data_source：標識樣本來源。

最終實現了多樣化數據集的無縫集成，同時支持高度靈活的獎勵控制。

驗證器級獎勵計算

采用異步客戶端-服務器架構，將獎勵計算與主訓練循環(huán)解耦。

客戶端通過代理工作器異步發(fā)送請求，而服務器則根據”verifier”字段路由至專用驗證器。

主要使用兩類驗證器：

1. MathVerifyVerifierr：處理推理、OCR和計數任務。
2. DetectionVerifier：處理檢測和定位任務，應用動態(tài)IoU獎勵。

從而實現在無需修改核心訓練流程的情況下，靈活擴展新任務或更新獎勵邏輯。

數據源級指標監(jiān)控

在多任務多源訓練中，按數據源記錄以下指標：

1. 獎勵值：追蹤數據集特定穩(wěn)定性。
2. IoU和mAP（感知任務）：記錄不同閾值下的IoU和mAP。
3. 響應長度和反思率：跟蹤響應長度分布、截斷率，以及15個預定義反思詞（如“re-check”）的出現比例。

該監(jiān)控機制幫助診斷模型行為（如過度思考或膚淺響應），并確保學習的穩(wěn)定性。

動態(tài)IoU獎勵

此外針對監(jiān)測和定位任務，團隊還創(chuàng)新性地提出了動態(tài)IoU獎勵，分階段調整閾值，以緩解冷啟動問題，同時引導模型逐步提升定位精度：

雖然V-Triune提供了可擴展的數據、任務和指標框架，但早期實驗顯示，聯合訓練可能會導致評估性能下降、梯度范數突增等不穩(wěn)定現象，于是團隊又通過以下調整逐步解決：

1. 凍結ViT參數，防止梯度爆炸。
2. 過濾偽圖像特殊詞元，確保輸入特征對齊，提升訓練穩(wěn)定性。
3. 構建隨機化CoT提示池，降低提示依賴性。
4. 由于V-Triune基于Verl框架實現，主節(jié)點內存壓力較大，需解耦測試階段與主訓練循環(huán)以管理內存。

Orsta模型

另外值得一提的是，基于開源的Qwen2.5-VL模型，團隊還訓練出7B和32B的Orsta模型。

依據4類推理任務（數學、謎題、科學、圖表分析）和4類感知任務（物體檢測、目標定位、計數、OCR）的訓練數據，進行規(guī)則和難度的兩階段過濾和訓練優(yōu)化。

最終實現在MEGA-Bench Core基準測試中，Orsta相比原始模型提升至+14.1%，尤其是在感知任務中，mAP指標顯著提高，證明了該統(tǒng)一方法的有效性和可擴展性。

MiniMax布局多模態(tài)領域

MiniMax作為商湯背景出身的AI六小龍之一，近期在多模態(tài)領域可謂動作頻頻，模型橫跨語言、音頻、視頻。

例如MiniMax的S2V-01視頻模型、MiniMax-VL-01視覺多模態(tài)模型以及MiniMax-T2A-01系列語言模型等。

尤其是廣受好評的MiniMax-01系列，包含基礎語言模型和視覺多模態(tài)模型兩種，性能上比肩DeepSeek-V3、GPT-4o等國內外頂尖模型的同時，還首次創(chuàng)新性實現了對新型Lightning Attention架構的大規(guī)模擴展。

最新發(fā)布的Speech-02，在AI語言生成上也是一騎絕塵，直接刷新全球權威語音基準測試榜單第一，一舉打破OpenAI、ElevenLabs的行業(yè)壟斷。

據悉，此番統(tǒng)一視覺任務的RL架構

是為后續(xù)更大規(guī)模模型的通用視覺能力做探索。

MiniMax的更多開源，感興趣的小伙伴可以持續(xù)蹲一蹲~

論文鏈接：https://arxiv.org/abs/2505.18129
代碼鏈接：https://github.com/MiniMax-AI/One-RL-to-See-Them-All

參考鏈接：
[1]https://x.com/MiniMax__AI/status/1926949919228600423
[2]https://huggingface.co/papers/2505.18129