阿里國際發(fā)布最新開源多模態(tài)模型Ovis，多模態(tài)能力再升級

量子位的朋友們 2024-09-19 10:49:42 來源：量子位

看一眼菜品圖就知道怎么做、能給植物看病、能把手寫英文準(zhǔn)確翻譯成中文、還能精準(zhǔn)分析財報數(shù)據(jù)……多模態(tài)能力再次升級！今天，阿里國際AI團(tuán)隊(duì)發(fā)布了一款多模態(tài)大模型Ovis，在圖像理解任務(wù)上不斷突破極限，多種具體的子類任務(wù)中均達(dá)到了SOTA（最新技術(shù)）水平。

多模態(tài)大模型能夠處理和理解多種不同類型的數(shù)據(jù)輸入，例如文本、圖像。與大型語言模型（LLMs）相比，大語言模型在處理和生成文本數(shù)據(jù)方面有專長，而多模態(tài)大模型能夠處理非文本數(shù)據(jù)，如圖像等等。

根據(jù)多模態(tài)權(quán)威綜合評測平臺OpenCompass的數(shù)據(jù)，Ovis1.6-Gemma2-9B在30B參數(shù)以下的模型中取得了綜合排名第一，趕超MiniCPM-V-2.6等行業(yè)優(yōu)秀大模型。

圖：Ovis在OpenCompass上的測評數(shù)據(jù)情況

據(jù)介紹，Ovis能夠在數(shù)學(xué)推理問答、物體識別、文本提取和復(fù)雜任務(wù)決策等方面展現(xiàn)出色表現(xiàn)。例如，Ovis可以準(zhǔn)確回答數(shù)學(xué)問題，識別花的品種，支持多種語言的文本提取，甚至可以識別手寫字體和復(fù)雜的數(shù)學(xué)公式。

案例1:Ovis對手寫文案的識別及翻譯能力

案例2：Ovis對復(fù)雜數(shù)學(xué)公式的處理能力

案例3:Ovis通過對圖片的識別處理能夠給出菜譜

具體來說，Ovis模型有五大優(yōu)點(diǎn)：

1、創(chuàng)新架構(gòu)設(shè)計：可學(xué)習(xí)的視覺嵌入詞表：首次引入，將連續(xù)的視覺特征轉(zhuǎn)換為概率化的視覺token，再經(jīng)由視覺嵌入詞表加權(quán)生成結(jié)構(gòu)化的視覺嵌入，克服了大部分MLLM中MLP連接器架構(gòu)的局限性，大幅提升多模態(tài)任務(wù)表現(xiàn)。

2、高分圖像處理：動態(tài)子圖方案：支持處理極端長寬比的圖像，兼容高分辨率圖像，展現(xiàn)出色的圖像理解能力。

3、全面數(shù)據(jù)優(yōu)化：多方向數(shù)據(jù)集覆蓋：全面覆蓋Caption、VQA、OCR、Table、Chart等各個多模態(tài)數(shù)據(jù)方向，顯著提升多模態(tài)問答、指令跟隨等任務(wù)表現(xiàn)。

4、卓越模型性能：Ovis展現(xiàn)出了優(yōu)異的榜單表現(xiàn)。在多模態(tài)權(quán)威綜合評測Opencompass上，Ovis1.6-Gemma2-9B在30B參數(shù)以下的模型中取得了綜合排名第一，超過了Qwen2-VL-7B、MiniCPM-V-2.6等模型。尤其在數(shù)學(xué)問答等方向表現(xiàn)媲美70B參數(shù)模型；在幻覺等任務(wù)中，Ovis-1.6的幻覺現(xiàn)象和錯誤率顯著低于同級別的模型，展現(xiàn)了更高的生成文本質(zhì)量和準(zhǔn)確性。

5、全部開源可商用：Ovis系列模型License采用 Apache 2.0。Ovis 1.0、1.5的數(shù)據(jù)、模型、訓(xùn)練和推理代碼都已全部開源，可復(fù)現(xiàn)。Ovis1.6系列中的Ovis1.6-Gemma2-9B也已開源權(quán)重。

在AI領(lǐng)域，多模態(tài)大模型的應(yīng)用場景非常廣泛，包括但不限于自動駕駛、醫(yī)療診斷、視頻內(nèi)容理解、圖像描述生成、視覺問答等。例如，在自動駕駛領(lǐng)域，多模態(tài)大模型可以整合來自攝像頭、雷達(dá)和激光雷達(dá)的數(shù)據(jù)，以實(shí)現(xiàn)更精準(zhǔn)的環(huán)境感知和決策。由于多模態(tài)大模型能夠?qū)W習(xí)如何聯(lián)合理解和生成跨多種模式的信息，也被視為朝向通用人工智能的下一個步驟。

根據(jù)此前媒體報道，阿里國際在去年成立了一支AI團(tuán)隊(duì)，目前已經(jīng)在40多個電商場景里測試了AI能力，覆蓋跨境電商全鏈路，包括商品圖文、營銷、搜索、廣告投放、SEO、客服、退款、店鋪裝修等，其中多個應(yīng)用場景均基于Ovis模型進(jìn)行開發(fā)，已幫助50萬中小商家、對1億款商品進(jìn)行了信息優(yōu)化。據(jù)介紹，商家的AI需求不斷增長，近半年的數(shù)據(jù)顯示，平均每兩個月，商家對于AI的調(diào)用量就翻1倍。

附相關(guān)鏈接：

論文arXiv: https://arxiv.org/abs/2405.20797

Github: https://github.com/AIDC-AI/Ovis

Huggingface: https://huggingface.co/AIDC-AI/Ovis1.6-Gemma2-9B

Demo: https://huggingface.co/spaces/AIDC-AI/Ovis1.6-Gemma2-9B