Motiff妙多發(fā)布國(guó)內(nèi)首個(gè)UI大模型，效果跑分超越蘋(píng)果、GPT-4o

十三 2024-08-17 15:25:58 來(lái)源：量子位

人工智能的發(fā)展速度可能超乎你的想象。自GPT-4將多模態(tài)技術(shù)引入公眾視野以來(lái)，多模態(tài)大模型進(jìn)入快速發(fā)展階段，逐漸從單純的模型研發(fā)轉(zhuǎn)向垂直領(lǐng)域的探索和應(yīng)用，與各行各業(yè)深度融合。在界面交互領(lǐng)域，谷歌、蘋(píng)果等國(guó)際科技巨頭紛紛投入U(xiǎn)I多模態(tài)大模型研發(fā)，這被視為手機(jī)AI革命的必經(jīng)之路。

在此背景下，國(guó)內(nèi)首個(gè)UI大模型橫空出世。8月17日，在IXDC2024國(guó)際體驗(yàn)設(shè)計(jì)大會(huì)上，AI時(shí)代設(shè)計(jì)工具M(jìn)otiff妙多推出了其自主研發(fā)的UI多模態(tài)大模型——Motiff妙多大模型。這是全球首個(gè)由UI設(shè)計(jì)工具企業(yè)研發(fā)的大模型，標(biāo)志著中國(guó)UI設(shè)計(jì)力量在全球舞臺(tái)上的崛起。

Motiff妙多大模型具備出色的UI理解能力和執(zhí)行開(kāi)放式指令的能力。在五個(gè)行業(yè)公認(rèn)的UI能力基準(zhǔn)測(cè)試集中，Motiff妙多大模型的各項(xiàng)指標(biāo)均超過(guò)了GPT-4o和蘋(píng)果的Ferret UI，同時(shí)在Screen2Words（界面描述與推斷）和Widget Captioning（部件描述）兩大指標(biāo)上也超越了谷歌的ScreenAI，其中Widget Captioning指標(biāo)高達(dá)161.77，刷新SoTA。與Ferret UI、ScreenAI等現(xiàn)有解決方案相比，Motiff妙多大模型能靈活地根據(jù)上下文理解界面元素，達(dá)到“設(shè)計(jì)專(zhuān)家”水平，最接近人類(lèi)對(duì)UI界面的理解和表述結(jié)果。

最懂UI的大模型、表述高度接近人類(lèi)，未來(lái)界面交互革命的基石

在IXDC大會(huì)上，Motiff妙多副總裁張昊然詳細(xì)介紹了Motiff妙多大模型，它具備理解用戶界面和交互導(dǎo)覽兩大能力，有望引領(lǐng)界面交互革命。“人類(lèi)的創(chuàng)造從認(rèn)知和理解開(kāi)始，AI 時(shí)代的 UI 創(chuàng)作也將從大模型充分理解用戶界面開(kāi)始?！睆堦蝗徽f(shuō)。

Motiff妙多大模型在理解用戶界面方面表現(xiàn)卓越，堪比“設(shè)計(jì)專(zhuān)家”。它不僅能識(shí)別界面中所有的圖片、圖標(biāo)、文字和40多種細(xì)粒度UI組件，還能精確標(biāo)注界面上不同元素的區(qū)域坐標(biāo)。此外，它還能夠回答與用戶界面相關(guān)的各種問(wèn)題，并根據(jù)界面信息進(jìn)行功能推斷、詳細(xì)描述界面內(nèi)容。

相較于GPT-4o、Ferret UI和ScreenAI等大模型，Motiff妙多大模型還在界面分析能力上具有顯著優(yōu)勢(shì)。例如，在APP Store應(yīng)用界面中，Motiff妙多大模型能以UI設(shè)計(jì)視角將頁(yè)面分為頂部導(dǎo)航欄、應(yīng)用信息模塊等多個(gè)模塊，并詳細(xì)分析每個(gè)模塊的功能和布局，這有助于提供設(shè)計(jì)建議、自動(dòng)生成UI設(shè)計(jì)原型等。Motiff妙多在界面分析能力上處于行業(yè)領(lǐng)先水平，是最懂UI設(shè)計(jì)的多模態(tài)大模型。

Motiff妙多大模型在理解和表述能力上也最接近人類(lèi)。此前的解決方案（如 Ferret UI 和 ScreenAI）難以根據(jù)上下文理解圖標(biāo)的含義，Motiff妙多大模型通過(guò)人工標(biāo)注等方式收集了大量高質(zhì)量的 UI 領(lǐng)域數(shù)據(jù)，能理解并指出同一圖標(biāo)在不同界面中的多種含義，顯著提升了描述的準(zhǔn)確度和情境相關(guān)性。

圖1數(shù)據(jù)由谷歌ScreenAI生成，將心形圖標(biāo)錯(cuò)誤地理解為“心”而不是“收藏”；圖2、3、4數(shù)據(jù)由Motiff妙多大模型生成，能結(jié)合界面信息準(zhǔn)確描述圖標(biāo)含義。

Motiff妙多大模型還具備交互導(dǎo)覽能力，可以根據(jù)用戶需求提示操作步驟，并在獲得許可后替代用戶完成相關(guān)操作。這為未來(lái)的界面交互革命奠定了基礎(chǔ)。未來(lái)，用戶無(wú)需手動(dòng)點(diǎn)擊屏幕，只需語(yǔ)音或圖像輸入即可操作設(shè)備，Siri等手機(jī)助手可能成為所有App的新入口，真正的智能手機(jī)和電腦將由此誕生，軟件應(yīng)用新范式和界面交互新時(shí)代也將隨之開(kāi)啟。

此外，Motiff妙多大模型也成功將錯(cuò)誤率控制在個(gè)位數(shù)內(nèi)。業(yè)內(nèi)觀點(diǎn)認(rèn)為，錯(cuò)誤率的大幅下降標(biāo)志著AI從輔助工具向獨(dú)立完成工作的“技術(shù)奇點(diǎn)”邁進(jìn)。目前，大模型面臨的核心問(wèn)題之一是較高的錯(cuò)誤率，如GPT-4在多個(gè)指標(biāo)上有30%至40%的錯(cuò)誤率，在UI領(lǐng)域錯(cuò)誤率甚至超過(guò)70%。相比之下，Motiff妙多大模型將錯(cuò)誤率降低到15%以下，個(gè)別指標(biāo)錯(cuò)誤率僅為7%。

為何AI應(yīng)用企業(yè)能自主研發(fā)出全球領(lǐng)先的大模型？張昊然在大會(huì)上稱(chēng)，這源于對(duì)“產(chǎn)品做得更好”的持續(xù)追求?！癕otiff妙多作為AI產(chǎn)品引領(lǐng)者，致力于從應(yīng)用場(chǎng)景出發(fā)突破技術(shù)瓶頸，不斷提升對(duì)AI能力的要求?！彼f(shuō)。

Motiff妙多能在UI領(lǐng)域“打敗”GPT-4o、蘋(píng)果Ferret UI等國(guó)際領(lǐng)先大模型，也得益于其長(zhǎng)期的技術(shù)積累。Motiff妙多自2021年成立以來(lái)一直專(zhuān)注于界面交互與設(shè)計(jì)，其母公司猿輔導(dǎo)集團(tuán)2014年就成立了專(zhuān)注于AI技術(shù)前沿探索的AI Lab，2018年猿輔導(dǎo)集團(tuán)在知名機(jī)器閱讀比賽MSMARCO中就位列全球第一，當(dāng)時(shí)的機(jī)器閱讀理解能力已經(jīng)超越了百度和微軟。

AI提效+生成打造設(shè)計(jì)師最佳助手， 優(yōu)化軟件開(kāi)發(fā)工作流

毫無(wú)疑問(wèn)， Motiff妙多大模型的發(fā)布標(biāo)志著界面設(shè)計(jì)領(lǐng)域迎來(lái)GPT時(shí)刻。UI 設(shè)計(jì)需要對(duì)視覺(jué)元素的精確處理和對(duì)用戶交互邏輯的深度理解，Motiff妙多大模型顯著提升了設(shè)計(jì)工具的效率和生成能力。

在Motiff妙多的AI生成UI功能中，用戶只需輸入一段指令，不到30秒，Motiff妙多就能生成兩版設(shè)計(jì)稿。根據(jù)近期30多位行業(yè)人士的盲評(píng)，Motiff妙多生成的兩版設(shè)計(jì)稿均優(yōu)于之前領(lǐng)先的AI生成UI工具Galileo AI。該功能發(fā)布后迅速成為市場(chǎng)上的領(lǐng)先者，這一優(yōu)勢(shì)直接源于Motiff妙多大模型的UI專(zhuān)業(yè)能力。據(jù)悉，AI生成UI功能已于8月17日對(duì)全球用戶開(kāi)放，只需注冊(cè)Motiff妙多賬號(hào)即可免費(fèi)體驗(yàn)。

此外，AI設(shè)計(jì)系統(tǒng)功能中的組件識(shí)別準(zhǔn)確性也得到了顯著提升。在大模型的支持下，設(shè)計(jì)師僅需花費(fèi)幾分鐘就能完成過(guò)去至少幾周才能完成的工作。AI復(fù)制功能對(duì)設(shè)計(jì)稿中的圖片和文案識(shí)別準(zhǔn)確率達(dá)到97%以上。

“Motiff 妙多將計(jì)劃面向中大型企業(yè)開(kāi)放大模型能力，和客戶共同打造 AI 時(shí)代新的界面生產(chǎn)關(guān)系?！睆堦蝗辉跁?huì)上指出，Motiff妙多大模型有助于優(yōu)化軟件開(kāi)發(fā)工作流，有效縮短現(xiàn)有的界面生產(chǎn)流程。

Motiff妙多此前已在界面設(shè)計(jì)行業(yè)開(kāi)創(chuàng)了多個(gè)“第一”，不僅首創(chuàng)多個(gè)AI功能，也是國(guó)內(nèi)首個(gè)自研圖形渲染引擎的界面設(shè)計(jì)軟件，并且是全球唯一在單畫(huà)布100萬(wàn)圖層下仍可流暢編輯的高性能產(chǎn)品。Motiff在海外社交媒體上被譽(yù)為“AI版Figma”，在提高生產(chǎn)力超百倍的同時(shí)，價(jià)格比Figma低80%以上，并登上知名產(chǎn)品發(fā)布平臺(tái)Product Hunt 7月最受歡迎產(chǎn)品日榜和周榜第一。

（海外社交平臺(tái)出現(xiàn)大量比較Motiff妙多和Figma的帖子，Motiff妙多被認(rèn)為是設(shè)計(jì)師都需要了解的AI工具。）