一個(gè)AI驅(qū)動(dòng)百萬(wàn)個(gè)API！微軟提出多任務(wù)處理模型TaskMatrix，機(jī)器人和物聯(lián)網(wǎng)終于有救了
一種AGI新思路
蕭簫 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
通往AGI的路究竟怎么走，微軟有了新想法——
基于ChatGPT這類大模型的強(qiáng)大理解能力，將輸入的任何信號(hào)拆解成一個(gè)個(gè)可完成的任務(wù)，交給其他的AI和程序完成。
簡(jiǎn)單來(lái)說(shuō)，就像是建了一座司令塔，每個(gè)大模型都能成為其中的“大腦”指揮官，其他專門解決某類任務(wù)的模型，則聽(tīng)它調(diào)令——
這樣一來(lái)，不限定某個(gè)AI，所有大模型都能使用這套方法。
能解決什么問(wèn)題？
人類只需要提需求，AI從自動(dòng)做PPT、Word和Excel三件套（Office自動(dòng)化），到驅(qū)動(dòng)機(jī)器人完成各種智能任務(wù)，都能搞定。
這個(gè)最新的研究名叫TaskMatrix，據(jù)微軟表示，它能直接驅(qū)動(dòng)數(shù)百萬(wàn)個(gè)用于完成任務(wù)的AI和API。
論文還引用了OpenAI CEO奧特曼那句AI版摩爾定律：
宇宙中的智能數(shù)量每18個(gè)月翻一番。
一起來(lái)看看TaskMatrix是怎樣工作的。
AI“司令塔”如何工作？
這是TaskMatrix的整體工作流程：
從架構(gòu)圖來(lái)看，TaskMatrix可以被分為四部分：
- 多模態(tài)對(duì)話基礎(chǔ)模型（MCFM）：與用戶對(duì)話并了解需求，從而生成API可執(zhí)行代碼以完成特定任務(wù)
- API平臺(tái)：提供統(tǒng)一API格式，存儲(chǔ)數(shù)百萬(wàn)個(gè)不同功能的API，允許擴(kuò)展和刪除API
- API選擇器：負(fù)責(zé)根據(jù)MCFM生成的內(nèi)容推薦API
- API執(zhí)行器：調(diào)用API并執(zhí)行生成代碼，給出結(jié)果
簡(jiǎn)單來(lái)說(shuō)，MCFM負(fù)責(zé)生成解決方案，API選擇器從API平臺(tái)中選取API，隨后API執(zhí)行器基于MCFM生成的代碼調(diào)用API，并解決任務(wù)。
其中，為了統(tǒng)一API管理，API平臺(tái)又給API統(tǒng)一了文檔格式，包含以下五個(gè)部分：
API名稱（提供API摘要，避免與其他API混淆），參數(shù)列表（包含輸入?yún)?shù)和返回值等），API描述（功能描述），組合指令（如何組合多個(gè)API完成復(fù)雜用戶指令）
例如這是“打開(kāi)本地文件”API的文檔格式：
據(jù)微軟介紹，搭建TaskMatrix的原因，從學(xué)術(shù)角度來(lái)說(shuō)主要有兩點(diǎn)。
其一，擴(kuò)大AI適用范圍，如通過(guò)擴(kuò)展API來(lái)提升可完成任務(wù)的類型和數(shù)量；其二，便于進(jìn)一步提升AI可解釋性，通過(guò)觀察AI分配任務(wù)的方式就能理解它的“思路”。
能完成什么任務(wù)了？
目前從已經(jīng)搭建好的TaskMatrix部分來(lái)看，它能完成的任務(wù)已經(jīng)非常廣泛。
小到文字、圖像信息的基礎(chǔ)信息處理，大到控制機(jī)器人平臺(tái)、接入物聯(lián)網(wǎng)這種通用平臺(tái)任務(wù)，TaskMatrix都能搞定。
先來(lái)看看圖像處理任務(wù)。
TaskMatrix解讀用戶想要完成的任務(wù)后，就能通過(guò)對(duì)話的方式，搞定PS（把老人背景P成白的）、解讀圖像、文生圖、草圖轉(zhuǎn)真實(shí)圖像、摳圖等一系列現(xiàn)實(shí)生活中常見(jiàn)的圖像處理操作：
如果說(shuō)這些都還太常見(jiàn)，基于TextMatrix還能搞定真·圖像擴(kuò)展，基于一小角擴(kuò)展到一整張圖的那種，而不僅僅是采用平鋪的方式。例如輸入一朵花：
輸出一片花田：
再來(lái)看看文字處理任務(wù)。
以往需要手動(dòng)改AI寫過(guò)的方案，如今直接將問(wèn)題拋給AI，它就能完成，例如具體修改某個(gè)特定的步驟。
（像不像被甲方一點(diǎn)點(diǎn)催改文件的樣子？只是如今你變成了甲方）
以后生成文章，就是連插圖都配好的那種：
當(dāng)然，既然是微軟的研究，少不了調(diào)用Office系列的API，包括做PPT這種活，如今交給AI來(lái)做就行：
再進(jìn)一步到通用任務(wù)上，之前一直存在瓶頸的機(jī)器人和物聯(lián)網(wǎng)等平臺(tái)，如今TaskMatrix也給出了解決通用任務(wù)的方案。
家里接入AI后，和它對(duì)話就能完成你想要的各種瑣碎任務(wù)，包括定鬧鐘、查看天氣等：
屬實(shí)是解放人類生產(chǎn)力了。
你想好把它用在哪里了嗎？
論文地址：
https://arxiv.org/abs/2303.16434
相關(guān)閱讀
微軟1bit LLM新研究：原生4bit激活值量化，可充分利用新一代GPU對(duì)4bit計(jì)算的原生支持
減少內(nèi)存帶寬&提升計(jì)算效率
國(guó)際知名AI學(xué)者陶大程出任京東探索研究院院長(zhǎng)
京東探索研究院成立于2020年。成立時(shí)計(jì)劃在人工智能、物聯(lián)網(wǎng)、區(qū)塊鏈、自主系統(tǒng)、下一代計(jì)算等核心方向深耕技術(shù)、加大投入，在每個(gè)領(lǐng)域至少引入3位世界頂級(jí)科學(xué)家，組件相應(yīng)團(tuán)隊(duì)。
