明敏 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
ChatGPT會(huì)畫(huà)畫(huà)了！
問(wèn)它：能生成一張貓片給我嗎？
立刻連文帶圖全有了。
還能根據(jù)新的文字指令調(diào)整圖片：把貓換成狗。
同時(shí)也看得懂圖、有理解能力。
比如發(fā)一張圖給它，然后問(wèn)摩托是什么顏色？它能回答出是黑色。
如上，就是由MSRA資深研究人員們提出的視覺(jué)版ChatGPT（Visual ChatGPT）。
通過(guò)給ChatGPT結(jié)合多種視覺(jué)模型，并利用一個(gè)提示管理器（Prompt Manager），他們成功讓ChatGPT可以處理各種視覺(jué)任務(wù)。
這項(xiàng)工作一發(fā)出來(lái)就火了，GitHub攬星已超過(guò)1.5k。
簡(jiǎn)單總結(jié)一下，就是把GPT和Dall-E合并的感覺(jué)~
又懂文字又會(huì)畫(huà)圖……有人就說(shuō)：
這不是終極meme圖制造機(jī)？
訣竅在于提示工程？
Visual ChatGPT，其實(shí)就是讓ChatGPT可以處理多模態(tài)信息。
但是從頭訓(xùn)練一個(gè)多模態(tài)模型，工作量非常大。
研究人員想到可以在ChatGPT的基礎(chǔ)上，結(jié)合一些視覺(jué)模型。
而想要達(dá)到這一目的，關(guān)鍵需要一個(gè)中間站。
由此他們提出了提示管理器（Prompt Manager）的概念。
它的作用主要有3方面：
第一、明確告訴ChatGPT，每個(gè)視覺(jué)模型的作用，并指定好輸入輸出格式。
第二、轉(zhuǎn)換不同的視覺(jué)信息，如將PNG圖像、深度圖像、掩碼矩陣等轉(zhuǎn)換為語(yǔ)言格式，方便ChatGPT理解。
第三、處理視覺(jué)模型的歷史生成結(jié)果，以及不同模型的調(diào)用優(yōu)先級(jí)、規(guī)避沖突等，讓ChatGPT能夠以迭代的方式接收視覺(jué)模型的生成內(nèi)容，直到輸出用戶(hù)滿意的結(jié)果。
這樣一來(lái)，Visual ChatGPT的工作流大概長(zhǎng)這樣：
假如用戶(hù)輸入了一張圖，模型會(huì)先將內(nèi)容發(fā)送給提示管理器，然后轉(zhuǎn)換成語(yǔ)言給ChatGPT判斷，當(dāng)它發(fā)現(xiàn)這個(gè)問(wèn)題不需要調(diào)用視覺(jué)模型，就會(huì)直接給出輸出（第一個(gè)回答）。
第二個(gè)問(wèn)題時(shí)，ChatGPT分析問(wèn)題內(nèi)容需要使用視覺(jué)模型，就會(huì)讓視覺(jué)模型開(kāi)始執(zhí)行，然后一直迭代，直到ChatGPT判斷不再需要調(diào)用視覺(jué)模型時(shí)，才會(huì)輸出結(jié)果。
論文介紹，Visual ChatGPT中包含了22個(gè)不同的視覺(jué)模型。包括Stable Diffusion、BLIP、pix2pix等。
為了驗(yàn)證Visual ChatGPT的能力，他們還進(jìn)行了大量零次試驗(yàn)（zero-shot experiments）。
結(jié)果如開(kāi)頭所示，Visual ChatGPT具備很強(qiáng)的圖像理解能力。
可以一直按照人的需求不斷生成、修改圖片。
當(dāng)然，研究人員也提到了這項(xiàng)工作目前還存在一些局限性。
比如生成結(jié)果的質(zhì)量，主要取決于視覺(jué)模型的性能。
以及使用大量的提示工程，會(huì)一定程度上影響生成結(jié)果的速度。而且還可能同時(shí)調(diào)用多個(gè)模型，也會(huì)影響實(shí)時(shí)性。
最后，在輸入圖片的隱私安全上，還需要做進(jìn)一步升級(jí)保護(hù)。
MSRA老將出馬
本項(xiàng)研究成果來(lái)自微軟亞洲研究院的團(tuán)隊(duì)。
通訊作者是段楠。
他是MSRA首席研究員，自然語(yǔ)言計(jì)算組研究經(jīng)理，中國(guó)科學(xué)技術(shù)大學(xué)兼職博導(dǎo)，天津大學(xué)兼職教授，CCF杰出會(huì)員。
主要從事自然語(yǔ)言處理、代碼智能、多模態(tài)智能、機(jī)器推理等研究。
2012年加入MSRA，任職已超10年。
第一作者為吳晨飛。
他于2020年加入微軟，目前擔(dān)任高級(jí)研究員。
論文地址：
https://arxiv.org/abs/2303.04671
參考鏈接：
https://twitter.com/_akhaliq/status/1633642479869198337
