華人團(tuán)隊(duì)迷你GPT-4搶跑看圖聊天：OpenAI有的它都有，服務(wù)器已被擠爆
看美食寫(xiě)菜譜，手繪網(wǎng)頁(yè)變代碼
夢(mèng)晨 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
GPT-4識(shí)圖功能遲遲不開(kāi)放，終于有人忍不住自己動(dòng)手做了一個(gè)。
MiniGPT-4來(lái)了，Demo開(kāi)放在線可玩。
傳一張海鮮大餐照片上去，就能直接獲得菜譜。
傳一張商品效果圖，就可以讓AI寫(xiě)一篇帶貨文案。
手繪一個(gè)網(wǎng)頁(yè)，可以給出對(duì)應(yīng)的HTML代碼
除了生產(chǎn)力拉滿，也支持根據(jù)常識(shí)推理圖上內(nèi)容是否合理、解釋表情包為什么好笑，以及看截圖找電影等娛樂(lè)玩法。
可以說(shuō)，GPT-4發(fā)布時(shí)展示過(guò)的功能，MiniGPT-4基本也都有了。
這下網(wǎng)友直接把Demo服務(wù)器擠爆，開(kāi)發(fā)團(tuán)隊(duì)連開(kāi)4臺(tái)備用服務(wù)器，都有幾十人在排隊(duì)。
不等OpenAI了，現(xiàn)在就能玩
除了研究團(tuán)隊(duì)給出的示例，網(wǎng)友也用MiniGPT-4玩出了各種花樣
有人上傳自己畫(huà)的畫(huà)，讓AI評(píng)價(jià)評(píng)價(jià)。
有人上傳一張從車道拍攝的飛機(jī)墜毀瞬間，讓MiniGPT-4盡可能詳細(xì)地描述，并思考自動(dòng)駕駛AI能不能理解這個(gè)場(chǎng)面。
做到這么好的效果，MiniGPT-4實(shí)現(xiàn)起來(lái)卻并不復(fù)雜。
把圖像編碼器與開(kāi)源語(yǔ)言模型Vicuna（小羊駝）整合起來(lái)，并且凍結(jié)了兩者的大部分參數(shù)，只需要訓(xùn)練很少一部分。
傳統(tǒng)預(yù)訓(xùn)練階段，使用4張A100在10個(gè)小時(shí)內(nèi)就可完成，此時(shí)訓(xùn)練出來(lái)的Vicuna已能夠理解圖像，但生成能力受到很大影響。
為解決這個(gè)問(wèn)題，團(tuán)隊(duì)讓MiniGPT-4與ChatGPT合作創(chuàng)建了3500個(gè)圖像文本的高質(zhì)量數(shù)據(jù)集，也一并開(kāi)源。
用新的數(shù)據(jù)集微調(diào)可以顯著提高模型的生成可靠性和整體可用性，而且計(jì)算效率很高，使用單個(gè)A100只需要7分鐘。
并且團(tuán)隊(duì)正在準(zhǔn)備一個(gè)更輕量級(jí)的版本，部署起來(lái)只需要23GB顯存。
也就是消費(fèi)級(jí)顯卡中擁有24GB顯存的3090或4090就可以本地運(yùn)行了。
MiniGPT-4開(kāi)發(fā)團(tuán)隊(duì)來(lái)自KAUST（沙特阿卜杜拉國(guó)王科技大學(xué)），包括4位華人成員和他們的導(dǎo)師 Mohamed Elhoseiny。
兩位正在讀博的共同一作還在GitHub頁(yè)面上特別標(biāo)注正在找工作。
有意向的公司要抓緊搶人了～
在線Demo：
https://minigpt-4.github.io
開(kāi)源代碼：
https://github.com/Vision-CAIR/MiniGPT-4
論文：
https://github.com/Vision-CAIR/MiniGPT-4/blob/main/MiniGPT_4.pdf
相關(guān)閱讀
給ChatGPT喂黑話學(xué)得賊快，網(wǎng)友：你把AI教惡心了我們還怎么玩？
MIT學(xué)者：語(yǔ)言模型已有自己的「信念」和「目標(biāo)」
3個(gè)ChatGPT插件自動(dòng)寫(xiě)書(shū)爆火，更多躺著賺錢(qián)玩法可以問(wèn)AI自己！
點(diǎn)擊領(lǐng)取插件推薦機(jī)器人
谷歌急投20億押注ChatGPT「最強(qiáng)競(jìng)品」，GPT-3核心成員出走打造，多方出擊抗衡微軟
公司聊天機(jī)器人已在內(nèi)測(cè)中
ChatGPT創(chuàng)作福爾摩斯偵探小說(shuō)，飛速寫(xiě)完856字，就問(wèn)人類慌不慌？
AI還會(huì)因?yàn)槠L(zhǎng)而罷工
