華人團隊迷你GPT-4搶跑看圖聊天：OpenAI有的它都有，服務(wù)器已被擠爆
看美食寫菜譜，手繪網(wǎng)頁變代碼
夢晨 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
GPT-4識圖功能遲遲不開放，終于有人忍不住自己動手做了一個。
MiniGPT-4來了，Demo開放在線可玩。
傳一張海鮮大餐照片上去，就能直接獲得菜譜。
傳一張商品效果圖，就可以讓AI寫一篇帶貨文案。
手繪一個網(wǎng)頁，可以給出對應(yīng)的HTML代碼
除了生產(chǎn)力拉滿，也支持根據(jù)常識推理圖上內(nèi)容是否合理、解釋表情包為什么好笑，以及看截圖找電影等娛樂玩法。
可以說，GPT-4發(fā)布時展示過的功能，MiniGPT-4基本也都有了。
這下網(wǎng)友直接把Demo服務(wù)器擠爆，開發(fā)團隊連開4臺備用服務(wù)器，都有幾十人在排隊。
不等OpenAI了，現(xiàn)在就能玩
除了研究團隊給出的示例，網(wǎng)友也用MiniGPT-4玩出了各種花樣
有人上傳自己畫的畫，讓AI評價評價。
有人上傳一張從車道拍攝的飛機墜毀瞬間，讓MiniGPT-4盡可能詳細地描述，并思考自動駕駛AI能不能理解這個場面。
做到這么好的效果，MiniGPT-4實現(xiàn)起來卻并不復(fù)雜。
把圖像編碼器與開源語言模型Vicuna（小羊駝）整合起來，并且凍結(jié)了兩者的大部分參數(shù)，只需要訓(xùn)練很少一部分。
傳統(tǒng)預(yù)訓(xùn)練階段，使用4張A100在10個小時內(nèi)就可完成，此時訓(xùn)練出來的Vicuna已能夠理解圖像，但生成能力受到很大影響。
為解決這個問題，團隊讓MiniGPT-4與ChatGPT合作創(chuàng)建了3500個圖像文本的高質(zhì)量數(shù)據(jù)集，也一并開源。
用新的數(shù)據(jù)集微調(diào)可以顯著提高模型的生成可靠性和整體可用性，而且計算效率很高，使用單個A100只需要7分鐘。
并且團隊正在準備一個更輕量級的版本，部署起來只需要23GB顯存。
也就是消費級顯卡中擁有24GB顯存的3090或4090就可以本地運行了。
MiniGPT-4開發(fā)團隊來自KAUST（沙特阿卜杜拉國王科技大學(xué)），包括4位華人成員和他們的導(dǎo)師 Mohamed Elhoseiny。
兩位正在讀博的共同一作還在GitHub頁面上特別標(biāo)注正在找工作。
有意向的公司要抓緊搶人了～
在線Demo：
https://minigpt-4.github.io
開源代碼：
https://github.com/Vision-CAIR/MiniGPT-4
論文：
https://github.com/Vision-CAIR/MiniGPT-4/blob/main/MiniGPT_4.pdf
- 字節(jié)突然開源Seed-OSS，512K上下文主流4倍長度，推理能力刷紀錄2025-08-21
- “現(xiàn)在讀AI博士已經(jīng)太晚了”2025-08-19
- 谷歌AI攻克亞洲語言難題，2300種語言數(shù)字化計劃正在推進2025-08-18
- AMD蘇姿豐公開懟扎克伯格！反對1億年薪挖人，使命感比鈔票更重要2025-08-18
相關(guān)閱讀
GPT-4一眼看穿論文會不會撤稿：7000篇實測準確率高達95%｜人大浙大
大模型可能引發(fā)學(xué)術(shù)不端，也有辦法維護科研誠信
ChatGPT國產(chǎn)平替出現(xiàn)了：APP商店就能下載，還可給AI加人設(shè)，背后公司剛成立3個月
有股晉江文學(xué)那味兒……
