“計算機視覺被GPT-4o終結(jié)了”（狗頭）
GPT-4o原生多模態(tài)圖像生成更多玩法被開發(fā)出來
夢晨 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
一夜之間，CV被大模型“解決”了（狗頭）。
萬物皆可吉卜力之后，GPT-4o原生多模態(tài)圖像生成更多玩法被開發(fā)出來。
一個男友回頭表情包，可以秒變語義分割圖。
也可以秒變深度圖。
這下不光上一代AI畫圖工具和設(shè)計師，計算機視覺研究員也哭暈在廁所了。
這是NASA前工程師測試特斯拉自動駕駛系統(tǒng)的偽裝“隱形墻”，在GPT-4o面前也無所遁形。
這下OpenAI應(yīng)用研究主管Boris Power已經(jīng)把腦筋動到了自動駕駛，稱只需要訓(xùn)練最強大的基礎(chǔ)模型，然后微調(diào)。
3D渲染領(lǐng)域也慘遭毒手，GPT-4o可以生成PBR材質(zhì)（基于物理渲染的材質(zhì)），紋理、法線貼圖等直接來一套。
對于這些能力，也有人認為沒什么大不了的，Stable Diffusion + ControlNet就可以全部實現(xiàn)。
但不可否認，靠擴大基礎(chǔ)模型規(guī)模就能做到，也是令人意想不到的。
GPT-4o圖像生成是自回歸模型
這波GPT-4o原生圖像生成的技術(shù)細節(jié)，OpenAI是一點也沒有公布（粗節(jié)也沒有公布）。
但還是有人從System Card中發(fā)現(xiàn)了蛛絲馬跡。
與DALL·E是一個擴散模型不同，GPT-4o圖像生成是原生嵌入在ChatGPT內(nèi)的自回歸模型。
還有人觀察圖像的生成過程，發(fā)現(xiàn)很可能是多尺度自回歸的組合，先生成一個粗略的圖像，填充細節(jié)的同時，粗略圖形本身也在變化。
自回歸模型根據(jù)之前的像素或patch預(yù)測下一個像素或patch，獲得更好地遵循指令，以及圖像編輯的能力。
但也有人引用發(fā)OpenAI員工Allan Jabri曬出的板書圖，提出在解碼階段仍然有可能用了擴散模型。
針對這一猜想，更具體的實現(xiàn)方法可以參考Meta等24年8月的一篇論文：使用一個多模態(tài)模型同時預(yù)測預(yù)測下一個token和擴散圖像。
最后，微信評論區(qū)能發(fā)圖片了，歡迎大家把更多GPT-4o有趣玩法曬出來～
GPT-4o Native Image Generation System Card
https://cdn.openai.com/11998be9-5319-4302-bfbf-1167e093f1fb/Native_Image_Generation_System_Card.pdf
Transfusion: Predict the Next Token and Diffuse Images with One Multi-Modal Model
https://arxiv.org/abs/2408.11039v1
參考鏈接：
[1]https://x.com/fofrAI/status/1905289275316326679
[2]https://x.com/a_karvonen/status/1905372299814932963
- 字節(jié)突然開源Seed-OSS，512K上下文主流4倍長度，推理能力刷紀錄2025-08-21
- “現(xiàn)在讀AI博士已經(jīng)太晚了”2025-08-19
- 谷歌AI攻克亞洲語言難題，2300種語言數(shù)字化計劃正在推進2025-08-18
- AMD蘇姿豐公開懟扎克伯格！反對1億年薪挖人，使命感比鈔票更重要2025-08-18
相關(guān)閱讀
讓AI學(xué)會“哦買尬，買它！”，清北中科院CMU爭相角逐頂會Workshop競賽，淘系技術(shù)&浙大聯(lián)手舉辦
淘系技術(shù)還開源大型數(shù)據(jù)集
