谷歌新AI火了！世界最長單詞都能畫：Pneumonoultramicroscop……
自己卷自己
楊凈 金磊 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
朋友，你知道這個英文單詞是什么嗎？
Pneumonoultramicroscopicsilicovolcanoconiosis.
這個世界公認最長——由45個字母組成的單詞，意思是“因肺部沉積火山矽質(zhì)微粒所引起的疾病”（俗稱火山矽肺?。?/em>。
但如果說，現(xiàn)在不是讓你拼讀這個單詞，而是……把它給畫出來呢？
（讀都讀不出來，還畫畫？？？）
谷歌最新提出來的一個AI——Parti，它就能輕松hold住這事。
在把這個單詞“投喂”給Parti后，它就能有模有樣地生成多張合情合理的肺部疾病圖片：
但這只是Parti小試牛刀的能力，據(jù)谷歌介紹，它是目前最先進的“文本轉(zhuǎn)圖像”AI。
例如，跟它說句：“把悉尼歌劇院和巴黎鐵塔做個結(jié)合”，輸出結(jié)果是這樣的：
（不知道的還真以為是畫報呢）
而且在算法路數(shù)上，還不同于谷歌自家的Imagen，Parti可以說是把“AI作畫”卷出了新高度。
就連谷歌AI負責人Jeff Dean也連發(fā)數(shù)條推文，玩得不亦樂乎：
可擴展到200億參數(shù)：更逼真，更“聰明”
事實上，Parti的能力還不止于此。
得益于模型可擴展到200億參數(shù)，一方面，它生成的圖像更加細節(jié)逼真。
不管是短短幾個字，還是五十多個個單詞的小段落，都能清晰展現(xiàn)出來。
比如，The back of a violin，小提琴的背面。
亦或是照著梵高《星空》來描述的夜晚畫面。ps，這段有67個單詞。
結(jié)果Parti也不在話下，一攬子把各種風格的圖全給你畫出來了~
這也正是Parti的第二大能力，不光細節(jié)到位，風格也能做到多變。
還有像“浣熊穿正裝，頭戴禮帽，拄著拐杖，拿著個垃圾袋”這種奇特的描述，它也能在整出花活的同時還不落細節(jié)。
風格上，則有梵高風、埃及法老風、像素風、中國傳統(tǒng)繪畫風、抽象主義風……
甚至有時候它還會講雙關(guān)笑話。
（Toad’ay，癩蛤?。?/em>
具體在測試結(jié)果上，MS-COCO、Localized Narrative（LN，4倍長的描述）上FID分數(shù)，Parti都取得了最先進的結(jié)果。
尤其在MS-COCO零樣本的FID得分僅為7.23，微調(diào)FID得分為3.22，超過了此前的Imagen和DALL-E 2。
所有組件都是Transformer
時隔一個月，谷歌再把AI作畫卷出新高度，結(jié)果作者卻說：秘訣很簡單。
Parti主要是將文本生成圖像視作序列到序列之間建模。這有點類似于機器翻譯，將文本標記作為編碼器的輸入，目標輸出從文本變成了圖像。
從結(jié)構(gòu)上看，它的所有組件只有三部分：編碼器、解碼器以及圖像標記器，且都是基于標準Transformer。
首先，使用基于Transformer的圖像標記器ViT-VQGAN，將圖像編碼為離散的標記序列。
然后再通過Transformer的編碼-解碼結(jié)構(gòu)，將參數(shù)擴展到200億。
以往關(guān)于文本生成圖像的研究，除了最早出現(xiàn)的GAN，大體可以分成兩種思路。
一種是基于自回歸模型，首先文本特征映射到圖像特征，再使用類似于Transformer的序列架構(gòu)，來學習語言輸入和圖像輸出之間的關(guān)系。
這種方法的一個關(guān)鍵組成部分就是圖像標記器，將每個圖像轉(zhuǎn)換為一個離散單元的序列。比如DALL-E和CogView，就采用了這一思路。
另一種則是這段時間以來進展頻頻的路線——基于擴散的文本到圖像模型，比如DALL-E 2和Imagen。
他們摒棄了圖像標記器，而是采用擴散模型來直接生成圖像?？梢钥吹降氖牵@些模型產(chǎn)生的圖像質(zhì)量更高，在MS-COCO零樣本FID得分更好。
而Parti模型的成功，則證明了自回歸模型可以用來改善文本生成圖像的效果。
與此同時，Parti還引入并發(fā)布了新的基準測試——PartiPrompts，用于衡量模型在12個類別和11個挑戰(zhàn)方面的能力。
但Parti還是有一定的局限性，研究人員也展示了一些bug：
比如，對否定的描述就沒招了~
一個沒有香蕉的盤子，旁邊一個沒有橙汁兒的玻璃杯。
還會犯一些常識性錯誤，例如不合理地縮放。比如這張圖，機器人竟然比賽車高出好幾倍。
一個穿著賽車服和黑色遮陽板的閃亮機器人自豪地站在一輛F1賽車前。太陽落在城市景觀上。漫畫書插圖。
谷歌“自己卷自己”
在這項研究來自Google Research，團隊中的華人居多。
研究核心工作人員包括Yuanzhong Xu、Thang Luong等，目前均就職于谷歌從事AI相關(guān)研究工作。
（Thang Luong在谷歌學術(shù)上的引用量高達20000+）
△左：Yuanzhong Xu；右：Thang Luong
不過有意思的是，同為“說句話讓AI作畫”，同為出自谷歌之手的Imagen，它跟Parti還真有點千絲萬縷的關(guān)系。
在Parti的GitHub的項目文檔中就有提到：
感謝Imagen團隊，他們在發(fā)布Imagen之前與我們分享了其最近完整的結(jié)果。
他們在CF-guidance方面的重要發(fā)現(xiàn)，對最終的Parti模型特別有幫助。
而且Imagen的作者之一Burcu Karagol Ayan，也參與到了Parti的項目中。
（有種谷歌“自己卷自己”那味了）
不僅如此，就連“隔壁”DALL-E 2的作者Aditya Ramesh，也給Parti在MS-COCO評價方面做了討論工作。
以及DALL-Eval的作者們，也在Parti數(shù)據(jù)方面的工作提供了幫助。
One More Thing
有一說一，就“文本生成圖像”這事，可不只是研究人員們的寵兒。
網(wǎng)友們在“玩”它這條路上，也是樂此不疲（腦洞不要太大好吧）。
前一陣子讓Imagen畫一幅宋朝“虎戴VR”，直接演變成AI作畫大戰(zhàn)。
△圖：Imagen作畫
DALL·E、MidJourney等“聞訊趕來”參與其中。
△ DALL·E作畫
甚至還有把Wordle和 DALL-E 2搞到一起的：
……
不過回歸到這次的Parti，好玩歸好玩，但還是有網(wǎng)友提出了“直擊靈魂”的問題：
啥時候商業(yè)化？要是自己“關(guān)門玩”就沒意思了。
Parti論文地址：
https://parti.research.google/
GitHub項目地址：
https://github.com/google-research/parti
參考鏈接：
[1]https://twitter.com/lmthang/status/1539664610596225024
[2]https://gizmodo.com/new-browser-game-combines-dall-e-mini-and-wordle-1849105289
[3]https://imagen.research.google/
- 英偉達最新芯片B30A曝光2025-08-20
- AI應(yīng)用如何落地政企？首先不要卷通用大模型2025-08-12
- 本科必學Dijkstra算法被超越！清華段然團隊打破圖靈獎得主證明的普遍最優(yōu)性2025-08-09
- 智能體邁入L4 時代！納米AI多智能體蜂群，可創(chuàng)作最長10分鐘AI視頻2025-08-06
相關(guān)閱讀
谷歌傳奇Jeff Dean獲2021年IEEE馮諾依曼獎，8頁本科論文被大學圖書館保存至今
以表彰對大規(guī)模分布式計算機系統(tǒng)和人工智能系統(tǒng)科學與工程的貢獻”。
