實測騰訊AI文生圖！王者榮耀畫風(fēng)一鍵直出，小程序就能玩

夢晨 蕭簫 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

鵝廠大模型，又有新玩法！

發(fā)布不到兩個月，騰訊混元大模型就速通了一個新版本，除了語言模型升級以外，還悄悄上線了AIGC最火熱的功能——

文生圖。

和語言模型一樣，文生圖同樣可以通過微信小程序直接體驗。

不過與Midjourney獨立出圖不同，混元的文生圖和對話功能“互不耽誤”，可以邊聊邊畫，與DALL·E 3體驗相似。

之前已經(jīng)申請測試通過的，可以立刻沖了~

還在排隊中的也別急，我們已經(jīng)快速實測了一波熱圖，這就先放出來給大伙兒看看。

混元文生圖上手實測

根據(jù)騰訊介紹，混元大模型文生圖最大的優(yōu)勢在三處：真實感、中文理解、風(fēng)格多樣。

接下來就挨個試試它做到了什么程度。

先來畫人，復(fù)刻一波之前爆火過的Midjourney“寫實90年代北京情侶”看看。

請輸出一張攝影風(fēng)的照片，在20世紀(jì)90年代的北京，一個男性和一個女性，面帶微笑，坐在屋頂，穿著夾克和牛仔褲，有很多的建筑物，真實感

可以看出，寫實風(fēng)格的人像還是很拿手的，人物姿態(tài)合理，畫亞洲人臉與國外AI相也比較自然。

注意這里有個小技巧，想要寫實風(fēng)格的話最好用“生成一張……”來觸發(fā)，如果用“畫一張……”大概率會得到插畫風(fēng)格。

寫實風(fēng)格的人像可以，再看看畫風(fēng)景如何。

除了一般的風(fēng)景描述，混元大模型支持指定一個真實存在的景點，比如“桂林山水”或“長城”。

畢竟是AI生成，和真實景觀不會完全一樣，但感覺還是到位了。

接下來要上難度了，把這兩個場景“組合”起來：

生成一張桂林山水，但是岸上有長城，攝影風(fēng)格，真實感，高度細(xì)節(jié)。

這么離譜的需求都畫出來了，甚至水面還有水波，看來不是簡單地重現(xiàn)訓(xùn)練數(shù)據(jù)，而是對概念有一些自己的理解。

那么更復(fù)雜的概念如何？

曾經(jīng)，AI因不理解中文菜名鬧過一波笑話。

經(jīng)過這半年的發(fā)展，“紅燒獅子頭”里不會出現(xiàn)獅子的頭，“夫妻肺片”里也不會變成恐怖片了，甚至看著還挺香。

要說比菜名更有挑戰(zhàn)的，就到了古詩詞，正好寫實風(fēng)格也看膩了也可以換換口味。

生成一張圖片：孤舟蓑笠翁，獨釣寒江雪，水墨畫風(fēng)格。

總得來說還不錯，美中不足之處在于一張圖沒有“舟”，還有一張舟上坐了兩個“翁”，就沒有孤獨的意境了。

看來詩詞這種過于凝練的還是有難度。

But，別忘了混元助手同時擁有聊天對話能力，還支持多輪對話。

借助強(qiáng)大的語言模型部分，我們也找出解決辦法。

接下來只需用“這些要求”、“上述要求”來指代上面的回答，就可以讓兩個功能聯(lián)動起來了。

再畫就會更穩(wěn)定，而且增加了雪花飄落的細(xì)節(jié)。

記住這個小技巧，接下來還會用到。

其實在騰訊混元助手中，專門準(zhǔn)備了這樣一個存為指令的功能。

存好后就可以從對話框右邊的魔法棒圖標(biāo)處快速調(diào)用了，只需要更改要描述的內(nèi)容即可。

還可以方便地一鍵分享到微信，4張圖一次分享讓好友幫忙選，不用來回截圖了。

直接打開分享鏈接，就可以放大查看四張圖，還可以開始新對話！

了解過混元大模型的中文理解能力，再來試試最后一個特點風(fēng)格多樣性。

既然是騰訊出品，游戲插畫肯定少不了，比如正火的賽博朋克風(fēng)。

有點感覺了，但總覺得還差點意思。

可以用上面的技巧來，聯(lián)動語言模型來明確賽博朋克風(fēng)格的特點。

再手動加億點點料，就更對味了。

不同游戲的畫風(fēng)差距極大，測試下來混元助手確實能hold住不少，從3D到2D甚至像素都沒問題。

即使是同一話題和風(fēng)格限定，也能展現(xiàn)出不同的畫風(fēng)，F(xiàn)urry控狂喜（doge）

其實騰訊透露，內(nèi)部多個場景已經(jīng)用上了混元大模型文生圖能力。

雖然還不知道具體怎么使用，但是我們測試了一下用《王者榮耀》來當(dāng)風(fēng)格限定詞，混元也能理解。

除了游戲之外還有廣告場景，前面提到的混元大模型文生圖真實感的優(yōu)勢就能發(fā)揮出來。

也別忘了騰訊還有一大塊內(nèi)容業(yè)務(wù)，來個玄幻小說插圖也沒問題。

這樣的文生圖效果，背后究竟是通過什么原理實現(xiàn)的？

在此之前，業(yè)界其實已經(jīng)有不少文生圖的開源模型。

騰訊是基于其中某種方案打造，還是重新進(jìn)行的自研？

帶著種種問題，我們和騰訊混元大模型文生圖技術(shù)負(fù)責(zé)人蘆清林聊了聊，了解了一下背后的技術(shù)細(xì)節(jié)。

模型全自研，用20億+圖文對煉成

“從算法、數(shù)據(jù)系統(tǒng)到工程平臺，都是從0到1自研。”

蘆清林表示，這也算是騰訊混元大模型文生圖功能的優(yōu)勢，這樣從生成自由度到數(shù)據(jù)安全性，就都能完全把控，也讓生成的圖像“更符合用戶需求”。

首先是在算法這一塊。

當(dāng)前文生圖模型普遍存在三個難點，語義理解差、構(gòu)圖不合理、畫面細(xì)節(jié)無質(zhì)感。

語義理解差，就是模型聽不懂人話，尤其是中英文夾雜的人話。

當(dāng)前業(yè)界普遍采用的是開源的CLIP算法，然而它一來沒有建模中文語言，輸入中文只能靠翻譯，會出現(xiàn)紅燒獅子頭真的生成獅子的問題（doge）；另一個是訓(xùn)練時圖文對齊能力不行。

構(gòu)圖不合理，指的是生成的人體結(jié)構(gòu)、畫面結(jié)構(gòu)有問題，直接“生異形”。

如果直接基于業(yè)界已有的開源擴(kuò)散模型生成圖像，就容易出現(xiàn)這個問題，像是出現(xiàn)“三只手”或者各種奇怪的畫面結(jié)構(gòu)。

畫面細(xì)節(jié)無質(zhì)感，就是生成圖像清晰度差。當(dāng)前不少數(shù)據(jù)集圖像分辨率和質(zhì)量不高，容易導(dǎo)致訓(xùn)練出來的開源模型質(zhì)量也不高。

為了解決這三個難點，騰訊混元團(tuán)隊在算法階段，特意用了三類模型組合來“逐個擊破”。

語義理解上，騰訊自研了跨模態(tài)預(yù)訓(xùn)練大模型，不僅讓它同時學(xué)會建模中英文，而且強(qiáng)化文本和圖像細(xì)粒度特征的聯(lián)系，簡單來說就是中文、英文、圖像三者的“跨模態(tài)對齊”。

生成構(gòu)圖上，騰訊自研了一種擴(kuò)散模型和Transformer混合的架構(gòu)，尤其是將Transformer當(dāng)前大火的旋轉(zhuǎn)位置編碼研究給用上了。

旋轉(zhuǎn)位置編碼通常被用于增加大模型的上下文長度，不過在這里被騰訊巧妙地用于刻畫人體結(jié)構(gòu)，讓模型既能掌握全局信息（人體骨架）又能理解局部信息（臉部細(xì)節(jié)）。

最后是在畫面細(xì)節(jié)上，騰訊自研了超分辨率模型，與此同時還結(jié)合了多種算法，針對圖像不同的細(xì)節(jié)進(jìn)行優(yōu)化，讓最后生成的圖像進(jìn)一步“耐看”。

這樣做出來的模型架構(gòu)，不僅能生成質(zhì)量更高的圖片（分辨率1024×1024），而且只需要微調(diào)一下架構(gòu)，就能變成圖生圖、甚至是文生視頻模型。

接下來，就是關(guān)鍵的數(shù)據(jù)部分了。

對于文生圖而言，生成圖像的質(zhì)量，很大程度上取決于數(shù)據(jù)的質(zhì)量，OpenAI在DALL·E 3論文中，通篇都在強(qiáng)調(diào)數(shù)據(jù)對于指令跟隨的重要性。

騰訊也非常重視數(shù)據(jù)對模型的重要性，并同樣自研了三方面的技術(shù)。

在數(shù)據(jù)質(zhì)量上，由于互聯(lián)網(wǎng)上扒下來的數(shù)據(jù)集，往往存在文字描述簡潔、和生成內(nèi)容不完全匹配的問題，因此團(tuán)隊通過改善圖-文對數(shù)據(jù)集中的“文”部分，也就是細(xì)化中文的文本描述，來提升圖文數(shù)據(jù)的相關(guān)性；

在數(shù)據(jù)效果上，團(tuán)隊針對訓(xùn)練數(shù)據(jù)進(jìn)行了“金銀銅”分層分級，等級越高，意味著數(shù)據(jù)清洗程度越精細(xì)。

其中，20+億未清洗的“青銅數(shù)據(jù)”，用來對所有模型進(jìn)行“粗加工”，也就是預(yù)訓(xùn)練；

6億+“白銀數(shù)據(jù)”，用來對生成模型進(jìn)一步加工，提升生成質(zhì)量；

1.12億+精心清洗的“黃金數(shù)據(jù)”，則用來對模型進(jìn)行“精加工”，也就是精調(diào)突擊訓(xùn)練，確保訓(xùn)練出來的模型質(zhì)量更優(yōu)秀。

在數(shù)據(jù)效率上，為了加快訓(xùn)練速度，尤其是針對用戶反饋對模型進(jìn)行優(yōu)化的速度，騰訊也建立了數(shù)據(jù)飛輪，自動化構(gòu)建訓(xùn)練數(shù)據(jù)并加快模型迭代，讓模型生成準(zhǔn)確率進(jìn)一步提升。

據(jù)蘆清林透露，數(shù)據(jù)飛輪這個技術(shù)，也正是解決數(shù)據(jù)長尾場景難題的關(guān)鍵。

由于我們的生活中總是在出現(xiàn)一些潮流新詞，例如“玲娜貝兒”等，這種名詞往往在數(shù)據(jù)集中不常見，而用戶又會在輸入時使用，因此往往需要第一時間更新進(jìn)訓(xùn)練數(shù)據(jù)中。

有了數(shù)據(jù)飛輪，就能將這個過程效率進(jìn)一步提升，避免模型在見識到新詞后，依舊長時間無法生成對應(yīng)的圖像。

最后，有了算法和數(shù)據(jù)，還得有個工程平臺，來把它們組合起來快速訓(xùn)練。

為此，騰訊自研了Angel機(jī)器學(xué)習(xí)平臺，包括訓(xùn)練框架AngelPTM和推理框架AngelHCF。

訓(xùn)練上，大模型最重要的就是并行能力。為此，騰訊基于4D并行+ZeROCache機(jī)制，實現(xiàn)了千億參數(shù)混元大模型的快速訓(xùn)練。

直觀來看，AngelPTM訓(xùn)練框架相比業(yè)界主流框架DeepSpeed-Chat速度提升了1倍以上。

推理上，AngelHCF則實現(xiàn)了支持多種并行能力、支持服務(wù)部署及管理、以及自研模型無損量化三大功能，相比業(yè)界主流框架提升了1.3倍以上。

值得一提的是，在Angel機(jī)器學(xué)習(xí)框架和平臺的支持下，騰訊混元的語言模型也進(jìn)行了一輪升級，尤其是代碼能力有不小的提升。

我們也簡單測了測騰訊混元大模型更新后的代碼能力。

首先試試寫代碼，以幫老師寫一個“隨機(jī)點名程序”為例（手動狗頭）。

混元大模型很快生成了一段帶注釋的完整代碼：

import random

# 假設(shè)班級里有50個學(xué)生，這里是他們的學(xué)號
student_ids = ['001', '002', '003', '004', '005', '006', '007', '008', '009', '010',
               '011', '012', '013', '014', '015', '016', '017', '018', '019', '020',
               '021', '022', '023', '024', '025', '026', '027', '028', '029', '030',
               '031', '032', '033', '034', '035', '036', '037', '038', '039', '040',
               '041', '042', '043', '044', '045', '046', '047', '048', '049', '050']

# 使用random.choice()函數(shù)從學(xué)生學(xué)號列表中隨機(jī)選擇一個學(xué)生
random_student_id = random.choice(student_ids)

# 打印隨機(jī)選中的學(xué)生學(xué)號
print("隨機(jī)抽取的學(xué)生學(xué)號是:", random_student_id)

實測可以絲滑運行，每次都能抽到不同的幸（dao）運（mei）兒（dan）起來回答問題：

然后我們還發(fā)現(xiàn)，混元大模型竟然還能幫忙查代碼bug，屬實是程序員省心利器了。

當(dāng)然，無論是文生圖還是代碼能力，現(xiàn)在都已經(jīng)可以在騰訊混元助手中體驗。

感興趣的小伙伴，可以到騰訊混元助手排個隊或是體驗一把~