為什么有些畫面讓你終生難忘？GAN來告訴你原因
十三 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI
GAN又做了件了不起的事。
提到達(dá)芬奇的《蒙娜麗莎》，那張神秘的微笑立即浮現(xiàn)腦海。
提到梵高的《星月夜》，那片迷幻的夜空也仿佛歷歷在目。
△上：《蒙娜麗莎》；下：《星月夜》
我們深知一張圖片勝過千言萬語，但到底為什么那些著名的畫作即使很久沒再看過，也能讓人如此印象深刻呢？
或許你了解其中原理，但現(xiàn)在有一個(gè)更簡單粗暴且直觀的方法：
問問AI，讓GAN給你模擬一個(gè)過程。
這個(gè)神奇的技術(shù)叫GANalyze，來自麻省理工學(xué)院(MIT)。
什么是GANalyze
簡單來說，GANalyze就是一個(gè)使用生成模型來研究認(rèn)知特性的框架。
認(rèn)知特性可以包括記憶力、美學(xué)或者情感效價(jià)等。
MIT電氣工程和計(jì)算機(jī)科學(xué)助理教授Phillip Isola說：
關(guān)于記憶性的文章有很多，但是這種方法可以讓我們想象出什么是記憶性。
它為我們提供了一個(gè)難以用語言表達(dá)的視覺定義。
這項(xiàng)研究是建立在MemNet基礎(chǔ)之上。簡單來說，MemNet這個(gè)模型會(huì)對圖像的可記憶性進(jìn)行評(píng)級(jí)，并且還能強(qiáng)調(diào)圖像中的哪些特征會(huì)對決策產(chǎn)生影響。
而GANalyze使用了GAN技術(shù)，在一張圖像從“無人問津”到“印象深刻”的過程中，將其可視化。
量子位根據(jù)在線測試工具實(shí)驗(yàn)了一波，結(jié)果如下：
我們可以看到一個(gè)在竹林中較為模糊的熊貓，逐漸轉(zhuǎn)變?yōu)樘攸c(diǎn)鮮明的熊貓：黑色的眼睛、耳朵、爪子，和它白色的部分形成鮮明對比。
這個(gè)GAN有三個(gè)部分組成：
assesor(評(píng)估器)：基于MemNet，打開目標(biāo)圖像的記憶旋鈕，并計(jì)算如何達(dá)到預(yù)期的效果；
transfomer(轉(zhuǎn)換器)：執(zhí)行指令；
generator(生成器)：輸出最終的圖像。
來看下這張漢堡變得令人印象深刻的過程：
從左至右的變化不禁讓小編想起一句著名Rap：你看這個(gè)漢堡它又大又圓~
研究人員利用GANalyze在生成圖像的過程中，詳細(xì)的展示了讓圖像或場景脫穎而出的因素。
被試者記憶最深刻的圖像具有以下特點(diǎn)：
· 具有明亮的顏色
· 背景簡單
· 處于畫面突出的中心位置
研究的合著者Lore Goetschalckx表示：
人類的大腦在進(jìn)化過程中最關(guān)注這些特征，而這正是GAN所注意到的。
但最具美感的圖像并不是最讓人印象深刻的。
GitHub代碼
這么有意思的項(xiàng)目當(dāng)然已經(jīng)在GitHub上開源：
https://github.com/LoreGoetschalckx/GANalyze
研究人員提供了Tensorflow和Pytorch實(shí)現(xiàn)。也通過下面的途徑正式測試過：
PyTorch >= 0.4 (1.1.0) 和 torchvision >= 0.2.2 (0.3.0)
Tensorflow 1.12.0 和tensorflow_hub 0.1.1 (針對預(yù)訓(xùn)練過的BigGANs)
numpy, scipy, PIL
研究人員建議參考本地文檔來獲得更詳細(xì)的安裝說明。但是，如果是在Ubuntu的linux服務(wù)器上，以下命令可能就足夠了：
要clone這個(gè)repo，可以運(yùn)行如下代碼：
可以首先下載GANalyze項(xiàng)目頁面上托管的預(yù)訓(xùn)練的generator和assesor。
也提供了用于下載Tensorflow或PyTorch模型的實(shí)用程序腳本，可以使用以下命令進(jìn)行調(diào)用：
TensorFlow：
Pytorch：
訓(xùn)練代碼如下：
測試代碼如下：
One More Thing
其實(shí)，GANalyze除了上述功能外，研究人員發(fā)現(xiàn)它還有很多潛在的應(yīng)用價(jià)值。
例如，可以通過增強(qiáng)現(xiàn)實(shí)系統(tǒng)中的對象來檢測甚至治療失憶。
還可以通過創(chuàng)建令人難忘的圖形，幫助讀者記住信息，這可能會(huì)給教育帶來革命性的變化。
那么，你覺得這樣的GAN技術(shù)還能為我們帶來怎樣的福利呢？
- 商湯林達(dá)華萬字長文回答AGI：4層破壁，3大挑戰(zhàn)2025-08-12
- 商湯多模態(tài)大模型賦能鐵路勘察設(shè)計(jì)，讓70年經(jīng)驗(yàn)“活”起來2025-08-13
- 以“具身智能基座”為核，睿爾曼攜全產(chǎn)品矩陣及新品亮相2025 WRC2025-08-11
- 哇塞，今天北京被機(jī)器人人人人人塞滿了！2025-08-08
相關(guān)閱讀
