行早 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

Meta AI搞了一個(gè)大一統(tǒng)的自監(jiān)督學(xué)習(xí)模型Data2vec。

怎么個(gè)大一統(tǒng)法？

圖像、語音、文本都可以處理，效果還都不錯(cuò)，在CV方面甚至超過了包括MAE、MaskFeat在內(nèi)的一眾模型。

這是怎么做到的？我們來看看Data2vec的思路和結(jié)構(gòu)。

Data2vec如何統(tǒng)一圖音文

關(guān)于這個(gè)問題，我們可以從模型名字中看出一些端倪。

和Word2vec把詞轉(zhuǎn)化為可計(jì)算的向量類似，Data2vec會(huì)把不同類型的數(shù)據(jù)都轉(zhuǎn)化為同一種形式的數(shù)據(jù)序列。

這樣就成功避開了模態(tài)不同這個(gè)問題。

然后，再用自監(jiān)督學(xué)習(xí)的方法遮住這些數(shù)據(jù)的一部分，通過訓(xùn)練讓模型把遮住的部分還原。

而它的結(jié)構(gòu)也是在這個(gè)思路上設(shè)計(jì)的。

Data2vec以Transformer架構(gòu)為基礎(chǔ)，設(shè)計(jì)了一個(gè)教師-學(xué)生網(wǎng)絡(luò)結(jié)構(gòu)：

從上圖中可以看出，無論對于任何形式的輸入，都先轉(zhuǎn)化為數(shù)據(jù)序列，并mask一部分信息（或擋住狗頭，或覆蓋一段語音，或遮住一個(gè)單詞）。

然后讓學(xué)生網(wǎng)絡(luò)通過部分可見的輸入去預(yù)測完整輸入，再由教師網(wǎng)絡(luò)去調(diào)整，達(dá)到一個(gè)模型處理多任務(wù)的效果。

那接下來的問題就是如何把不同類型的輸入都轉(zhuǎn)化為同一種形式了。

Data2vec如何標(biāo)準(zhǔn)化輸入數(shù)據(jù)

在標(biāo)準(zhǔn)化輸入這一塊，Data2vec還是具體問題具體分析的。

畢竟像素、波形和文本是完全不同的形式，而Data2vec對不同形式的輸入采用了不同的編碼策略，但是目的都是一樣的。

那就是將這些輸入都轉(zhuǎn)化為數(shù)據(jù)序列。

具體的操作方法是這樣的：

其中ViT的編碼策略就是把一張圖分成一系列的圖塊，每個(gè)圖塊有16×16個(gè)像素，然后輸入到一個(gè)線性變換系統(tǒng)中。

而語音的編碼方式是用多層的一維卷積神經(jīng)網(wǎng)絡(luò)將16kHz的波形轉(zhuǎn)換為50Hz的一串?dāng)?shù)據(jù)序列。

再加上文本編碼的嵌入向量，這樣所有模態(tài)的輸入都轉(zhuǎn)換為了數(shù)據(jù)序列，方便后續(xù)的訓(xùn)練。

而對于掩碼策略來說，不同的模態(tài)的表現(xiàn)形式也是不一樣的。

例如圖像可以遮住一塊，但是語音和文本有上下文的關(guān)聯(lián)，不能隨便遮住一部分。

因此對不同的模態(tài)，Data2vec也采取了相應(yīng)的符合不同數(shù)據(jù)特征的掩碼方式。

這樣標(biāo)準(zhǔn)化之后，Data2vec還針對不同的下游任務(wù)做了一些微調(diào)，其中語音和文本的模型已經(jīng)在GitHub上放出，視覺模型也正在路上：

我們來看看這統(tǒng)一的模型性能怎么樣。

性能表現(xiàn)

雖然Data2vec三手齊抓，但是性能也沒落下。

在計(jì)算機(jī)視覺方面，在IN1K上預(yù)訓(xùn)練情況如下表所示：

和一些其他模型相比，Data2vec精度表現(xiàn)最好。而且Data2vec只訓(xùn)練了800個(gè)epochs，而表中的MAE，MaskFeat訓(xùn)練了1600個(gè)epochs。

看柱狀圖則更為明顯，藍(lán)色為Data2vec：

在語音處理方面，在LS-960上預(yù)訓(xùn)練結(jié)果如下：

可以看出，Data2vec在不同的標(biāo)簽數(shù)據(jù)量下單詞錯(cuò)誤率都比wav2vec2.0和HuBERT要低。

在GLUE評(píng)估中，Data2vec在自然語言推理（MNLI、QNLI、RTE），句子相似性（MRPC、QQP、STS-B），語法（CoLA）和情緒分析（SST）等指標(biāo)中和RoBERTa不相上下。

其中Baseline這一條是RoBERTa在和BERT類似的設(shè)置中的訓(xùn)練結(jié)果：

總體評(píng)分也差不多：

這么看來，統(tǒng)一的模型架構(gòu)真的可以有效地用于多種任務(wù)模式。

雖然Data2vec在輸入數(shù)據(jù)和掩碼方式上還是按照不同的方法來處理，但是它仍然是探索模型統(tǒng)一的嘗試。

或許將來會(huì)有統(tǒng)一的掩碼策略和不同模態(tài)數(shù)據(jù)的混合數(shù)據(jù)集，做到真正的大一統(tǒng)。

參考鏈接：

[1]https://ai.facebook.com/research/data2vec-a-general-framework-for-self-supervised-learning-in-speech-vision-and-language
[2]https://ai.facebook.com/blog/the-first-high-performance-self-supervised-algorithm-that-works-for-speech-vision-and-text
[3]https://github.com/pytorch/fairseq/tree/main/examples/data2vec