Jeff Dean談2020年機器學(xué)習(xí)趨勢：多任務(wù)和多模態(tài)會有大進(jìn)展

乾明 編輯整理
量子位 報道 | 公眾號 QbitAI

2020年，機器學(xué)習(xí)將會往何處去？

加拿大溫哥華舉辦的NeurIPS期間，在接受外媒VB采訪時，Jeff Dean交出了自己的展望。

他認(rèn)為，在多任務(wù)學(xué)習(xí)和多模態(tài)學(xué)習(xí)將會有很大進(jìn)展，以及會出現(xiàn)更加有趣的設(shè)備，讓機器學(xué)習(xí)模型的作用更好地發(fā)揮出來。

此外，他還談到了如何利用機器學(xué)習(xí)構(gòu)建AI芯片、以及谷歌對BERT的看法等等。

作為谷歌AI的掌門人，他的思考對于從業(yè)者來說，有極大的參考價值。量子位編譯如下：

談BERT：大家有點過分強調(diào)SOTA了

問：對BERT來說，今年是重要的一年。到處都是 BERT，還有各種各樣的 BERT。BERT有什么變化？接下來會有什么樣的變化？

Jeff Dean：BERT很有趣，是因為它建立在其他研究成果的進(jìn)展之上。他在某種程度上取決于一年前完成的Transformer工作。

Transformer的工作，實際上是在處理早期基于LSTM的序列模型看到的問題。我認(rèn)為，整個研究線索在實際生產(chǎn)機器學(xué)習(xí)模型方面非常有成效。

現(xiàn)在讓我們?nèi)ヌ幚砀訌?fù)雜的NLP任務(wù)，我們能夠做得更多。在一堆/任意文本上，對預(yù)訓(xùn)練的BERT進(jìn)行微調(diào)，對于許多 NLP 問題來說，這是一個很好的范例，我們希望能解決這些問題。

因此在谷歌內(nèi)部，我們也在自己的產(chǎn)品中看到了不同的應(yīng)用場景，比如我們最近在搜索引擎中應(yīng)用了BERT來提高搜索質(zhì)量。

我認(rèn)為，你也應(yīng)該在更加廣泛場景中看到了這一點。我們?nèi)匀幌Ｍ吹?，能做更多上下文的模型?/p>

就像現(xiàn)在，BERT和其他模型在數(shù)百個單詞文本上工作得很好，但在上萬個單詞上就很難處理好了。

這是一個有趣的方向。我認(rèn)為多模態(tài)模型非常有趣。可以用有趣的方式將文本與圖像、音頻或視頻結(jié)合起來。

我們已經(jīng)在這方面做了一些工作，社區(qū)的其他成員也做了一些工作，但我認(rèn)為這在未來會變得更加重要。我相信，人們會基于BERT進(jìn)行改進(jìn)。

因此，基礎(chǔ)研究也將繼續(xù)下去。

問：是的，我看到了很多MT-DNN、 RoBERTta之類的東西。

Jeff Dean：是的，它們每個都有一個可愛的名字。但我確實認(rèn)為，大家有點過分強調(diào)在某些特定問題上取得前所未有的、稍微好一點的、最先進(jìn)的結(jié)果。

以及對完全不同的解決問題的方法有點缺乏欣賞。因為很難，這些方法可能沒有達(dá)到最先進(jìn)的水平，但它們是一個非常值得探索的領(lǐng)域。

問：比如魯棒性？

Jeff Dean：是的，或者“是認(rèn)為用完全不同的方式來解決一個問題很重要，并看到了希望”。如果人們追求這些方向，那將會很有趣。

問：而不是試圖登上GLUE排行榜的榜首？

Jeff Dean：是的。

談AI芯片：后摩爾定律時代，專用芯片很有效

問：在后摩爾定律的世界里，需要記住哪些東西？

Jeff Dean：用專門的芯片而不是用CPU來做非通用的計算，已經(jīng)被證明非常有效。

比如TPU或者GPU，雖然有很多限制，但它們是圍繞著機器學(xué)習(xí)計算需要做什么而設(shè)計的，相對于通用GPU，這帶來了很大的性能優(yōu)勢。

因此，我們很難看到過去那種算力的大幅度增長，但我們正在通過專業(yè)化，來獲得更大的架構(gòu)優(yōu)勢。

問：對機器學(xué)習(xí)在創(chuàng)建機器學(xué)習(xí)硬件方面的應(yīng)用，你能詳細(xì)說說嗎？

Jeff Dean：在將機器學(xué)習(xí)用到ASIC芯片設(shè)計方面，我們已經(jīng)做了一些早期工作，尤其是晶體管布局和它們?nèi)绾芜B接的。

基本上，現(xiàn)在在設(shè)計過程中，已經(jīng)有一些工具可以幫助布局，但也需要有人工布局和布線專家，來完成多次迭代。

從你想要的設(shè)計開始，到把它放在一個芯片上，并在面積、功率和導(dǎo)線長度方面有正確的限制，同時還要滿足所有設(shè)計規(guī)劃或制作工藝，這通常需要一個多星期的時間。

所以事實證明，在一些工作中，我們可以使用機器學(xué)習(xí)來做更多的自動布局和布線。

我們基本上可以有一個機器學(xué)習(xí)模型，去針對特定芯片玩ASIC放置的游戲。我們內(nèi)部一直在試驗的一些芯片上，這也取得了不錯的結(jié)果。

談2020年：多任務(wù)學(xué)習(xí)和多模態(tài)學(xué)習(xí)會有大進(jìn)展

問：你認(rèn)為在2020年人工智能領(lǐng)域會出現(xiàn)哪些趨勢或里程碑？

Jeff Dean：我認(rèn)為，在多任務(wù)學(xué)習(xí)和多模態(tài)學(xué)習(xí)方面會有很大進(jìn)展，解決更多的問題。我覺得那會很有趣。

而且我認(rèn)為，將會有越來越有效的設(shè)備（手機或其他類型的設(shè)備）出現(xiàn)，來讓模型更有效地發(fā)揮作用。

此外，與人工智能原則相關(guān)的工作顯然是重要的。但對于谷歌來說，我們是一個足夠大的研究機構(gòu)，我們有很多不同的推動力，很難說只有一個。

但總的來說，我們將進(jìn)一步發(fā)展最先進(jìn)的技術(shù)，進(jìn)行基礎(chǔ)的基礎(chǔ)研究，以提高我們在許多重要領(lǐng)域的能力，比如NLP、語言模型或多模態(tài)的東西。

同時，我們也會與我們的同事和產(chǎn)品團(tuán)隊合作，為產(chǎn)品應(yīng)用做一些研究，使他們能夠構(gòu)建有趣的功能和產(chǎn)品。

我們將做一些谷歌目前還沒有，但用了機器學(xué)習(xí)會很有趣的應(yīng)用，比如我們一直在做的芯片設(shè)計工作。

問：比如日常的機器人？

Jeff Dean：是的，我們在機器人研究方面做了大量的工作。我認(rèn)為，讓機器人在某種隨意的環(huán)境中工作，真的是一個很難解決的問題。

但在過去的幾年里，我們在這方面也取得了相當(dāng)大的進(jìn)展，我認(rèn)為這也是一個有趣的研究方向。我們正在努力推進(jìn)。

源報道鏈接：

Google AI chief Jeff Dean interview: Machine learning trends in 2020