Jeff Dean親筆盤點(diǎn)谷歌AI 2019：日均2篇論文，縱橫16大方向，一文匯集重要開源算法

乾明 邊策 十三 郭一璞 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI

又一年，Jeff Dean代表Google AI，總結(jié)過去一年AI大趨勢。

這是姐夫作為Google AI大總管的例行年度匯報，也是全球AI——乃至前沿技術(shù)第一大廠的肌肉展示。

他說，過去的2019年，是非常激動人心的一年。

依舊是學(xué)術(shù)和應(yīng)用兩開花，開源和新技術(shù)同步推進(jìn)。

從基礎(chǔ)研究開始，到技術(shù)在新興領(lǐng)域的應(yīng)用，再到展望2020。

雖然匯報格式?jīng)]有變化，但人工智能技術(shù)，又往前邁出了一大步。

Jeff Dean總結(jié)了16個大方面的AI成果，并透露全年AI論文發(fā)表數(shù)達(dá)754篇，平均每天都有2篇論文發(fā)表。

涵蓋AutoML、機(jī)器學(xué)習(xí)算法、量子計算、感知技術(shù)、機(jī)器人、醫(yī)療AI、AI向善……

樁樁件件，不僅在當(dāng)前推動了AI作用社會方方面面，而且也是對未來趨勢的小小展示。

毫不夸張地說，欲知2019 AI技術(shù)進(jìn)展，看Jeff這篇總結(jié)再合適不過；欲知2020 AI會走向何方，看Jeff這篇也能獲益良多。

為了方便閱讀，我們先整理了一個小目錄給你：

機(jī)器學(xué)習(xí)算法：理解神經(jīng)網(wǎng)絡(luò)中動態(tài)訓(xùn)練性質(zhì)

AutoML：持續(xù)關(guān)注，實(shí)現(xiàn)機(jī)器學(xué)習(xí)自動化

自然語言理解：結(jié)合多種方式、任務(wù)，提高技術(shù)水平

機(jī)器感知：對圖像、視頻、環(huán)境更深入理解和感知

機(jī)器人技術(shù)：自監(jiān)督方式訓(xùn)練，發(fā)布機(jī)器人測試基準(zhǔn)

量子計算：首次實(shí)現(xiàn)量子優(yōu)越性

AI在其他學(xué)科的應(yīng)用：從蒼蠅的腦子到數(shù)學(xué)，還有化學(xué)分子研究和藝術(shù)創(chuàng)作

手機(jī)AI應(yīng)用：本地部署的語音、圖像識別模型，還有更強(qiáng)的翻譯、導(dǎo)航和拍照

健康和醫(yī)療：已用于乳腺癌、皮膚病的臨床診斷

AI輔助殘障人士：用圖像識別、語音轉(zhuǎn)寫技術(shù)造福弱勢群體

AI促進(jìn)社會公益：預(yù)告洪水、保護(hù)動植物、教小朋友識字學(xué)數(shù)學(xué)，還砸了1個多億做了20個公益項(xiàng)目

開發(fā)者工具打造和造福研究者社區(qū)：TensorFlow迎來全面升級

開放11個數(shù)據(jù)集：從強(qiáng)化學(xué)習(xí)到自然語言處理，再到圖像分割

頂會研究和Google研究的全球擴(kuò)張：發(fā)表大量論文，投入大量資源資助教師、學(xué)生和各方面研究人員進(jìn)行研究

人工智能倫理：推進(jìn)人工智能在公平、隱私保護(hù)、可解釋性方面研究進(jìn)展

展望2020年及以后：深度學(xué)習(xí)革命將繼續(xù)重塑我們對計算和計算機(jī)的看法。

機(jī)器學(xué)習(xí)算法

2019年，Google在機(jī)器學(xué)習(xí)算法和方法的許多不同領(lǐng)域進(jìn)行了研究。

一個主要的焦點(diǎn)是理解神經(jīng)網(wǎng)絡(luò)中動態(tài)訓(xùn)練的性質(zhì)。

在下面這項(xiàng)研究中，研究人員的實(shí)驗(yàn)結(jié)果表明，縮放數(shù)據(jù)并行量可以讓模型收斂更快有效。

論文地址：

https://arxiv.org/pdf/1811.03600.pdf

與數(shù)據(jù)并行性相比，模型并行性可以是擴(kuò)展模型的有效方法。

GPipe是一個可以讓模型并行化更加有效的庫：

當(dāng)整個模型的一部分在處理某些數(shù)據(jù)時，其他部分可以做別的工作，計算不同的數(shù)據(jù)。

這種pipline方法可以組合在一起，來模擬更有效的batch大小。

GPipe庫地址：

https://ai.googleblog.com/2019/03/introducing-gpipe-open-source-library.html

當(dāng)機(jī)器學(xué)習(xí)模型能夠獲取原始輸入數(shù)據(jù)，并學(xué)習(xí)“disentangled”高級表示形式時，它們是非常有效的。

這些表示形式通過用戶希望模型能夠區(qū)分的屬性來區(qū)分不同種類的示例。

機(jī)器學(xué)習(xí)算法的進(jìn)步，主要是為了鼓勵學(xué)習(xí)更好的表示法，以此來推廣到新的示例、問題及領(lǐng)域。

2019年，Google在不同的背景下研究了這方面的問題：

比如，他們檢查了哪些屬性影響了從無監(jiān)督數(shù)據(jù)中學(xué)習(xí)的表示，以便更好地理解什么因素能夠有助于良好的表示和有效的學(xué)習(xí)。

博客地址：
https://ai.googleblog.com/2019/04/evaluating-unsupervised-learning-of.html

Google表明可以使用margin分布的統(tǒng)計量來預(yù)測泛化差距，有助于了解哪種模型最有效地進(jìn)行了泛化。

除此之外，還在強(qiáng)化學(xué)習(xí)的背景下研究了Off-Policy分類，以便更好地理解哪些模型可能泛化得最好。

博客地址：
http://ai.googleblog.com/2019/07/predicting-generalization-gap-in-deep.html

研究了為強(qiáng)化學(xué)習(xí)指定獎勵功能的方法，使學(xué)習(xí)系統(tǒng)可以更直接地從真實(shí)目標(biāo)中進(jìn)行學(xué)習(xí)。

博客地址：

http://ai.googleblog.com/2019/02/learning-to-generalize-from-sparse-and.html

AutoML

Google在2019年依然持續(xù)關(guān)注著AutoML。

這種方法可以實(shí)現(xiàn)機(jī)器學(xué)習(xí)許多方面的自動化，并且在某些類型的機(jī)器學(xué)習(xí)元決策方面，通?？梢匀〉酶玫慕Y(jié)果，比如：

Google展示了如何使用神經(jīng)結(jié)構(gòu)搜索技術(shù)，在計算機(jī)視覺問題上獲得更好的結(jié)果，其在ImageNet上的正確率為84.4%，而參數(shù)比以前的最佳模型少8倍。

博客地址：
http://ai.googleblog.com/2019/05/efficientnet-improving-accuracy-and.html

Google展示了一種神經(jīng)架構(gòu)搜索方法，展示了如何找到適合特定硬件加速器的高效模型。從而為移動設(shè)備提供高精度、低計算量的運(yùn)行模型。

博客地址：
http://ai.googleblog.com/2019/08/efficientnet-edgetpu-creating.html

Google展示了如何將AutoML工作擴(kuò)展到視頻模型領(lǐng)域，如何找到能夠?qū)崿F(xiàn)最先進(jìn)結(jié)果的架構(gòu)，以及能夠匹配手工模型性能的輕量級架構(gòu)。

結(jié)果使計算量減少了50倍。

博客地址：
http://ai.googleblog.com/2019/10/video-architecture-search.html

Google開發(fā)了用于表格數(shù)據(jù)的AutoML技術(shù)，并合作發(fā)布了這項(xiàng)技術(shù)，作為Google Cloud AutoML Tables的新產(chǎn)品。

博客地址：
http://ai.googleblog.com/2019/05/an-end-to-end-automl-solution-for.html

展示了如何在不使用任何訓(xùn)練步驟，來更新被評估模型的權(quán)重的情況下，找到有趣的神經(jīng)網(wǎng)絡(luò)架構(gòu)，讓結(jié)構(gòu)搜索的計算效率更高。

博客地址：
http://ai.googleblog.com/2019/08/exploring-weight-agnostic-neural.html

探索了發(fā)現(xiàn)NLP任務(wù)的體系結(jié)構(gòu)。這些任務(wù)的性能明顯優(yōu)于普通的Transformer模型，并且大大降低了計算成本。

博客地址：

http://ai.googleblog.com/2019/06/applying-automl-to-transformer.html

研究證明了自動學(xué)習(xí)數(shù)據(jù)增強(qiáng)方法可以擴(kuò)展到語音識別模型中。

與現(xiàn)有的人類ML-expert驅(qū)動的數(shù)據(jù)增強(qiáng)方法相比，可以在較少數(shù)據(jù)情況下獲得了顯著更高的準(zhǔn)確性。

博客地址：
http://ai.googleblog.com/2019/04/specaugment-new-data-augmentation.html

推出了第一款使用AutoML進(jìn)行關(guān)鍵字識別和口語識別的語音應(yīng)用程序。

在實(shí)驗(yàn)中，發(fā)現(xiàn)了比人類設(shè)計更好的模型：效率更高，性能也更好。

博客地址：
https://www.isca-speech.org/archive/Interspeech_2019/abstracts/1916.html

自然語言理解

在過去幾年里，自然語言理解、翻譯、自然對話、語音識別和相關(guān)任務(wù)的模型取得了顯著進(jìn)展。

Google在2019年工作的一個主題是：

通過結(jié)合各種方式或任務(wù)來提高技術(shù)水平，以此來訓(xùn)練更強(qiáng)大的模型。

比如，只用1個模型，在100種語言之間進(jìn)行翻譯訓(xùn)練(而不是使用100個不同的模型)，從而顯著提高了翻譯質(zhì)量。

博客地址：
http://ai.googleblog.com/2019/10/exploring-massively-multilingual.html

展示了如何將語音識別和語言模型結(jié)合起來，并在多種語言上訓(xùn)練系統(tǒng)，可以顯著提高語音識別的準(zhǔn)確性。

博客地址：
http://ai.googleblog.com/2019/09/large-scale-multilingual-speech.html

研究證明，訓(xùn)練一個聯(lián)合模型來完成語音識別、翻譯和文本到語音的生成任務(wù)是有可能的。

并且還具有一定的優(yōu)勢，例如在生成的翻譯音頻中保留說話人的聲音， 以及更簡單的整體學(xué)習(xí)系統(tǒng)。

博客地址：
http://ai.googleblog.com/2019/05/introducing-translatotron-end-to-end.html

研究展示了如何結(jié)合許多不同的目標(biāo)，來生成在語義檢索方面明顯更好的模型。

例如，在GoogleTalk to Books中提問，“什么香味能喚起回憶?”

結(jié)果是，“對我來說，茉莉花的香味和烤盤的香味，讓我想起了我無憂無慮的童年。”

博客地址：
http://ai.googleblog.com/2019/07/multilingual-universal-sentence-encoder.html

展示了如何使用對抗性訓(xùn)練程序來顯著提高語言翻譯的質(zhì)量和魯棒性。

博客地址：
http://ai.googleblog.com/2019/07/robust-neural-machine-translation.html

隨著基于seq2seq、Transformer、BERT、Transformer-XL和ALBERT等模型的發(fā)展，Google的語言理解技術(shù)能力不斷提高。并已經(jīng)應(yīng)用到了許多核心產(chǎn)品和功能中。

2019年，BERT在核心搜索和排名算法中的應(yīng)用，帶來了過去五年里搜索質(zhì)量的最大提升(也是有史以來最大的提升之一)。

機(jī)器感知

在過去十年中，用于更好地了解靜態(tài)圖像的模型取得了顯著進(jìn)步。

接下來是Google在過去一年中，在這個領(lǐng)域中的主要研究。

包括圖像和視頻的更深入的理解，以及對生活和環(huán)境的感知，具體有：

研究了鏡頭中更細(xì)粒度的視覺理解，支持更強(qiáng)大的視覺搜索。

博客地址：
https://www.blog.google/products/search/helpful-new-visual-features-search-lens-io/

展示了Nest Hub Max的智能相機(jī)功能，例如快速手勢、面部匹配和智能視頻通話取景。

博客地址：
https://blog.google/products/google-nest/hub-max-io/

研究了更好的視頻深度預(yù)測模型。

博客地址：
https://ai.googleblog.com/2019/05/moving-camera-moving-people-deep.html

研究使用時間周期一致性，學(xué)習(xí)對視頻進(jìn)行細(xì)粒度時間理解的更好表示。

博客地址：
https://ai.googleblog.com/2019/08/video-understanding-using-temporal.html

學(xué)習(xí)文本、語音和視頻中與未標(biāo)記視頻在時間上一致的表示形式。

博客地址：
https://ai.googleblog.com/2019/09/learning-cross-modal-temporal.html

也能夠通過對過去的觀察，來預(yù)測未來的視覺輸入。

博客地址：
https://ai.googleblog.com/2019/03/simulated-policy-learning-in-video.html

并證明了模型可以更好地理解視頻中的動作序列。

博客地址：
https://ai.googleblog.com/2019/04/capturing-special-video-moments-with.html

機(jī)器人技術(shù)

機(jī)器學(xué)習(xí)在機(jī)器人控制中的應(yīng)用是Google的重要研究領(lǐng)域。Google認(rèn)為，這是使機(jī)器人能夠在復(fù)雜的現(xiàn)實(shí)世界環(huán)境（比如日常家庭、企業(yè)）中有效運(yùn)行的重要工具。

Google2019年在機(jī)器人技術(shù)中所做的工作包括：

1、在通過自動強(qiáng)化學(xué)習(xí)進(jìn)行遠(yuǎn)程機(jī)器人導(dǎo)航中，Google展示了如何將強(qiáng)化學(xué)習(xí)與遠(yuǎn)程項(xiàng)目結(jié)合，使機(jī)器人能夠更有效地在復(fù)雜的環(huán)境（例如Google辦公大樓）中導(dǎo)航。

相關(guān)鏈接：

http://ai.googleblog.com/2019/02/long-range-robotic-navigation-via.html

2、在PlaNet中，Google展示了只從圖像中有效地學(xué)習(xí)世界模型，以及如何利用這種模型以更少的學(xué)習(xí)次數(shù)完成任務(wù)。

相關(guān)鏈接：
http://ai.googleblog.com/2019/02/introducing-planet-deep-planning.html

3、在TossingBot上，Google將物理定律和深度學(xué)習(xí)統(tǒng)一起來，讓機(jī)器人通過實(shí)驗(yàn)來學(xué)習(xí)直觀物理原理，然后將物體按照學(xué)習(xí)到的規(guī)律扔進(jìn)盒子里。

相關(guān)鏈接：

http://ai.googleblog.com/2019/03/unifying-physics-and-deep-learning-with.html

4、在Soft Actor-Critic的研究中中，Google證明了，訓(xùn)練強(qiáng)化學(xué)習(xí)算法的方式，既可以通過最大化期望的獎勵，也可以通過最大化策略的熵來實(shí)現(xiàn)。

這可以幫助機(jī)器人學(xué)習(xí)得更快，并且對環(huán)境的變化更加魯棒。

相關(guān)鏈接：
http://ai.googleblog.com/2019/01/soft-actor-critic-deep-reinforcement.html

5、Google還發(fā)展了機(jī)器人的自監(jiān)督學(xué)習(xí)算法，讓機(jī)器人以自監(jiān)督的方式，通過分解物體的方式物來學(xué)習(xí)組裝物體。這表明機(jī)器人可以和兒童一樣，從拆解中學(xué)到知識。

相關(guān)鏈接：
http://ai.googleblog.com/2019/10/learning-to-assemble-and-to-generalize.html

6、最后，Google還推出了低成本機(jī)器人的基準(zhǔn)測試ROBEL，這是一個針對低成本機(jī)器人的開源平臺，幫助其他開發(fā)者更快更方便地研發(fā)機(jī)器人硬件。

相關(guān)鏈接：
http://ai.googleblog.com/2019/10/robel-robotics-benchmarks-for-learning.html

量子計算

在2019年，Google在量子計算上取得了重大圖片，首次向世人展示了量力優(yōu)越性：在一項(xiàng)計算任務(wù)中，量子計算機(jī)的速度遠(yuǎn)遠(yuǎn)超過經(jīng)典計算機(jī)。

原本經(jīng)典計算機(jī)需要計算10000年的任務(wù)，量子計算機(jī)僅需200秒即可完成。這項(xiàng)研究登上了今年10月24日Nature雜志的封面。

△ Google用于量子計算的Sycamore處理器

GoogleCEO皮查伊說：“它的意義就像第一枚火箭成功地脫離地球引力，飛向太空邊緣?！绷孔佑嬎銠C(jī)會在材料科學(xué)、量子化學(xué)和大規(guī)模優(yōu)化等領(lǐng)域中發(fā)揮重要的作用。

Google還在努力使量子算法更易于表達(dá)、更易于控制硬件，并且Google已經(jīng)找到了在量子計算中使用經(jīng)典機(jī)器學(xué)習(xí)技術(shù)的方法。

AI在其他學(xué)科的應(yīng)用

人工智能和機(jī)器學(xué)習(xí)在其他科學(xué)領(lǐng)域的應(yīng)用方面，Google發(fā)了很多論文，主要是在多組織協(xié)作方面。

論文集：
https://research.google/pubs/?area=general-science

今年的重點(diǎn)有：

蒼蠅大腦交互性自動3D重建，用機(jī)器學(xué)習(xí)模型來精心繪制蒼蠅大腦的每個神經(jīng)元，Jeff Dean稱這是映射蒼蠅大腦結(jié)構(gòu)的的里程碑。

相關(guān)博客：
https://ai.googleblog.com/2019/08/an-interactive-automated-3d.html

在為偏微分方程學(xué)習(xí)更好的仿真方法中，Google用機(jī)器學(xué)習(xí)加速偏微分方程計算，這也是研究氣候變化、流體動力學(xué)、電磁學(xué)、熱傳導(dǎo)和廣義相對論等基礎(chǔ)計算問題的核心。

△ Burgers方程的兩種解法仿真

Google還用機(jī)器學(xué)習(xí)模型判斷氣味，用GNN判斷分子結(jié)構(gòu)，來預(yù)測它聞起來是什么味兒。

相關(guān)報道：
Google造出AI調(diào)香師：看一眼分子結(jié)構(gòu)，就知道它聞起來什么味兒

同樣在化學(xué)方面，Google還做了一個強(qiáng)化學(xué)習(xí)框架來優(yōu)化分子。

相關(guān)論文：
https://www.nature.com/articles/s41598-019-47148-x

藝術(shù)創(chuàng)作方面，GoogleAI的努力就更多了，比如AI+AR的藝術(shù)表現(xiàn)

https://www.blog.google/outreach-initiatives/arts-culture/how-artists-use-ai-and-ar-collaborations-google-arts-culture/

用機(jī)器重新編排舞蹈：

https://www.blog.google/technology/ai/bill-t-jones-dance-art/

AI作曲的新探索：

https://www.blog.google/technology/ai/behind-magenta-tech-rocked-io/

還延伸出了一個好玩的AI作曲Doodle：

https://www.blog.google/technology/ai/honoring-js-bach-our-first-ai-powered-doodle/

手機(jī)AI應(yīng)用

Google做的很多事情都是借機(jī)器學(xué)習(xí)賦予手機(jī)新的能力，這些模型都能在手機(jī)端運(yùn)行，就算開了飛行模式，這些功能依然可以使用。

現(xiàn)在，手機(jī)端語音識別模型、視覺模型、手寫識別模型都已經(jīng)實(shí)現(xiàn)了。

相關(guān)博客：

語音識別
https://ai.googleblog.com/2019/03/an-all-neural-on-device-speech.html
視覺模型
https://ai.googleblog.com/2019/11/introducing-next-generation-on-device.html
手寫識別模型
https://ai.googleblog.com/2019/03/rnn-based-handwriting-recognition-in.html

Jeff Dean稱，這為實(shí)現(xiàn)更強(qiáng)大的新功能鋪平了道路。

此外，今年Google在手機(jī)上的亮點(diǎn)有：

Live Caption功能，手機(jī)上任何應(yīng)用播放的視頻，它都能給自動加上字幕。

相關(guān)博客：
https://ai.googleblog.com/2019/10/on-device-captioning-with-live-caption.html

Recorder應(yīng)用，讓你能搜索手機(jī)錄下的音頻中的內(nèi)容。

相關(guān)博客：
https://ai.googleblog.com/2019/12/the-on-device-machine-learning-behind.html

Google翻譯的拍照翻譯功能也做了升級，新增支持阿拉伯語、印地語、馬來語、泰語和越南語等多種語言的支持，而且不只是英語和其他語言翻譯，英語之外的其他語言互譯也可以了，還能自動找到相機(jī)畫幅中的文字在哪里。

相關(guān)博客：
https://www.blog.google/products/translate/google-translates-instant-camera-translation-gets-upgrade/

還在ARCore里發(fā)布了一個面部增強(qiáng)API，幫你實(shí)現(xiàn)實(shí)時的AR玩法。

面部增強(qiáng)API：
https://developers.google.com/ar/develop/java/augmented-faces/

還有移動端手勢識別，這個做好之后就能做手勢交互了。

相關(guān)報道：
Google開源手勢識別器，手機(jī)能用，運(yùn)行流暢，還有現(xiàn)成的App，但是被我們玩壞了

還用RNN改進(jìn)了手機(jī)屏幕上的手寫輸入識別。

相關(guān)博客：
https://ai.googleblog.com/2019/03/rnn-based-handwriting-recognition-in.html

在導(dǎo)航定位方面，GPS往往只是大致定位，但AI可以發(fā)揮關(guān)鍵作用。

結(jié)合Google街景的數(shù)據(jù)，舉著手機(jī)轉(zhuǎn)一圈，手機(jī)就會變成一個認(rèn)路的朋友一樣，照著街景和地圖給你指出來：這是哪棟樓，這是哪條街，這是南這是北，你該朝這兒走。

相關(guān)博客：
https://ai.googleblog.com/2019/02/using-global-localization-to-improve.html

另外，為了保證用戶隱私，Google也一直在研究聯(lián)合學(xué)習(xí)，下面這篇論文就是2019年Google團(tuán)隊(duì)轉(zhuǎn)寫的關(guān)于聯(lián)合學(xué)習(xí)進(jìn)展的文章：

https://arxiv.org/abs/1912.04977

還有老生常談的手機(jī)拍照，Google2019年提升了手機(jī)自拍的能力。

相關(guān)博客：
https://ai.googleblog.com/2019/04/take-your-best-selfie-automatically.html

背景虛化和人像模式也在2019年獲得了提升。

相關(guān)博客：
https://ai.googleblog.com/2019/12/improvements-to-portrait-mode-on-google.html

夜景挑戰(zhàn)拍星星也有巨大的提升，還發(fā)了SIGGRAPH Asia的論文。

相關(guān)博客：
https://ai.googleblog.com/2019/11/astrophotography-with-night-sight-on.html

相關(guān)論文：
https://arxiv.org/abs/1905.03277
https://arxiv.org/abs/1910.11336

健康和醫(yī)療

2019年是Google Health團(tuán)隊(duì)經(jīng)歷的第一個完整年。

在2018年末，Google將Google Research健康團(tuán)隊(duì)、Deepmind Health和與健康相關(guān)的硬件部門重組，新建了Google Health團(tuán)隊(duì)。

1、在疾病的診斷和及早發(fā)現(xiàn)上，Google做出了多項(xiàng)成果：

用深度學(xué)習(xí)模型發(fā)現(xiàn)乳腺癌，準(zhǔn)確性高于人類專家，降低了診斷中的假陽性和假陰性案例。這項(xiàng)研究不久前剛登上Nature雜志。

相關(guān)鏈接：

谷歌AI乳腺癌檢測超過人類，LeCun質(zhì)疑引起討論，但平胸妹子可能不適用

另外，Google還在皮膚疾病診斷、預(yù)測急性腎損傷、發(fā)現(xiàn)早期肺癌方面均做出一些新成果。

2、Google將機(jī)器學(xué)習(xí)與其他技術(shù)結(jié)合用在其他醫(yī)療技術(shù)中，比如在顯微鏡中加入增強(qiáng)顯示技術(shù)，幫助醫(yī)生快速定位病灶。

相關(guān)鏈接：

AI實(shí)時篩查癌細(xì)胞，普通顯微鏡簡單改裝就能用，谷歌新突破登上Nature子刊

Google還為病理學(xué)家構(gòu)建了以人為中心的相似圖像搜索工具，允許檢查相似病例來幫助醫(yī)生做出更有效的診斷。

AI輔助殘障人士

AI與我們的生活越來越緊密。在過去的一年里，Google用AI為我們的日常生活提供幫助。

我們可以很容易看到美麗的圖像，聽到喜歡的歌曲，或與親人交談、然而，全球有超過十億人無法用這些方式了解世界。

機(jī)器學(xué)習(xí)技術(shù)可以通過將這些視聽信號轉(zhuǎn)換成其他信號，為殘障人士服務(wù)。Google提供的AI助手技術(shù)有：

Lookout幫助盲人或視力低下的人識別其周圍環(huán)境信息。

實(shí)時轉(zhuǎn)錄技術(shù)Live Transcribe幫助聾啞或聽障礙人士將語音快速轉(zhuǎn)化為文字。

相關(guān)鏈接：

谷歌AI拜大年：為聾啞人帶來科技福利，首頁涂鴉有驚喜

Euphonia項(xiàng)目實(shí)現(xiàn)了個性化的語音到文本轉(zhuǎn)換。對于患有漸凍癥等疾病導(dǎo)致口齒不清的人，這項(xiàng)研究，提高了自動語音識別的準(zhǔn)確率。

另外還有一個Parrotron項(xiàng)目，也是使用端到端神經(jīng)網(wǎng)絡(luò)來幫助改善交流，但是研究重點(diǎn)是語音到語音的轉(zhuǎn)換。

對于盲人和弱視人群，Google利用AI技術(shù)來產(chǎn)生圖像的描述。當(dāng)屏幕閱讀器遇到無描述的圖像或圖形時，Chrome現(xiàn)在可以自動創(chuàng)建描述內(nèi)容。

音頻形式讀取文本的工具Lens for Google Go，極大地幫助了那些文盲用戶在單詞的世界中獲取信息。

AI促進(jìn)社會公益

Jeff Dean說，機(jī)器學(xué)習(xí)對解決許多重大社會問題有巨大的意義，Google一直在一些社會問題領(lǐng)域做出努力，致力于讓其他人能用創(chuàng)造力和技能來解決這些問題。

比如洪水問題，每年都有數(shù)億人遭受洪水影響。Google用機(jī)器學(xué)習(xí)、計算和更好的數(shù)據(jù)庫，來做出洪水預(yù)測，并給受影響地區(qū)的數(shù)百萬人發(fā)送警報。

甚至，他們還辦了一個workshop，找了許多研究人員來專門解決這個問題。

相關(guān)博客：
https://www.blog.google/technology/ai/tracking-our-progress-on-flood-forecasting/
https://ai.googleblog.com/2019/09/an-inside-look-at-flood-forecasting.html
https://ai.googleblog.com/2019/03/a-summary-of-google-flood-forecasting.html

另外，Google還做了一些機(jī)器學(xué)習(xí)和動植物研究相關(guān)的工作。

他們與七個野生動物保護(hù)組織合作，用機(jī)器學(xué)習(xí)幫助分析野生動物的照片數(shù)據(jù)，找到這些野生動物的群落都在哪里。

相關(guān)博客：
https://www.blog.google/products/earth/ai-finds-where-the-wild-things-are/

Google還和美國海洋和大氣管理局合作，借助水下的聲音數(shù)據(jù)判斷鯨的種群位置。

相關(guān)博客：
https://www.blog.google/technology/ai/pattern-radio-whale-songs/

Google發(fā)布了一套工具，用機(jī)器學(xué)習(xí)研究生物多樣性。

相關(guān)博客：
A New Workflow for Collaborative Machine Learning Research in Biodiversity
https://ai.googleblog.com/2019/10/a-new-workflow-for-collaborative.html

他們還舉辦了一個Kaggle比賽，用計算機(jī)視覺給木薯葉子上的各種疾病分類。木薯是非洲第二大碳水化合物來源，木薯的病害影響人們的視頻安全問題。

https://www.kaggle.com/c/cassava-disease

Google Earth的Timelapse功能也得到了更新，甚至你還可以從這里看到人口流動和遷移的數(shù)據(jù)。

相關(guān)博客：
https://ai.googleblog.com/2019/06/an-inside-look-at-google-earth-timelapse.html
https://ai.googleblog.com/2019/11/new-insights-into-human-mobility-with.html

對于教育方面，Google做了帶語音識別技術(shù)的Bolo應(yīng)用，指導(dǎo)小朋友們學(xué)英語。這個應(yīng)用部署在了本地，可以離線運(yùn)行，它已經(jīng)幫助80萬印度兒童識字，小朋友們累計讀了了10億單詞，在印度200個村子的試點(diǎn)中，64%的小朋友閱讀能力有所提高。

仿佛是一個Google版的英語流利說。

相關(guān)博客：
https://www.blog.google/technology/ai/bolo-literacy/

除了識字，還有數(shù)學(xué)、物理等更復(fù)雜的學(xué)習(xí)科目。Google做了Socratic應(yīng)用來幫高中生學(xué)數(shù)學(xué)。

此外，為了讓AI在公益方面發(fā)揮更大的作用，Google舉辦了AI Impact Challenge，收集到了來自119個國家超過2600個提案。

最終20個能解決重大社會問題和環(huán)境問題的提案脫穎而出，Google在這些提案項(xiàng)目上投入了2500萬美元（超過1.7億人民幣）的資助，做出了一些成績，包括：

無國界醫(yī)生組織（MSF）創(chuàng)建了一個免費(fèi)手機(jī)App，用圖像識別工具幫助條件不好的地方的診所醫(yī)生分析抗菌圖像，為給病人用什么藥提供建議，這個項(xiàng)目已經(jīng)在約旦試點(diǎn)。

無國界醫(yī)生組織的項(xiàng)目報道：
https://www.doctorswithoutborders.org/what-we-do/news-stories/news/msf-receives-google-grant-develop-new-free-smartphone-app-help

世界上有十億人靠小型農(nóng)場過活，但一旦發(fā)生病蟲害，就會斷了他們的活路。

因此，一家名叫Wadhwani AI的NPO，用圖像分類模型來辨別農(nóng)場中的害蟲，并對于應(yīng)該噴哪種農(nóng)藥、何時噴藥給出建議，提高了農(nóng)作物的產(chǎn)量。

熱帶雨林的非法砍伐是氣候變化的主要影響因素，一個名叫“雨林連接（Rainforest Connection）”的組織用深度學(xué)習(xí)進(jìn)行生物聲學(xué)檢測，拿一些舊手機(jī)就可以跟蹤雨林的健康狀況，檢測其中的威脅。

△ Google資助的20個公益項(xiàng)目

開發(fā)者工具打造和造福研究者社區(qū)

作為全球第一AI大廠，Google也是開源先鋒，不斷為社區(qū)發(fā)光發(fā)熱，一方面是集中在TensorFlow上。

Jeff Dean說，因?yàn)門ensorFlow 2.0發(fā)布，對于開源社區(qū)來說，過去一年是激動人心的一年。

這是TensorFlow發(fā)布以來，第一次重大升級，使構(gòu)建ML系統(tǒng)和應(yīng)用程序比以往任何時候都要容易。

量子位相關(guān)報道如下：

GoogleTF2.0凌晨發(fā)布！“改變一切，力壓PyTorch”

在TensorFlow Lite中，他們增加了對快速移動GPU推理的支持；并發(fā)布了Teachable Machine 2.0，不需要寫代碼，只需一個按鈕就能訓(xùn)練一個機(jī)器學(xué)習(xí)模型。

量子位相關(guān)報道如下：

TensorFlow Lite發(fā)布重大更新！支持移動GPU、推斷速度提升4-6倍

還有MLIR，一個開源的機(jī)器學(xué)習(xí)編譯器基礎(chǔ)工具，解決了日益增長的軟件和硬件碎片的復(fù)雜性，使構(gòu)建人工智能應(yīng)用程序的更容易。

在NeurIPS 2019上，他們展示了如何使用開源的高性能機(jī)器學(xué)習(xí)研究系統(tǒng)JAX：

https://nips.cc/Conferences/2019

此外，他們也開源了用于構(gòu)建感知和多模態(tài)應(yīng)用ML pipelines的框架MediaPipe：

https://github.com/google/mediapipe

以及高效浮點(diǎn)神經(jīng)網(wǎng)絡(luò)推理操作符庫XNNPACK：

https://github.com/google/XNNPACK

當(dāng)然，Google還放出了一些羊毛給大家薅。

Jeff Dean介紹稱，截止2019年底，他們讓全球超過1500名研究人員通過 TensorFlow Research Cloud 免費(fèi)訪問了Cloud TPU，他們在 Coursera 上的入門課程已經(jīng)有超過了10萬名學(xué)生等等。

同時，他也介紹了一些“暖心”案例，比如在 TensorFlow 的幫助下，一名大學(xué)生發(fā)現(xiàn)了兩顆新的行星，并建立了一種方法來幫助其他人發(fā)現(xiàn)更多的行星。

還有大學(xué)生們使用 TensorFlow 來識別洛杉磯的坑洞和危險的道路裂縫等等。

另一方面是在開放數(shù)據(jù)集上。

開放11個數(shù)據(jù)集

2018年發(fā)布了數(shù)據(jù)集搜索引擎后，Google今年依舊在這方面努力，并盡自己的努力，給這個搜索引擎添磚加瓦。

過去一年，Google在各個領(lǐng)域開放了11個數(shù)據(jù)集，下面開始資源大放送，請收好~

Open Images V5，在注釋集中加入分割掩碼（segmentation masks），樣本規(guī)模達(dá)到280萬，橫跨350個類別，量子位報道：

280萬樣本！Google開放史上最大分割掩碼數(shù)據(jù)集，開啟新一輪挑戰(zhàn)賽

“自然問題”數(shù)據(jù)集，第一個使用自然發(fā)生的查詢，并通過閱讀整個頁面找到答案的數(shù)據(jù)集，而不是從一小段中提取答案，30萬對問答，BERT都達(dá)不到70分，量子位報道：

Google發(fā)布超難問答數(shù)據(jù)集「自然問題」：30萬對問答，BERT都達(dá)不到70分

用于檢測deepfakes的數(shù)據(jù)集：

https://ai.googleblog.com/2019/09/contributing-data-to-deepfake-detection.html

足球模擬環(huán)境Google Research Football，智能體可以在這個宛若FIFA的世界里自由踢球，學(xué)到更多踢球技巧，量子位報道：

Google造了個虛擬足球場，讓AI像打FIFA一樣做強(qiáng)化學(xué)習(xí)訓(xùn)練丨開源有API

地標(biāo)數(shù)據(jù)集Google-Landmarks-v2：包括500萬張圖片，地標(biāo)數(shù)量達(dá)到20萬，量子位報道：

500萬張圖片，20萬處地標(biāo)風(fēng)景，Google又放出大型數(shù)據(jù)集

YouTube-8M Segments數(shù)據(jù)集，一個大規(guī)模的分類和時間定位數(shù)據(jù)集，包括YouTube-8M視頻5秒片段級別的人工驗(yàn)證標(biāo)簽：

https://ai.googleblog.com/2019/06/announcing-youtube-8m-segments-dataset.html

AVA Spoken Activity數(shù)據(jù)集，一個多模態(tài)音頻+視覺視頻的感知對話數(shù)據(jù)集：

https://research.google.com/ava/

PAWS和PAWS-X：用于機(jī)器翻譯，兩個數(shù)據(jù)集都由高度結(jié)構(gòu)化的句子對組成，并且相互之間的詞匯重疊度很高，其中約占一半的句子具有對應(yīng)的多語言釋譯：

https://ai.googleblog.com/2019/10/releasing-paws-and-paws-x-two-new.html

讓兩個人進(jìn)行對話，通過數(shù)字助手模擬人類的對話的自然語言對話數(shù)據(jù)集：

https://ai.googleblog.com/2019/09/announcing-two-new-natural-language.html

Visual Task Adaptation Benchmark：這是對標(biāo) GLUE、ImageNet，Google推出的視覺任務(wù)適應(yīng)性基準(zhǔn)。

有助于用戶更好地理解哪些哪些視覺表征可以泛化到更多其他的新任務(wù)上，從而減少所有視覺任務(wù)上的數(shù)據(jù)需求：

http://ai.googleblog.com/2019/11/the-visual-task-adaptation-benchmark.html

最大的面向任務(wù)的對話的公開數(shù)據(jù)庫——模式引導(dǎo)對話數(shù)據(jù)集，有跨越17個域的超過18000個對話：

http://ai.googleblog.com/2019/10/introducing-schema-guided-dialogue.html

頂會研究和Google研究的全球擴(kuò)張

根據(jù)Google官方統(tǒng)計，Googler在過去一年發(fā)表了754篇論文。

Jeff Dean也列舉了一些頂會戰(zhàn)績：

CVPR有40多篇論文，ICML有100多篇論文，ICLR有60多篇論文，ACL有40多篇論文，ICCV有40多篇論文，NeurIPS有超過120篇等等。

他們還在Google舉辦了15個獨(dú)立的研討會，主題從改善全球洪水預(yù)警，到如何使用機(jī)器學(xué)習(xí)來建立更好地為殘疾人服務(wù)的系統(tǒng)，到加速開發(fā)用于量子處理器(NISQ)的算法、應(yīng)用程序和工具等等。

并通過年度博士獎學(xué)金項(xiàng)目在全球資助了50多名博士生，也對創(chuàng)業(yè)公司提供了支持等等。

同樣，2019年Google研究地點(diǎn)依舊在全球擴(kuò)張，在班加羅爾開設(shè)了一個研究辦公室。同時，Jeff Dean也發(fā)出了招聘需求：如果有興趣，趕緊到碗里來~

人工智能倫理

和往年一樣，這篇報道最開篇，其實(shí)Jeff首先談到的就是Google在人工智能倫理上的工作。

這也是Google在AI實(shí)踐和道德倫理、技術(shù)向善方面的明確宣示。

2018年，Google發(fā)布了AI 七原則并圍繞這些原則展開應(yīng)用實(shí)踐。2019年6月，Google交出成績單，展示了如何在研究和產(chǎn)品開發(fā)中，將這些原則付諸實(shí)施。

報告鏈接：
https://www.blog.google/technology/ai/responsible-ai-principles/

Jeff Dean說，由于這些原則基本覆蓋人工智能和機(jī)器學(xué)習(xí)研究中最活躍的領(lǐng)域，比如機(jī)器學(xué)習(xí)系統(tǒng)中的偏見、安全、公平、可靠性、透明度和隱私等等。

因此Google的目標(biāo)是將這些領(lǐng)域的技術(shù)應(yīng)用到工作中，并不斷進(jìn)行研究，以繼續(xù)推進(jìn)相關(guān)技術(shù)發(fā)展。

一方面，Google還在KDD’19、AIES 19等學(xué)術(shù)會議上發(fā)表了多篇論文，來探討機(jī)器學(xué)習(xí)模型的公平性和可解釋性。

比如，對Activation Atlases如何幫助探索神經(jīng)網(wǎng)絡(luò)行為，以及如何幫助機(jī)器學(xué)習(xí)模型的可解釋性進(jìn)行研究。

相關(guān)鏈接：
Exploring Neural Networks with Activation Atlases
https://ai.googleblog.com/2019/03/exploring-neural-networks.html

另一方面，Google的努力也都落到了實(shí)處，切實(shí)的拿出了的產(chǎn)品。

比如，發(fā)布了TensorFlow Privacy，來幫助訓(xùn)練保證隱私的機(jī)器學(xué)習(xí)模型。

相關(guān)鏈接：
Introducing TensorFlow Privacy: Learning with Differential Privacy for Training Data
https://blog.tensorflow.org/2019/03/introducing-tensorflow-privacy-learning.html

此外，Google還發(fā)布了一個新的數(shù)據(jù)集，以幫助研究識別deepfakes。

相關(guān)鏈接：
Contributing Data to Deepfake Detection Research
https://ai.googleblog.com/2019/09/contributing-data-to-deepfake-detection.html

展望2020年及以后

最后，Jeff也站在過去10年的發(fā)展歷程上，對2020年及以后的研究動向進(jìn)行了展望。

他說，在過去的十年里，機(jī)器學(xué)習(xí)和計算機(jī)科學(xué)領(lǐng)域取得了顯著的進(jìn)步，我們現(xiàn)在讓計算機(jī)比以往任何時候都更有能力去看、聽和理解語言。

在我們的口袋里，有了復(fù)雜的計算設(shè)備，可以利用這些能力，更好地幫助我們完成日常生活中的許多任務(wù)。

我們圍繞這些機(jī)器學(xué)習(xí)方法，通過開發(fā)專門的硬件，重新設(shè)計了我們的計算平臺，使我們能夠處理更大的問題。

這些這改變了我們對數(shù)據(jù)中心中的計算設(shè)備的看法，而深度學(xué)習(xí)革命，將繼續(xù)重塑我們對計算和計算機(jī)的看法。

與此同時，他也指出，還有大量未解決的問題。這也是Google在2020年及以后的研究方向：

第一，如何構(gòu)建能夠處理數(shù)百萬任務(wù)的機(jī)器學(xué)習(xí)系統(tǒng)，并能夠自動成功地完成新任務(wù)？

第二，如何才能在人工智能研究的重要領(lǐng)域，如避免偏見、提高可解釋性和可理解性、改善隱私和確保安全等方面，取得最先進(jìn)的進(jìn)展？

第三，如何應(yīng)用計算和機(jī)器學(xué)習(xí)在重要的科學(xué)新領(lǐng)域取得進(jìn)展？比如氣候科學(xué)、醫(yī)療保健、生物信息學(xué)和許多其他領(lǐng)域等等。

第四，關(guān)于機(jī)器學(xué)習(xí)和計算機(jī)科學(xué)研究社區(qū)追求的思想和方向，如何確保有更多不同的研究人員提出和探索？我們?nèi)绾尾拍茏詈玫刂С謥碜圆煌尘暗男卵芯咳藛T進(jìn)入這一領(lǐng)域?

最后的最后，你怎么看Google AI在過去一年的突破與進(jìn)展？

歡迎在留言區(qū)互動~

報告?zhèn)魉烷T：
https://ai.googleblog.com/2020/01/google-research-looking-back-at-2019.html

Google 2019論文傳送門：
https://research.google/pubs/?year=2019