2019微軟研究大盤點(diǎn)：機(jī)器學(xué)習(xí)突破即將到來(lái)，人機(jī)交互更加真實(shí)，惜別沈向洋

十三 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI

研究是為了實(shí)現(xiàn)一個(gè)長(zhǎng)期目標(biāo)，通常是漸進(jìn)式的發(fā)展過(guò)程。

隨著歲末鐘聲的臨近，微軟研究院回顧了這一年來(lái)在人工智能領(lǐng)域中的工作。

微軟研究院表示：

2019年，是科技面臨嚴(yán)峻挑戰(zhàn)的一年。

總體來(lái)說(shuō)，研究大盤點(diǎn)包括以下幾個(gè)方面：

· 讓AI和機(jī)器學(xué)習(xí)系統(tǒng)更容易被訪問(wèn)；
· 促進(jìn)了”以人為本“的創(chuàng)新研究；
· 創(chuàng)建適合所有人的人機(jī)交互；
· 安全、存儲(chǔ)、系統(tǒng)以及應(yīng)用方面的突破；
· 為研究社區(qū)提供開(kāi)源工具和數(shù)據(jù)；
· 為研究團(tuán)體提供獎(jiǎng)學(xué)金

此外，沈向洋博士于前不久宣布離職微軟。

微軟研究院在此次復(fù)盤中也與沈向洋博士道了聲”再見(jiàn)“。

提高AI和機(jī)器學(xué)習(xí)的可訪問(wèn)性

機(jī)器學(xué)習(xí)很顯然對(duì)人們的生活產(chǎn)生了一定影響。

那么微軟的研究人員在這一年中做了些什么呢？

提高機(jī)器學(xué)習(xí)系統(tǒng)的能力，進(jìn)一步發(fā)展這一科學(xué)的新模式。

他們使用了一些特殊方法讓這些系統(tǒng)能夠更容易被訪問(wèn)。

在深度學(xué)習(xí)方面，微軟研究院合作研究經(jīng)理高劍峰博士的團(tuán)隊(duì)，提出了MT-DNN模型。

這是一個(gè)學(xué)習(xí)通用語(yǔ)言嵌入的模型，結(jié)合了多任務(wù)學(xué)習(xí)的優(yōu)勢(shì)和BERT的語(yǔ)言模型預(yù)訓(xùn)練，幫助系統(tǒng)快速發(fā)展自然語(yǔ)言處理所必需的語(yǔ)義理解。

MT-DNN地址：

Towards universal language embeddings

微軟研究院Xu Tan的團(tuán)隊(duì)則開(kāi)發(fā)了MASS。

這是一種預(yù)訓(xùn)練方法，在序列到序列的語(yǔ)言生成方面優(yōu)于現(xiàn)有模型。

MASS地址：

Introducing MASS – A pre-training method that outperforms BERT and GPT in sequence to sequence language generation tasks

而在未來(lái)幾年里，將會(huì)出現(xiàn)機(jī)器學(xué)習(xí)的突破。

能夠超越目前將使用馬爾科夫決策過(guò)程作為基礎(chǔ)的方法，尤其是強(qiáng)化學(xué)習(xí)，會(huì)變得更加適用于現(xiàn)實(shí)場(chǎng)景。

項(xiàng)目地址：

Reinforcement learning for the real world with Dr. John Langford and Rafah Hosn

許多機(jī)器學(xué)習(xí)應(yīng)用程序受益于龐大的數(shù)據(jù)集，然而也有很多應(yīng)用是沒(méi)有足夠的數(shù)據(jù)來(lái)證明其方法是有效的。

進(jìn)入機(jī)器教學(xué)(machine teaching)領(lǐng)域，領(lǐng)域?qū)＜铱梢杂煤苌俚臄?shù)據(jù)建立定制的人工智能模型。

項(xiàng)目地址：

Machine teaching, LUIS and the democratization of custom AI with Dr. Riham Mansour

另外一個(gè)讓AI較為民主化的項(xiàng)目是研究院與Justin Harris合作的區(qū)塊鏈框架上的分散與協(xié)作人工智能。

它可以讓用戶在以太網(wǎng)上訓(xùn)練和維護(hù)模型和數(shù)據(jù)集。

此外，微軟研究院首席研究員Debadeepta Dey在今年的NeurIPS上提出了Petridish項(xiàng)目。

△超過(guò)300名微軟研究人員參與了NeurIPS 2019

這是一種高效的前向神經(jīng)結(jié)構(gòu)搜索算法，它可以幫助識(shí)別給定機(jī)器學(xué)習(xí)任務(wù)的神經(jīng)結(jié)構(gòu)。

項(xiàng)目地址：

Project Petridish: Efficient forward neural architecture search

促進(jìn)負(fù)責(zé)、包容、以人為本的創(chuàng)新

2019年ACM FAT *大會(huì)在亞特蘭大舉行。

微軟研究院在會(huì)議上發(fā)表了四篇論文，分別涵蓋了職業(yè)分類中的性別偏見(jiàn)、數(shù)據(jù)驅(qū)動(dòng)決策在加強(qiáng)不公正方面的作用、算法決策系統(tǒng)的戰(zhàn)略操縱，以及在沒(méi)有資金的情況下公平分配項(xiàng)目。

這些工作來(lái)自微軟的 FATE 研究小組，該小組研究人工智能、機(jī)器學(xué)習(xí)、數(shù)據(jù)科學(xué)、大規(guī)模實(shí)驗(yàn)和自動(dòng)化的復(fù)雜社會(huì)影響。

在五月份的CHI大會(huì)上，研究員Saleema Amershi與其合作者提出了一套人機(jī)交互設(shè)計(jì)的指導(dǎo)方案，匯集了20多年的研究、建議和最佳實(shí)踐，圍繞著與人工智能系統(tǒng)的有效交互。

把這些工作結(jié)合在一起，將有助于設(shè)計(jì)師管理用戶的期望，調(diào)節(jié)自治的程度，解決模糊性，并向用戶提供系統(tǒng)如何從用戶的行為中學(xué)習(xí)意識(shí)。

項(xiàng)目地址：

Guidelines for human-AI interaction design

此外，開(kāi)源模擬器 AirSim今年舉辦了無(wú)人機(jī)的NeurIPS比賽。

在無(wú)人駕駛飛機(jī)挑戰(zhàn)賽中，參賽者與微軟研究院的一名對(duì)手在同一跑道上進(jìn)行競(jìng)爭(zhēng)，他們的策略和機(jī)動(dòng)水平通常是同類競(jìng)賽所沒(méi)有的。

項(xiàng)目地址：

Game of Drones at NeurIPS 2019: Simulation-based drone-racing competition built on AirSim

創(chuàng)建適合所有人的人機(jī)交互

在ACM CHI關(guān)于計(jì)算系統(tǒng)中的人為因素的會(huì)議上，微軟研究人員展示了一些論文和演示，探索如何為有認(rèn)知或感覺(jué)障礙的用戶提供可訪問(wèn)性。

這些研究包括:瀏覽器的“閱讀模式”是否真的對(duì)患有閱讀障礙的人有幫助，以及幫助低視力的人(包括亮度敏感度和低視力)更容易接觸到VR的工具。

還展示了微軟的Soundscape，這是一個(gè)使用3D音頻提示來(lái)增強(qiáng)態(tài)勢(shì)感知和輔助導(dǎo)航的項(xiàng)目。

項(xiàng)目地址：

Features

此外，還有一些使虛擬環(huán)境更加真實(shí)、可觸摸和可導(dǎo)航的項(xiàng)目。

△微軟Dreamwalker VR

Dreamwalker是一個(gè)虛擬現(xiàn)實(shí)項(xiàng)目，可以通過(guò)虛擬現(xiàn)實(shí)增強(qiáng)真實(shí)世界的行走體驗(yàn)。虛擬環(huán)境可以實(shí)時(shí)檢測(cè)用戶周圍的環(huán)境，并生成一個(gè)虛擬世界，說(shuō)明他們的路徑和任何障礙。

項(xiàng)目地址：

DreamWalker: Substituting Real-World Walking Experiences with a Virtual Reality

安全、存儲(chǔ)、系統(tǒng)和應(yīng)用方面的突破

同態(tài)加密技術(shù)的發(fā)展和采用在2019年取得了持續(xù)的進(jìn)展。同態(tài)加密技術(shù)可以在加密數(shù)據(jù)上進(jìn)行計(jì)算，有助于保護(hù)隱私。

Microsoft SEAL已經(jīng)成為世界上最流行的同態(tài)加密庫(kù)之一，在學(xué)術(shù)界和工業(yè)界都得到了廣泛的采用。

項(xiàng)目地址：
https://github.com/Microsoft/SEAL

今年4月，隨著EverCrypt的發(fā)布，Project Everest又向前邁進(jìn)了一步，建立了一個(gè)安全認(rèn)證的HTTPS生態(tài)系統(tǒng)。

其中，EverCrypt是第一個(gè)完全認(rèn)證的密碼提供商，滿足了TLS協(xié)議的安全需求。Project Everest是微軟、Inria和卡內(nèi)基梅隆大學(xué)的合作項(xiàng)目。

項(xiàng)目地址：

EverCrypt cryptographic provider offers developers greater security assurances

到2023年，預(yù)計(jì)將有超過(guò)100 ZB的數(shù)據(jù)存儲(chǔ)在云里。

為了滿足這一需求，Project Silicon正在開(kāi)發(fā)第一個(gè)從媒體設(shè)計(jì)到云計(jì)算使用的存儲(chǔ)技術(shù)。

項(xiàng)目地址：

Project Silica

今年，這個(gè)團(tuán)隊(duì)與華納兄弟公司(Warner Bros.)合作進(jìn)行了一項(xiàng)概念驗(yàn)證，把1978年的電影《超人》(Superman)裝在一塊幾乎堅(jiān)不可摧的玻璃上，大小和杯墊差不多。

項(xiàng)目地址：

Optics for the cloud: storage in the zettabyte era with Dr. Ant Rowstron and Mark Russinovich

與此同時(shí)，今年4月，微軟和華盛頓大學(xué)的研究人員實(shí)現(xiàn)了一個(gè)“Hello, World!”，他們展示了首個(gè)以人工合成的DNA存儲(chǔ)和檢索數(shù)據(jù)的全自動(dòng)系統(tǒng)。

項(xiàng)目地址：
https://news.microsoft.com/innovation-stories/hello-data-dna-storage/?utm_source=elevate&utm_campaign=1385

劍橋大學(xué)的研究人員 Andy Gordon 和 Simon Peyton Jones 通過(guò)探索編程語(yǔ)言研究如何改進(jìn)電子表格這一世界上最常見(jiàn)的商業(yè)應(yīng)用，展示了基礎(chǔ)研究的實(shí)際影響。

在下面的項(xiàng)目中，他們?cè)敿?xì)介紹了他們與Microsoft Excel團(tuán)隊(duì)的合作是如何改進(jìn)產(chǎn)品的，比如單元格可以包含與外部數(shù)據(jù)源鏈接的一級(jí)記錄，以及可以計(jì)算“溢出”到相鄰單元格的數(shù)組值的公式。

項(xiàng)目地址：

Influencing mainstream software—Applying programming language research ideas to transform spreadsheets

在 ACM 網(wǎng)絡(luò)搜索和數(shù)據(jù)挖掘國(guó)際會(huì)議上，微軟的研究人員展示了一項(xiàng)關(guān)于極端分類的新研究。

極端分類是一個(gè)研究領(lǐng)域，有望顯著提高算法的速度和質(zhì)量。這項(xiàng)工作可以帶來(lái)更多相關(guān)的推薦和搜索結(jié)果。

在下面這篇二月份的博文中，印度微軟研究院的 Manik Varma 對(duì)極端分類進(jìn)行了深入探討。

項(xiàng)目地址：

Everything you always wanted to know about extreme classification (but were afraid to ask)

由于計(jì)算機(jī)視覺(jué)技術(shù)的進(jìn)步，尤其是視頻目標(biāo)檢測(cè)和分類技術(shù)的進(jìn)步，視頻分析已經(jīng)變得更加精確。

然而，快速而實(shí)用的實(shí)時(shí)視頻分析卻相對(duì)滯后。

去年12月，微軟研究人員 Ganesh Ananthanarayanan 和 Yuanchao Shu 主持了一個(gè)關(guān)于 Project Rocket 的網(wǎng)絡(luò)研討會(huì)，這是一個(gè)可擴(kuò)展的軟件棧，利用邊緣和云來(lái)滿足視頻分析應(yīng)用的需求。

項(xiàng)目地址：

Live Video Analytics

為研究社區(qū)提供開(kāi)源工具和數(shù)據(jù)

在這一年中，微軟的研究人員為了學(xué)術(shù)界的利益，做了一些開(kāi)源項(xiàng)目，包括以下內(nèi)容：

SandDance：是 Azure Data Studio、 Visual Studio Code 和 Power BI 中的數(shù)據(jù)可視化工具。
地址：https://cloudblogs.microsoft.com/opensource/2019/10/10/microsoft-open-sources-sanddance-visual-data-exploration-tool/

TensorWatch：是一個(gè)人工智能調(diào)試和可視化工具。
地址：https://www.microsoft.com/en-us/research/blog/microsoft-makes-ai-debugging-and-visualization-tool-tensorwatch-open-source/

PhoneticMatching：是 Maluuba 自然語(yǔ)言理解平臺(tái)的一個(gè)組成部分。
地址：https://www.microsoft.com/en-us/research/blog/a-phonetic-matching-made-in%cb%88h%c9%9bv%c9%99n/

SpaceFusion：是一個(gè)學(xué)習(xí)范例，它將不同的深度學(xué)習(xí)模型匯集到一起，用于人工智能對(duì)話。
地址：https://www.microsoft.com/en-us/research/blog/spacefusion-structuring-the-unstructured-latent-space-for-conversational-ai/

Icecaps：一個(gè)會(huì)話建模工具包。
地址：https://www.microsoft.com/en-us/research/blog/microsoft-icecaps-an-open-source-toolkit-for-conversation-modeling/

Icebreaker：一個(gè)深層次的生成模型，最小化訓(xùn)練一個(gè)機(jī)器學(xué)習(xí)模型所需的數(shù)據(jù)量和成本。
地址：https://www.microsoft.com/en-us/research/blog/icebreaker-new-model-with-novel-element-wise-information-acquisition-method-reduces-cost-and-data-needed-to-train-machine-learning-models/

基于去年發(fā)布的Microsoft Research Open Data(一個(gè)基于Azure的數(shù)據(jù)共享庫(kù))，公司開(kāi)發(fā)了一套數(shù)據(jù)使用協(xié)議，并在GitHub上發(fā)布，可將其應(yīng)用于多個(gè)公共數(shù)據(jù)集。

支持和尊重研究團(tuán)體

今年，微軟研究院推出了Ada Lovelace獎(jiǎng)學(xué)金，用來(lái)支持計(jì)算機(jī)相關(guān)領(lǐng)域攻讀博士學(xué)位的人才。

有關(guān)他們的研究可以訪問(wèn)下面的鏈接：

Ada Lovelace Fellowship

10名博士生還獲得了為期兩年的獎(jiǎng)學(xué)金(作為博士獎(jiǎng)學(xué)金項(xiàng)目的一部分)，用來(lái)支持他們?cè)诠庾訉W(xué)、系統(tǒng)和網(wǎng)絡(luò)以及人工智能方面的研究。

此外，微軟研究院將獎(jiǎng)學(xué)金授予了五位從事高影響力突破性研究的教師。

有關(guān)他們的研究可以訪問(wèn)下面的鏈接：

Investing in leading minds—Microsoft Research Faculty Fellowship

微軟研究院的研究人員在本年度獲得了許多獎(jiǎng)項(xiàng)和榮譽(yù)，完整名單如下：

Awards

最后，要和沈向洋博士說(shuō)一聲再見(jiàn)。

沈向洋博士已經(jīng)在微軟就職23年，將于明年2月份離職。

傳送門

微軟研究院博客：

Microsoft Research 2019 reflection—a year of progress on technology’s toughest challenges