ICLR19論文：口哨聲變交響樂(lè)，神經(jīng)網(wǎng)絡(luò)一鍵改變音樂(lè)風(fēng)格 | 開(kāi)源
銅靈 發(fā)自 凹非寺
量子位 出品 | 公眾號(hào) QbitAI
Facebook新開(kāi)源的炫酷AI項(xiàng)目，能給音符“變裝”。
它將海頓的弦樂(lè)四重奏轉(zhuǎn)換成巴赫的大合唱、貝多芬的鋼琴曲。讓經(jīng)典的吉他演奏，搖身一變成了優(yōu)雅的莫扎特交響樂(lè)。
甚至連你隨口哼唱的口哨，經(jīng)過(guò)AI的加工和改造，都能變成莫扎特的交響樂(lè)。
這就是音樂(lè)界的P音大師么。
目前，這個(gè)項(xiàng)目的論文已被ICLR19接收，還獲得了圖靈獎(jiǎng)得主、深度學(xué)習(xí)大牛Yann LeCun的轉(zhuǎn)推，推特上已經(jīng)近600贊。
這下，誰(shuí)還能說(shuō)你沒(méi)有音樂(lè)天賦？
口哨變音樂(lè)的秘密
在論文A Universal Music Translation Network中，F(xiàn)aceBook AI研究院的四位研究人員詳細(xì)介紹了背后的原理。
讓音樂(lè)轉(zhuǎn)變風(fēng)格，甚至將口哨變成交響樂(lè)的秘密，都藏在一個(gè)通用的音樂(lè)轉(zhuǎn)換網(wǎng)絡(luò)里了。
這是一種橫跨樂(lè)器、流派和風(fēng)格的音樂(lè)轉(zhuǎn)換方法，在多域Wavenet自編碼器的基礎(chǔ)上改造而來(lái)。這是此前谷歌研究出的一種原始音頻波形生成模型，波形生成速度快，并且效果逼真。
除了借助了Wavenet的架構(gòu)，這個(gè)通用轉(zhuǎn)換網(wǎng)絡(luò)還具有一個(gè)共享編碼器和進(jìn)行端到端波形訓(xùn)練的解纏潛空間（disentangled latent space）。
△?FaceBook通用音樂(lè)轉(zhuǎn)換模型架構(gòu)
這個(gè)編碼器是一個(gè)全卷積網(wǎng)絡(luò)，它由三個(gè)塊組成，每個(gè)塊包含10個(gè)殘差層，可應(yīng)用到任意序列長(zhǎng)度。
其次，每個(gè)殘差層均包含一個(gè)隨著核心尺寸增加而增加的擴(kuò)張卷積、一個(gè)非線性單元RELU，還有一個(gè)1×1 卷積，固定寬度為128個(gè)通道。
通過(guò)部署多樣的訓(xùn)練數(shù)據(jù)集和大型網(wǎng)絡(luò)的容量，獨(dú)立域的編碼器支持將音樂(lè)轉(zhuǎn)換成訓(xùn)練過(guò)程中未曾見(jiàn)過(guò)的音樂(lè)域。這種無(wú)監(jiān)督學(xué)習(xí)方法，不依賴(lài)于域或者是音樂(lè)的轉(zhuǎn)錄間匹配過(guò)樣本的監(jiān)督。
研究人員用此前DeepMind發(fā)布的聲音合成器NSynth和從人類(lèi)專(zhuān)業(yè)音樂(lè)家演奏的數(shù)據(jù)集上的數(shù)據(jù)評(píng)估這種方法。
研究人員記錄了改編過(guò)音頻的MOS分?jǐn)?shù)（平均評(píng)價(jià)計(jì)分），結(jié)果顯示，模型顯示的音頻質(zhì)量略低于人類(lèi)演奏的音頻質(zhì)量。
隨后，研究人員評(píng)估了不同條件下人類(lèi)演奏音樂(lè)與模型生成音樂(lè)間的歸一化相關(guān)性。
結(jié)果顯示，AI生成的音樂(lè)高于了人類(lèi)的得分。
傳送門(mén)
論文：
https://arxiv.org/abs/1805.07848
開(kāi)源地址：
https://github.com/facebookresearch/music-translation
Facebook官方博客：
https://research.fb.com/publications/a-universal-music-translation-network/
— 完 —
誠(chéng)摯招聘
量子位正在招募編輯/記者，工作地點(diǎn)在北京中關(guān)村。期待有才氣、有熱情的同學(xué)加入我們！相關(guān)細(xì)節(jié)，請(qǐng)?jiān)诹孔游还娞?hào)(QbitAI)對(duì)話界面，回復(fù)“招聘”兩個(gè)字。
量子位 QbitAI · 頭條號(hào)簽約作者
?’?’ ? 追蹤AI技術(shù)和產(chǎn)品新動(dòng)態(tài)
- 微軟公布19財(cái)年財(cái)報(bào)：凈利潤(rùn)增長(zhǎng)22%，云計(jì)算首超個(gè)人計(jì)算業(yè)務(wù)2019-07-19
- 騰訊云推出物聯(lián)網(wǎng)邊緣計(jì)算平臺(tái)，具備五大特點(diǎn)，想攻克物聯(lián)網(wǎng)落地難題2019-08-28
- DeepMind醫(yī)療業(yè)務(wù)幾經(jīng)動(dòng)蕩，現(xiàn)在團(tuán)隊(duì)并入Google2019-09-20
- 首例基因編輯干細(xì)胞治療艾滋病：北大鄧宏魁參與，達(dá)最佳治療效果2019-09-14
相關(guān)閱讀
抖音跳舞不用真人出鏡，一張照片就能生成高質(zhì)量視頻！字節(jié)新技術(shù)連抱抱臉CTO都下場(chǎng)體驗(yàn)了
網(wǎng)友：OpenAI可以休息一下了
