ICLR19論文：口哨聲變交響樂，神經(jīng)網(wǎng)絡(luò)一鍵改變音樂風(fēng)格 | 開源
銅靈 發(fā)自 凹非寺
量子位 出品 | 公眾號 QbitAI
Facebook新開源的炫酷AI項目，能給音符“變裝”。
它將海頓的弦樂四重奏轉(zhuǎn)換成巴赫的大合唱、貝多芬的鋼琴曲。讓經(jīng)典的吉他演奏，搖身一變成了優(yōu)雅的莫扎特交響樂。
甚至連你隨口哼唱的口哨，經(jīng)過AI的加工和改造，都能變成莫扎特的交響樂。
這就是音樂界的P音大師么。
目前，這個項目的論文已被ICLR19接收，還獲得了圖靈獎得主、深度學(xué)習(xí)大牛Yann LeCun的轉(zhuǎn)推，推特上已經(jīng)近600贊。
這下，誰還能說你沒有音樂天賦？
口哨變音樂的秘密
在論文A Universal Music Translation Network中，F(xiàn)aceBook AI研究院的四位研究人員詳細(xì)介紹了背后的原理。
讓音樂轉(zhuǎn)變風(fēng)格，甚至將口哨變成交響樂的秘密，都藏在一個通用的音樂轉(zhuǎn)換網(wǎng)絡(luò)里了。
這是一種橫跨樂器、流派和風(fēng)格的音樂轉(zhuǎn)換方法，在多域Wavenet自編碼器的基礎(chǔ)上改造而來。這是此前谷歌研究出的一種原始音頻波形生成模型，波形生成速度快，并且效果逼真。
除了借助了Wavenet的架構(gòu)，這個通用轉(zhuǎn)換網(wǎng)絡(luò)還具有一個共享編碼器和進(jìn)行端到端波形訓(xùn)練的解纏潛空間（disentangled latent space）。
△?FaceBook通用音樂轉(zhuǎn)換模型架構(gòu)
這個編碼器是一個全卷積網(wǎng)絡(luò)，它由三個塊組成，每個塊包含10個殘差層，可應(yīng)用到任意序列長度。
其次，每個殘差層均包含一個隨著核心尺寸增加而增加的擴(kuò)張卷積、一個非線性單元RELU，還有一個1×1 卷積，固定寬度為128個通道。
通過部署多樣的訓(xùn)練數(shù)據(jù)集和大型網(wǎng)絡(luò)的容量，獨立域的編碼器支持將音樂轉(zhuǎn)換成訓(xùn)練過程中未曾見過的音樂域。這種無監(jiān)督學(xué)習(xí)方法，不依賴于域或者是音樂的轉(zhuǎn)錄間匹配過樣本的監(jiān)督。
研究人員用此前DeepMind發(fā)布的聲音合成器NSynth和從人類專業(yè)音樂家演奏的數(shù)據(jù)集上的數(shù)據(jù)評估這種方法。
研究人員記錄了改編過音頻的MOS分?jǐn)?shù)（平均評價計分），結(jié)果顯示，模型顯示的音頻質(zhì)量略低于人類演奏的音頻質(zhì)量。
隨后，研究人員評估了不同條件下人類演奏音樂與模型生成音樂間的歸一化相關(guān)性。
結(jié)果顯示，AI生成的音樂高于了人類的得分。
傳送門
論文：
https://arxiv.org/abs/1805.07848
開源地址：
https://github.com/facebookresearch/music-translation
Facebook官方博客：
https://research.fb.com/publications/a-universal-music-translation-network/
— 完 —
誠摯招聘
量子位正在招募編輯/記者，工作地點在北京中關(guān)村。期待有才氣、有熱情的同學(xué)加入我們！相關(guān)細(xì)節(jié)，請在量子位公眾號(QbitAI)對話界面，回復(fù)“招聘”兩個字。
量子位 QbitAI · 頭條號簽約作者
?’?’ ? 追蹤AI技術(shù)和產(chǎn)品新動態(tài)
相關(guān)閱讀
月入過萬只需用ChatGPT建個網(wǎng)站？AI創(chuàng)業(yè)博主在線教學(xué)
不僅不用投廣告，就連更新都免了
用文字描述給黑白照上色，這個免費網(wǎng)站火了！網(wǎng)友：比其他同類都好用
背后的谷歌開發(fā)者，已研究黑白照上色5年多了
