微眾銀行AI首席科學(xué)家NeurIPS論文揭示“神經(jīng)網(wǎng)絡(luò)防盜最新技術(shù)”

智能車參考 2019-09-20 18:08:51 來(lái)源：量子位

隨著深度神經(jīng)網(wǎng)絡(luò)（DNN）的快速發(fā)展，機(jī)器學(xué)習(xí)服務(wù)(MLaaS)等有潛力的商業(yè)模式迅速崛起，AI產(chǎn)業(yè)化進(jìn)入發(fā)展快車道。

然而，保護(hù)訓(xùn)練好的DNN模型免于被非法復(fù)制，重新分發(fā)或?yàn)E用（即知識(shí)產(chǎn)權(quán)侵權(quán)）是AI產(chǎn)業(yè)化進(jìn)程中必須要面臨和解決的問(wèn)題。尤其是當(dāng)下各國(guó)企業(yè)在深度學(xué)習(xí)模型和平臺(tái)方面進(jìn)行巨額研發(fā)投入，對(duì)知識(shí)產(chǎn)權(quán)的保護(hù)刻不容緩。

沒(méi)有保護(hù)的神經(jīng)網(wǎng)絡(luò)，如同不上鎖的車子，誰(shuí)都可以開(kāi)走；一旦網(wǎng)絡(luò)被非法拷貝及使用，原主人無(wú)法證明和維護(hù)其發(fā)明的合法知識(shí)產(chǎn)權(quán)。這樣企業(yè)的創(chuàng)新動(dòng)力會(huì)受到傷害，進(jìn)而給整個(gè)產(chǎn)業(yè)的發(fā)展前景蒙上陰影。

在近日公布的2019年神經(jīng)信息處理系統(tǒng)大會(huì)（Conference and Workshop on Neural Information Processing Systems，NeurIPS）論文入選完整名單中，微眾銀行AI首席科學(xué)家范力欣博士與馬來(lái)亞大學(xué)的陳志勝副教授和吳錦合作的論文《對(duì)深度神經(jīng)網(wǎng)絡(luò)所有權(quán)驗(yàn)證的重新思考：嵌入數(shù)字護(hù)照以抵御模糊攻擊》創(chuàng)造性地提出了利用“數(shù)字護(hù)照”保護(hù)深度神經(jīng)網(wǎng)絡(luò)知識(shí)產(chǎn)權(quán)的新方法。

NeurIPS是全球最受矚目的AI、機(jī)器學(xué)習(xí)頂級(jí)學(xué)術(shù)會(huì)議之一，官方數(shù)據(jù)顯示，大會(huì)今年共計(jì)收到6743篇論文投稿，創(chuàng)下新紀(jì)錄，其中共有1428篇論文接收入選，入選率僅為21.1%

據(jù)范力欣博士介紹，傳統(tǒng)用于保護(hù)神經(jīng)網(wǎng)絡(luò)所有權(quán)的水印方法存在缺陷：在訓(xùn)練過(guò)程當(dāng)中，嵌入數(shù)字水印的神經(jīng)網(wǎng)絡(luò)，如同貼了主人姓名標(biāo)簽的車子，但別人還是可以把車開(kāi)走，甚至可以貼上偽造的標(biāo)簽。這種情況下，被拷貝網(wǎng)絡(luò)可以被檢測(cè)出多個(gè)真假難辨的數(shù)字水印，其知識(shí)產(chǎn)權(quán)歸屬莫衷一是。

數(shù)字護(hù)照，神經(jīng)網(wǎng)絡(luò)防盜新技術(shù)

能否通過(guò)新的機(jī)制杜絕這種情況？論文提出了在訓(xùn)練過(guò)程當(dāng)中，嵌入了數(shù)字護(hù)照的神經(jīng)網(wǎng)絡(luò)，如同加了鎖的車子，必須使用與神經(jīng)網(wǎng)絡(luò)配套的數(shù)字護(hù)照，才能解鎖來(lái)正常使用網(wǎng)絡(luò)；實(shí)驗(yàn)證實(shí)一旦使用了經(jīng)過(guò)修改或偽造的護(hù)照，網(wǎng)絡(luò)性能會(huì)嚴(yán)重退化，以致無(wú)法使用。

使用數(shù)字護(hù)照的另一個(gè)優(yōu)點(diǎn)是，即使剽竊者進(jìn)一步盜取并運(yùn)用了原來(lái)的數(shù)字護(hù)照，來(lái)解鎖正常使用網(wǎng)絡(luò)，原主人也可以憑借數(shù)字護(hù)照上的個(gè)人簽名ID，來(lái)舉證其知識(shí)產(chǎn)權(quán)的歸屬。

在上述原理的基礎(chǔ)上，研究者們還設(shè)計(jì)了黑盒，白盒和混合保護(hù)機(jī)制，來(lái)針對(duì)不同的應(yīng)用場(chǎng)景，提供了一系列完善的知識(shí)產(chǎn)權(quán)保護(hù)方法。

新方法使得DNN模型的性能依賴于護(hù)照的真實(shí)性，對(duì)于去除攻擊具有魯棒性，能夠抵御模糊攻擊，并保證了原主人對(duì)神經(jīng)網(wǎng)絡(luò)所有權(quán)的可證明性。而使用了不同的護(hù)照而使網(wǎng)絡(luò)性能有不同表現(xiàn)的這種思維也是非常新穎的，并通過(guò)了大量的實(shí)驗(yàn)驗(yàn)證，具有可操作性。

論文全文鏈接：

https://arxiv.org/abs/1909.07830

論文源代碼：

https://github.com/kamwoh/DeepIPR

有效機(jī)制，創(chuàng)建AI創(chuàng)新良性生態(tài)

基于數(shù)字護(hù)照保護(hù)機(jī)制，剽竊者將處于兩難境地：一方面，如使用偽造數(shù)字護(hù)照, 則網(wǎng)絡(luò)性能大幅下降幾乎無(wú)用。而且偽造護(hù)照需要從新訓(xùn)練網(wǎng)絡(luò)，耗時(shí)耗電，經(jīng)濟(jì)上無(wú)利可圖。另一方面，如非法使用原數(shù)字護(hù)照，則面臨原主人的法律訴訟及追責(zé)索賠。

當(dāng)今巨頭公司和創(chuàng)業(yè)公司幾乎每秒都在投資數(shù)十億美元來(lái)探索新的DNN模型，論文中提出的數(shù)字護(hù)照在保護(hù)保護(hù)知識(shí)產(chǎn)權(quán)，不被濫用，防偽，防止被競(jìng)爭(zhēng)對(duì)手利用方面有著重要作用。AI創(chuàng)新，只有在保護(hù)企業(yè)或發(fā)明人的切實(shí)權(quán)益下才能正常前進(jìn)，才能打造真正良性的創(chuàng)新環(huán)境。

走在前沿，微眾銀行在AI科研領(lǐng)域的探索

該研究是由微眾銀行首席人工智能科學(xué)家范力欣博士發(fā)起，而范博士所在的微眾銀行AI團(tuán)隊(duì)在前沿科研領(lǐng)域有諸多探索，包括聯(lián)邦學(xué)習(xí)、遷移學(xué)習(xí)等。

今年8月，在國(guó)際數(shù)據(jù)科學(xué)和數(shù)據(jù)挖掘領(lǐng)域最頂級(jí)的學(xué)術(shù)會(huì)議KDD大會(huì)上，微眾銀行AI團(tuán)隊(duì)與香港科技大學(xué)等高校聯(lián)合提交的與AI精準(zhǔn)營(yíng)銷、智能推薦相關(guān)的研究論文《Beyond Personalization: Social Content Recommendation for Creator Equality and Consumer Satisfaction》被收錄，論文提出了用去中心化模型Social Attentive Exploration Network（SAEN）解決社交內(nèi)容推薦的公平性問(wèn)題，目前該研究成果已成功運(yùn)用于微眾銀行AI營(yíng)銷解決方案的智能推薦業(yè)務(wù)板塊。（論文全文鏈接：https://dl.acm.org/citation.cfm?id=3330965）

而微眾銀行作為聯(lián)邦學(xué)習(xí)的引領(lǐng)者，不僅提出“聯(lián)邦遷移學(xué)習(xí)”的新方向，更是在全球范圍內(nèi)引領(lǐng)和推動(dòng)數(shù)據(jù)隱私保護(hù)下的AI協(xié)作生態(tài)建設(shè)。

作為一種基于多方安全計(jì)算的分布式機(jī)器學(xué)習(xí)技術(shù)，聯(lián)邦學(xué)習(xí)能讓參與各方可以在不披露底層數(shù)據(jù)和底層數(shù)據(jù)的加密(混淆)形態(tài)的前提下共建模型，在行業(yè)應(yīng)用中幫助不同機(jī)構(gòu)打破隔閡，進(jìn)行AI協(xié)作，同時(shí)各方的數(shù)據(jù)都不出本地，讓用戶隱私得到保護(hù)。這樣一種共贏的機(jī)器學(xué)習(xí)方式，讓聯(lián)邦學(xué)習(xí)成為了AI時(shí)代大數(shù)據(jù)安全及隱私保護(hù)的必備技術(shù)。

今年8月召開(kāi)的國(guó)際人工智能聯(lián)合會(huì)議（IJCAI 2019）期間，微眾銀行與IBM等知名機(jī)構(gòu)聯(lián)合舉辦了首屆聯(lián)邦學(xué)習(xí)國(guó)際研討會(huì)，超過(guò)100位國(guó)際專家和學(xué)者參與，共探聯(lián)邦學(xué)習(xí)的當(dāng)下難題與未來(lái)發(fā)展趨勢(shì)。

不僅在學(xué)術(shù)研究上進(jìn)行前沿探索，微眾銀行AI團(tuán)隊(duì)也在積極推進(jìn)聯(lián)邦學(xué)習(xí)產(chǎn)業(yè)落地的步伐。今年2月在GitHub上開(kāi)源了全球首個(gè)聯(lián)邦學(xué)習(xí)工業(yè)級(jí)開(kāi)源框架FATE（Federated AI Technology Enabler），并于今年6月貢獻(xiàn)給全球最大開(kāi)源社區(qū)Linux Foundation，近期又發(fā)布了一系列貢獻(xiàn)者激勵(lì)機(jī)制，以開(kāi)放的姿態(tài)，鼓勵(lì)開(kāi)發(fā)者加入共建聯(lián)邦學(xué)習(xí)生態(tài)。

同時(shí)，牽頭聯(lián)邦學(xué)習(xí)國(guó)際標(biāo)準(zhǔn)（IEEE標(biāo)準(zhǔn)）與國(guó)內(nèi)標(biāo)準(zhǔn)的建立，為更大范圍內(nèi)的產(chǎn)業(yè)應(yīng)用提供統(tǒng)一的技術(shù)標(biāo)準(zhǔn)語(yǔ)言。據(jù)悉，IEEE標(biāo)準(zhǔn)工作組已召開(kāi)三次會(huì)議，第四次會(huì)議將于10月召開(kāi)，相關(guān)標(biāo)準(zhǔn)草案有望明年出臺(tái)。

蓄勢(shì)待發(fā)，NeurIPS 2019大會(huì)聯(lián)邦學(xué)習(xí)研討會(huì)

據(jù)范力欣博士介紹，微眾銀行AI團(tuán)隊(duì)將在今年的NeurIPS 2019大會(huì)上和Google等知名企業(yè)、高校聯(lián)合舉辦聯(lián)邦學(xué)習(xí)研討會(huì)（workshop），這也是首次在NeurIPS上舉辦聯(lián)邦學(xué)習(xí)研討會(huì)，目前已收到數(shù)十篇論文投稿。

隨著加入聯(lián)邦學(xué)習(xí)生態(tài)的企業(yè)和研究機(jī)構(gòu)越來(lái)越多元化，在金融、醫(yī)療、零售等多場(chǎng)景落地場(chǎng)景越來(lái)越多，聯(lián)邦學(xué)習(xí)的相關(guān)研究也跨越到新階段，此次研討會(huì)必定會(huì)帶來(lái)更多令人驚喜的新思考與探索。

了解更多：http://federated-learning.org/fl-neurips-2019/?from=timeline

— 完 —