微眾銀行AI首席科學(xué)家NeurIPS論文揭示“神經(jīng)網(wǎng)絡(luò)防盜最新技術(shù)”

智能車參考 2019-09-20 18:08:51 來源：量子位

隨著深度神經(jīng)網(wǎng)絡(luò)（DNN）的快速發(fā)展，機(jī)器學(xué)習(xí)服務(wù)(MLaaS)等有潛力的商業(yè)模式迅速崛起，AI產(chǎn)業(yè)化進(jìn)入發(fā)展快車道。

然而，保護(hù)訓(xùn)練好的DNN模型免于被非法復(fù)制，重新分發(fā)或?yàn)E用（即知識產(chǎn)權(quán)侵權(quán)）是AI產(chǎn)業(yè)化進(jìn)程中必須要面臨和解決的問題。尤其是當(dāng)下各國企業(yè)在深度學(xué)習(xí)模型和平臺方面進(jìn)行巨額研發(fā)投入，對知識產(chǎn)權(quán)的保護(hù)刻不容緩。

沒有保護(hù)的神經(jīng)網(wǎng)絡(luò)，如同不上鎖的車子，誰都可以開走；一旦網(wǎng)絡(luò)被非法拷貝及使用，原主人無法證明和維護(hù)其發(fā)明的合法知識產(chǎn)權(quán)。這樣企業(yè)的創(chuàng)新動(dòng)力會受到傷害，進(jìn)而給整個(gè)產(chǎn)業(yè)的發(fā)展前景蒙上陰影。

在近日公布的2019年神經(jīng)信息處理系統(tǒng)大會（Conference and Workshop on Neural Information Processing Systems，NeurIPS）論文入選完整名單中，微眾銀行AI首席科學(xué)家范力欣博士與馬來亞大學(xué)的陳志勝副教授和吳錦合作的論文《對深度神經(jīng)網(wǎng)絡(luò)所有權(quán)驗(yàn)證的重新思考：嵌入數(shù)字護(hù)照以抵御模糊攻擊》創(chuàng)造性地提出了利用“數(shù)字護(hù)照”保護(hù)深度神經(jīng)網(wǎng)絡(luò)知識產(chǎn)權(quán)的新方法。

NeurIPS是全球最受矚目的AI、機(jī)器學(xué)習(xí)頂級學(xué)術(shù)會議之一，官方數(shù)據(jù)顯示，大會今年共計(jì)收到6743篇論文投稿，創(chuàng)下新紀(jì)錄，其中共有1428篇論文接收入選，入選率僅為21.1%

據(jù)范力欣博士介紹，傳統(tǒng)用于保護(hù)神經(jīng)網(wǎng)絡(luò)所有權(quán)的水印方法存在缺陷：在訓(xùn)練過程當(dāng)中，嵌入數(shù)字水印的神經(jīng)網(wǎng)絡(luò)，如同貼了主人姓名標(biāo)簽的車子，但別人還是可以把車開走，甚至可以貼上偽造的標(biāo)簽。這種情況下，被拷貝網(wǎng)絡(luò)可以被檢測出多個(gè)真假難辨的數(shù)字水印，其知識產(chǎn)權(quán)歸屬莫衷一是。

數(shù)字護(hù)照，神經(jīng)網(wǎng)絡(luò)防盜新技術(shù)

能否通過新的機(jī)制杜絕這種情況？論文提出了在訓(xùn)練過程當(dāng)中，嵌入了數(shù)字護(hù)照的神經(jīng)網(wǎng)絡(luò)，如同加了鎖的車子，必須使用與神經(jīng)網(wǎng)絡(luò)配套的數(shù)字護(hù)照，才能解鎖來正常使用網(wǎng)絡(luò)；實(shí)驗(yàn)證實(shí)一旦使用了經(jīng)過修改或偽造的護(hù)照，網(wǎng)絡(luò)性能會嚴(yán)重退化，以致無法使用。

使用數(shù)字護(hù)照的另一個(gè)優(yōu)點(diǎn)是，即使剽竊者進(jìn)一步盜取并運(yùn)用了原來的數(shù)字護(hù)照，來解鎖正常使用網(wǎng)絡(luò)，原主人也可以憑借數(shù)字護(hù)照上的個(gè)人簽名ID，來舉證其知識產(chǎn)權(quán)的歸屬。

在上述原理的基礎(chǔ)上，研究者們還設(shè)計(jì)了黑盒，白盒和混合保護(hù)機(jī)制，來針對不同的應(yīng)用場景，提供了一系列完善的知識產(chǎn)權(quán)保護(hù)方法。

新方法使得DNN模型的性能依賴于護(hù)照的真實(shí)性，對于去除攻擊具有魯棒性，能夠抵御模糊攻擊，并保證了原主人對神經(jīng)網(wǎng)絡(luò)所有權(quán)的可證明性。而使用了不同的護(hù)照而使網(wǎng)絡(luò)性能有不同表現(xiàn)的這種思維也是非常新穎的，并通過了大量的實(shí)驗(yàn)驗(yàn)證，具有可操作性。

論文全文鏈接：

https://arxiv.org/abs/1909.07830

論文源代碼：

https://github.com/kamwoh/DeepIPR

有效機(jī)制，創(chuàng)建AI創(chuàng)新良性生態(tài)

基于數(shù)字護(hù)照保護(hù)機(jī)制，剽竊者將處于兩難境地：一方面，如使用偽造數(shù)字護(hù)照, 則網(wǎng)絡(luò)性能大幅下降幾乎無用。而且偽造護(hù)照需要從新訓(xùn)練網(wǎng)絡(luò)，耗時(shí)耗電，經(jīng)濟(jì)上無利可圖。另一方面，如非法使用原數(shù)字護(hù)照，則面臨原主人的法律訴訟及追責(zé)索賠。

當(dāng)今巨頭公司和創(chuàng)業(yè)公司幾乎每秒都在投資數(shù)十億美元來探索新的DNN模型，論文中提出的數(shù)字護(hù)照在保護(hù)保護(hù)知識產(chǎn)權(quán)，不被濫用，防偽，防止被競爭對手利用方面有著重要作用。AI創(chuàng)新，只有在保護(hù)企業(yè)或發(fā)明人的切實(shí)權(quán)益下才能正常前進(jìn)，才能打造真正良性的創(chuàng)新環(huán)境。

走在前沿，微眾銀行在AI科研領(lǐng)域的探索

該研究是由微眾銀行首席人工智能科學(xué)家范力欣博士發(fā)起，而范博士所在的微眾銀行AI團(tuán)隊(duì)在前沿科研領(lǐng)域有諸多探索，包括聯(lián)邦學(xué)習(xí)、遷移學(xué)習(xí)等。

今年8月，在國際數(shù)據(jù)科學(xué)和數(shù)據(jù)挖掘領(lǐng)域最頂級的學(xué)術(shù)會議KDD大會上，微眾銀行AI團(tuán)隊(duì)與香港科技大學(xué)等高校聯(lián)合提交的與AI精準(zhǔn)營銷、智能推薦相關(guān)的研究論文《Beyond Personalization: Social Content Recommendation for Creator Equality and Consumer Satisfaction》被收錄，論文提出了用去中心化模型Social Attentive Exploration Network（SAEN）解決社交內(nèi)容推薦的公平性問題，目前該研究成果已成功運(yùn)用于微眾銀行AI營銷解決方案的智能推薦業(yè)務(wù)板塊。（論文全文鏈接：https://dl.acm.org/citation.cfm?id=3330965）

而微眾銀行作為聯(lián)邦學(xué)習(xí)的引領(lǐng)者，不僅提出“聯(lián)邦遷移學(xué)習(xí)”的新方向，更是在全球范圍內(nèi)引領(lǐng)和推動(dòng)數(shù)據(jù)隱私保護(hù)下的AI協(xié)作生態(tài)建設(shè)。

作為一種基于多方安全計(jì)算的分布式機(jī)器學(xué)習(xí)技術(shù)，聯(lián)邦學(xué)習(xí)能讓參與各方可以在不披露底層數(shù)據(jù)和底層數(shù)據(jù)的加密(混淆)形態(tài)的前提下共建模型，在行業(yè)應(yīng)用中幫助不同機(jī)構(gòu)打破隔閡，進(jìn)行AI協(xié)作，同時(shí)各方的數(shù)據(jù)都不出本地，讓用戶隱私得到保護(hù)。這樣一種共贏的機(jī)器學(xué)習(xí)方式，讓聯(lián)邦學(xué)習(xí)成為了AI時(shí)代大數(shù)據(jù)安全及隱私保護(hù)的必備技術(shù)。

今年8月召開的國際人工智能聯(lián)合會議（IJCAI 2019）期間，微眾銀行與IBM等知名機(jī)構(gòu)聯(lián)合舉辦了首屆聯(lián)邦學(xué)習(xí)國際研討會，超過100位國際專家和學(xué)者參與，共探聯(lián)邦學(xué)習(xí)的當(dāng)下難題與未來發(fā)展趨勢。

不僅在學(xué)術(shù)研究上進(jìn)行前沿探索，微眾銀行AI團(tuán)隊(duì)也在積極推進(jìn)聯(lián)邦學(xué)習(xí)產(chǎn)業(yè)落地的步伐。今年2月在GitHub上開源了全球首個(gè)聯(lián)邦學(xué)習(xí)工業(yè)級開源框架FATE（Federated AI Technology Enabler），并于今年6月貢獻(xiàn)給全球最大開源社區(qū)Linux Foundation，近期又發(fā)布了一系列貢獻(xiàn)者激勵(lì)機(jī)制，以開放的姿態(tài)，鼓勵(lì)開發(fā)者加入共建聯(lián)邦學(xué)習(xí)生態(tài)。

同時(shí)，牽頭聯(lián)邦學(xué)習(xí)國際標(biāo)準(zhǔn)（IEEE標(biāo)準(zhǔn)）與國內(nèi)標(biāo)準(zhǔn)的建立，為更大范圍內(nèi)的產(chǎn)業(yè)應(yīng)用提供統(tǒng)一的技術(shù)標(biāo)準(zhǔn)語言。據(jù)悉，IEEE標(biāo)準(zhǔn)工作組已召開三次會議，第四次會議將于10月召開，相關(guān)標(biāo)準(zhǔn)草案有望明年出臺。

蓄勢待發(fā)，NeurIPS 2019大會聯(lián)邦學(xué)習(xí)研討會

據(jù)范力欣博士介紹，微眾銀行AI團(tuán)隊(duì)將在今年的NeurIPS 2019大會上和Google等知名企業(yè)、高校聯(lián)合舉辦聯(lián)邦學(xué)習(xí)研討會（workshop），這也是首次在NeurIPS上舉辦聯(lián)邦學(xué)習(xí)研討會，目前已收到數(shù)十篇論文投稿。

隨著加入聯(lián)邦學(xué)習(xí)生態(tài)的企業(yè)和研究機(jī)構(gòu)越來越多元化，在金融、醫(yī)療、零售等多場景落地場景越來越多，聯(lián)邦學(xué)習(xí)的相關(guān)研究也跨越到新階段，此次研討會必定會帶來更多令人驚喜的新思考與探索。

了解更多：http://federated-learning.org/fl-neurips-2019/?from=timeline

— 完 —