神經網絡“煉丹爐”內部構造長啥樣？牛津大學博士小姐姐用論文解讀
讓神經網絡解釋自己
蕭簫 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI
神經網絡就像“煉丹爐”一樣，投喂大量數(shù)據，或許能獲得神奇的效果。
“煉丹”成功后，神經網絡也能對沒見過的數(shù)據進行預測了~
然而，這種情況下，神經網絡其實成了“黑匣子”——具有一定的功能，但看不見是怎么起作用的。
如果只做簡單的圖像分類，其實還好；但如果用在醫(yī)學方向，對疾病進行預測，那么神經網絡下的“判斷”就不可輕信。
如果能了解它是怎么工作的，就更好了。
出于這種考慮，來自牛津大學的博士生Oana-Maria Camburu撰寫了畢業(yè)論文《解釋神經網絡?（Explaining Deep Neural Networks）》。
在這篇論文中，她將這些“黑匣子”一個個打開，對神經網絡原理進行了詳細的解釋。
為什么要打開神經網絡“黑匣子”？
事實上，神經網絡之所以起作用，最直觀的原因就是，它由大量非線性函數(shù)組成。
這些非線性函數(shù)，使得網絡可以學習原始數(shù)據中各種抽象級特征。
然而，也正是因為神經網絡中的這些非線性函數(shù)，使得人類往往難以理解，它們是如何起作用的。
這就導致神經網絡在疾病預測、信用額度、刑法等方向上“不太受歡迎”。
醫(yī)生和法律相關的研究者往往更樂意采用可解釋模型，例如線性回歸、決策樹，因為神經網絡在疾病預測中的確出過問題：
人們利用神經網絡預測肺炎患者的病情發(fā)展，其中一項患者特征為是否有哮喘病史。
神經網絡經過訓練后預測，有哮喘病史的患者死于肺炎的可能性較低。
但其實結果恰好相反，哮喘本身會給肺炎帶來雪上加霜的效果。
之所以數(shù)據表明哮喘患者較少死于肺炎，往往是因為哮喘能被及早發(fā)現(xiàn)，所以患者得肺炎后能被及早治療。
如果這種神經網絡被應用于實踐中，將會帶來非常危險的結果。
此外，即使是神經網絡，也會對男女性別產生刻板印象、產生種族偏見。
例如，調查表明，有些語料庫和模型，在預測再犯時，會更“偏愛”男性。
除了錯誤的預測和種族、性別歧視以外，神經網絡還很脆弱。
無論是對圖像進行小改動欺騙分類算法、還是用語音識別瞞過NLP模型，神經網絡被“爆雷”的情況也不少。
為了讓神經網絡應用于更多的方向，也為了讓我們更好地學習它的原理，作者從兩個方向對神經網絡進行了解釋。
2種方法解釋神經網絡
“事后再解釋”
第一種方法，稱之為基于特征的解釋方法，又叫“事后再解釋”——因為這種方法，是在神經網絡訓練好后，才對其輸入特征進行解釋的。
這種方法針對文本的詞（token）、或是針對圖像的超像素（super pixels），進行“事后”解釋。
目前這種方法應用較為普遍，不容易出現(xiàn)解釋偏見，但需要驗證解釋方法的真實性。
這里的根本原理，是研究外部解釋方法給出的解釋、與模型本身生成的自然語言解釋之間，是否存在相關性，而相關性具體又是什么。
在論文中，作者引入了一種新的驗證方法，來判斷解釋方法的真實性。
讓神經網絡自己解釋
那么，如果能讓神經網絡一邊訓練、一邊“解釋自己”呢？
這是論文提到的第二種方法，即在模型中植入一個生成預測解釋的模塊，對預測的結果進行解釋。
至于神經網絡對自己的解釋是否正確，還需要人為進行判斷。
在這里面，作者同樣引入了一種判斷方法，對模型自己生成的解釋進行判斷，從而得出神經網絡解釋的結果。
對神經網絡詳細結構、具體解釋方法感興趣的小伙伴，可以戳下方論文地址查看~
作者介紹
Oana-Maria Camburu，來自羅馬尼亞，目前是牛津大學的博士生，主修機器學習、人工智能等方向。
高中時期，Oana-Maria Camburu曾獲IMO（國際奧數(shù)競賽）銀牌。她曾經在馬普所、谷歌實習，讀博期間，論文被ACL、EMNLP、IJCNLP等頂會收錄。
論文地址：
https://arxiv.org/abs/2010.01496
- 首個GPT-4驅動的人形機器人！無需編程+零樣本學習，還可根據口頭反饋調整行為2023-12-13
- IDC霍錦潔：AI PC將顛覆性變革PC產業(yè)2023-12-08
- AI視覺字謎爆火！夢露轉180°秒變愛因斯坦，英偉達高級AI科學家：近期最酷的擴散模型2023-12-03
- 蘋果大模型最大動作：開源M芯專用ML框架，能跑70億大模型2023-12-07
相關閱讀
國際知名AI學者陶大程出任京東探索研究院院長
京東探索研究院成立于2020年。成立時計劃在人工智能、物聯(lián)網、區(qū)塊鏈、自主系統(tǒng)、下一代計算等核心方向深耕技術、加大投入，在每個領域至少引入3位世界頂級科學家，組件相應團隊。
