1篇能用的都沒有！劍橋大學(xué)新研究打臉AI新冠“看片”：數(shù)據(jù)、實(shí)驗(yàn)設(shè)計(jì)都有問題

魚羊 2021-06-14 15:20:11 來源：量子位

豐色 魚羊 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI

搜集的全部新冠機(jī)器學(xué)習(xí)“看片”論文，一篇能用的都沒有？！

就在“廣州兩名醫(yī)務(wù)人員核酸檢測(cè)呈陽性”的新聞再度牽動(dòng)大家伙的神經(jīng)之際，一項(xiàng)來自劍橋大學(xué)的新研究也在外網(wǎng)上點(diǎn)燃了炸藥桶。

打從疫情之初，就有不少機(jī)器學(xué)習(xí)領(lǐng)域的研究人員，希望借助AI之力，幫助醫(yī)務(wù)人員更好地保護(hù)自己：

去年1月到10月，就有2000多篇相關(guān)論文發(fā)表。

但是，就在AI比較成熟的看片領(lǐng)域，劍橋大學(xué)的結(jié)論卻讓人大跌眼鏡：

搜集到的關(guān)于用AI進(jìn)行新冠病毒醫(yī)學(xué)圖像檢測(cè)、診斷的論文，都存在重大缺陷和偏差，沒有臨床使用的可能性。

論文已發(fā)表在Nature Machine Intelligence上。

而如此“殘酷”的結(jié)果，正可謂一石激起千層浪，專家學(xué)者紛紛轉(zhuǎn)發(fā)討論不說，也在社交媒體上引發(fā)了網(wǎng)友的熱議。

有不少相關(guān)從業(yè)者表示：“這給我們上了重要的一課。”

究竟是怎么一回事？

為什么不能用？

具體而言，劍橋大學(xué)的研究人員一開始在bioRxiv、medRxiv、arXiv等預(yù)印本論文平臺(tái)，以及EMBASE和MEDLINE數(shù)據(jù)庫中，按照“機(jī)器學(xué)習(xí)模型”、“CXR（胸部X光照片）/CT圖像診斷、預(yù)測(cè)”這樣的關(guān)鍵詞，搜集到了2212項(xiàng)相關(guān)研究。

從中剔除掉缺乏外部驗(yàn)證、忽略了數(shù)據(jù)源或模型訓(xùn)練信息不完整的論文之后，通過初篩的論文有415篇。

而在進(jìn)一步提高對(duì)論文的要求，比如排除掉RQS（放射性質(zhì)量評(píng)分）＜6、未能通過CLAIM（醫(yī)學(xué)影像人工智能檢查表）的模型之后，入選最終評(píng)審階段的論文有62篇。

而這62篇，都沒有潛在的臨床應(yīng)用價(jià)值。

對(duì)此，論文作者之一、來自劍橋大學(xué)醫(yī)學(xué)部的James Rude博士表示：

國際機(jī)器學(xué)習(xí)界在幫助應(yīng)對(duì)Covid-19流行病上做出了巨大的努力。這些早期研究讓我們看到了一些希望，但它們?cè)诜椒ê蛨?bào)告（methodology and reporting）方面的缺陷非常普遍，我們審查的論文中沒有一篇達(dá)到支持臨床應(yīng)用所必需的健壯性和可重復(fù)性。

在這62篇論文中，有55篇被發(fā)現(xiàn)由于各種問題而存在高偏見風(fēng)險(xiǎn)，包括依賴公共數(shù)據(jù)集，其中許多疑似陽性Covid-19的CT圖像也沒檢測(cè)出來。

△每篇論文的數(shù)據(jù)指標(biāo)

所有這些模型在研究中都看起來高度準(zhǔn)確，一到臨床就原形畢露（例如不同類型的患者或使用不同設(shè)備獲得的成像掃描）。

這“全軍覆沒”的背后，主要還是數(shù)據(jù)集的問題。

其中許多模型都是在樣本數(shù)據(jù)集極小的情況下訓(xùn)練的，有的數(shù)據(jù)還只來自一家醫(yī)院，換個(gè)城市換個(gè)醫(yī)院，這模型完全就不奏效了。

也有模型是基于公開的“Frankenstei數(shù)據(jù)集”來進(jìn)行訓(xùn)練的。這樣的大型數(shù)據(jù)集存在的問題是，隨著時(shí)間推移，數(shù)據(jù)集不斷發(fā)展、融合新的數(shù)據(jù)，這些變化很可能使得最初的結(jié)果無法復(fù)現(xiàn)。

更有甚者，訓(xùn)練和測(cè)試用的是同一個(gè)數(shù)據(jù)集。

當(dāng)然，這也許不是研究人員存心這么做，由于法律和商業(yè)原因，很多醫(yī)療數(shù)據(jù)集都得保密，可供研究人員訓(xùn)練和驗(yàn)證的大型又多樣化的數(shù)據(jù)真的很少。

這也導(dǎo)致醫(yī)療保健領(lǐng)域出品的機(jī)器學(xué)習(xí)研究特別難以復(fù)制，麻省理工就做過一項(xiàng)研究：

醫(yī)療AI論文復(fù)現(xiàn)率只有23%，而自然語言處理領(lǐng)域?yàn)?8%，計(jì)算機(jī)視覺領(lǐng)域則達(dá)80%。

但數(shù)據(jù)集還只是一方面。其中也有方法設(shè)計(jì)不當(dāng)和缺乏放射科醫(yī)生和臨床醫(yī)生參與的問題。

例如，有模型的訓(xùn)練集采用兒童的CT圖像作為“非Covid-19”數(shù)據(jù)、成人的作為“Covid-19”數(shù)據(jù)。

但實(shí)際上，在兒科就診的兒童，在人體解剖結(jié)構(gòu)上與成人有很大差異。這樣的數(shù)據(jù)設(shè)置并不合理，訓(xùn)練出來的模型就會(huì)存在很大偏差。

“而無論大家是用機(jī)器學(xué)習(xí)來預(yù)測(cè)天氣還是檢測(cè)疾病，確保不同的專家在一起工作并說相同的語言很重要，這樣才可以關(guān)注正確的問題?！?可惜的是，很多模型都沒有讓放射科醫(yī)生和臨床醫(yī)生參與進(jìn)來。

另外，時(shí)間限制也可以被解釋為這一系列問題的“借口”。

“這些障礙都必須克服，不然就要面對(duì)信任危機(jī)”

當(dāng)然，大量此類論文發(fā)表卻全部無法應(yīng)用的背后，說明這方面論文的審查制度也有問題，例如審稿人缺乏對(duì)機(jī)器學(xué)習(xí)的深入了解，或?qū)χ麢C(jī)構(gòu)或公司盲目信任等等，導(dǎo)致這些論文被草草通過。

但最重要是審稿機(jī)構(gòu)缺乏一致的標(biāo)準(zhǔn)來評(píng)估醫(yī)學(xué)領(lǐng)域的機(jī)器學(xué)習(xí)研究。劍橋大學(xué)的研究人員認(rèn)為作者和審稿人之間需要建立一套共同的標(biāo)準(zhǔn)，確保研究真的解決了實(shí)際問題。

最后，盡管大量的Covid-19模型被發(fā)現(xiàn)無法復(fù)現(xiàn)應(yīng)用于臨床，劍橋大學(xué)的研究人員表示，經(jīng)過一些關(guān)鍵的修改，這些機(jī)器學(xué)習(xí)模型還是可以成為抗擊新冠的有力工具。

他們給出了一些總結(jié)和建議：

• 公共數(shù)據(jù)集可能導(dǎo)致嚴(yán)重的偏差風(fēng)險(xiǎn)，謹(jǐn)慎使用；
• 為了使模型適用于不同的群體和獨(dú)立的外部數(shù)據(jù)集，訓(xùn)練數(shù)據(jù)應(yīng)該保持多樣性和適當(dāng)?shù)拇笮?/strong>；
• 除了更高質(zhì)量的數(shù)據(jù)集外，還需要可復(fù)現(xiàn)和外部驗(yàn)證的證明，這樣才能增加模型被推進(jìn)并整合到未來臨床試驗(yàn)中的可能性。

并表示這些障礙都必須克服，不然人們對(duì)人工智能的信任將從何談起？

此外由于隱私限制難以獲取醫(yī)療數(shù)據(jù)，除了采取聯(lián)邦學(xué)習(xí)，也可以參考一下最新發(fā)表在Nature封面上的聯(lián)合學(xué)習(xí)?（Swarm Learning ），一項(xiàng)優(yōu)于聯(lián)邦學(xué)習(xí)的醫(yī)療數(shù)據(jù)共享技術(shù)。

AI看片到底行不行？

面對(duì)劍橋大學(xué)的結(jié)論，有網(wǎng)友感到憂心忡忡：

如今，AI/ML的價(jià)值和可信度正在被稀釋。當(dāng)我聽到“AI解決方案”、“AI驅(qū)動(dòng)”這樣的字眼時(shí)，甚至?xí)械骄o張。

也有網(wǎng)友認(rèn)為，這與當(dāng)下機(jī)器學(xué)習(xí)領(lǐng)域論文“灌水”之風(fēng)不無關(guān)系。

但也有網(wǎng)友客觀地分析，認(rèn)為AI確實(shí)已經(jīng)在醫(yī)療影像方面發(fā)揮了作用，只是它們替代不了醫(yī)生，更多是在扮演醫(yī)生的助手，并且目前，AI并沒有辦法去應(yīng)對(duì)一些真正困難的情況。

而針對(duì)文章談到的數(shù)據(jù)問題，有不少網(wǎng)友表示贊同：

數(shù)據(jù)并不是唯一的問題，但似乎是最直接的原因。

是時(shí)候?yàn)锳I模型和數(shù)據(jù)集構(gòu)建“蛋白質(zhì)銀行”這樣的數(shù)據(jù)庫了。

事實(shí)上，無論你對(duì)AI醫(yī)療是否持懷疑的態(tài)度，現(xiàn)在，至少像AI看片這樣的醫(yī)療服務(wù)，已經(jīng)真真切切來到了大眾身邊。

此前，量子位的同事就曾在中關(guān)村醫(yī)院讓AI給拍了一次CT。

而在與一線醫(yī)生的溝通交流中，也有在三甲醫(yī)院負(fù)責(zé)體檢中心的主任醫(yī)生向我們透露：如檢測(cè)肺結(jié)節(jié)這樣的單點(diǎn)應(yīng)用，已經(jīng)能夠幫助醫(yī)生減輕負(fù)擔(dān)。

甚至還有放射科醫(yī)生表示，“現(xiàn)在不用（AI輔助看片），還有點(diǎn)不習(xí)慣”。

Stat News則對(duì)此評(píng)論稱：

機(jī)器學(xué)習(xí)在醫(yī)療領(lǐng)域蓬勃發(fā)展，同時(shí)也面臨著信譽(yù)危機(jī)。

那么，你覺得AI醫(yī)療到底行不行呢？

— 完 —

版權(quán)所有，未經(jīng)授權(quán)不得以任何形式轉(zhuǎn)載及使用，違者必究。