AI能寫出靠譜醫(yī)學報告了，CVPR2021收錄｜騰訊醫(yī)典出品
本次騰訊醫(yī)典AI入選的論文《Exploring and Distilling Posterior and Prior Knowledge for Medical Report Generation》，創(chuàng)新地提出了后驗-先驗知識探索及蒸餾(PPKED)框架，模仿人類醫(yī)生的判讀方式，結(jié)合先驗和后驗知識來生成報告，以提高最終生成的醫(yī)學報告質(zhì)量，針對性彌補了這一不足。
允中 發(fā)自 凹非寺
量子位 編輯 | 公眾號 QbitAI
近日，全球計算機視覺三大頂會之一的CVPR（IEEE國際計算機視覺與模式識別會議）公布了2021年度的論文錄用結(jié)果。騰訊醫(yī)典AI團隊與北京大學共同合作的論文《Exploring and Distilling Posterior and Prior Knowledge for Medical Report Generation》，憑借在醫(yī)學圖像報告自動生成領(lǐng)域的研究突破成功入選。
CVPR在2020年谷歌學術(shù)排行榜人工智能領(lǐng)域中排名第一，本次大會共收到來自全球超7000份論文投稿，最終1663篇論文獲得錄用，錄用率僅為23.7%。
醫(yī)學圖像被廣泛應用于診斷參考，基于肺部CT的新冠肺炎診斷也在疫情期間成為防控的關(guān)鍵。在醫(yī)療實踐中，醫(yī)生需要針對醫(yī)學圖像按標準撰寫和輸出醫(yī)學報告。面對龐大的患者數(shù)量，為所有的圖像逐一撰寫報告占據(jù)了醫(yī)生大量工作時間，不同醫(yī)生的經(jīng)驗差異也使得部分圖像中的異常被忽略，無法體現(xiàn)在報告中。
如何借助人工智能快速、準確地自動生成報告，對于提升醫(yī)生工作效率和服務質(zhì)量具有重要的實用價值，也成為了近年醫(yī)學圖像研究領(lǐng)域中的一個重要課題。
然而，先進的醫(yī)學圖像報告自動生成系統(tǒng)也很容易受醫(yī)學圖像報告中的數(shù)據(jù)偏差誤導。本次騰訊醫(yī)典AI入選的論文《Exploring and Distilling Posterior and Prior Knowledge for Medical Report Generation》，創(chuàng)新地提出了后驗-先驗知識探索及蒸餾(PPKED)框架，模仿人類醫(yī)生的判讀方式，結(jié)合先驗和后驗知識來生成報告，以提高最終生成的醫(yī)學報告質(zhì)量，針對性彌補了這一不足。
模型中的先驗探索(PrKE)模塊，可以通過預構(gòu)建包含心臟肥大、脊柱側(cè)彎、鈣化點、肺炎等常見異常特征信息的知識圖譜，模擬醫(yī)生學習過的醫(yī)學知識，以更好地識別出各種圖像中的異常。另一方面，通過在訓練集中匹配、提取已知的相似圖像和報告，可以與病人的歷史報告做比對參考，模型亦在一定程度上模擬了醫(yī)生根據(jù)自身豐富的經(jīng)驗來做決策的過程，實現(xiàn)利用先驗知識來指導報告的生成。
在后驗探索(PoKE)模塊中，模型可實現(xiàn)將當前圖像進行標簽分類，模擬醫(yī)生找尋圖像異常的過程，大致框定異常的區(qū)域，提醒醫(yī)生針對該區(qū)域做進一步識別處理。先驗和后驗知識在經(jīng)過多領(lǐng)域知識蒸餾(MKD)模塊的綜合過濾后，將生成最終的報告。
這一創(chuàng)新模型在IU-Xray和MIMIC兩個國際公認的公開數(shù)據(jù)集上，取得了比以往所有同類模型更好的結(jié)果，可以有效地生成更高質(zhì)量的報告。
醫(yī)學圖像報告自動生成模型的論文登上人工智能領(lǐng)域第一的行業(yè)會議，是騰訊醫(yī)典在人工智能領(lǐng)域的又一次深入探索。騰訊醫(yī)典AI團隊專注于醫(yī)學知識圖譜、醫(yī)學自然語言理解、多模態(tài)深度學習等領(lǐng)域的研究，將持續(xù)在醫(yī)學知識生成和推送、人工智能輔助診療等領(lǐng)域向行業(yè)輸出切實可行的解決方案和領(lǐng)先技術(shù)，用科技提升醫(yī)療服務效率，助力醫(yī)療行業(yè)的數(shù)字化轉(zhuǎn)型。
—?完?—
- 長城汽車自研芯片點亮！提前布局下一代架構(gòu)RISC-V，魏建軍：不能再受制于人2024-09-27
- 騰訊云發(fā)布自研大數(shù)據(jù)高性能計算引擎Meson，性能最高提升6倍2024-07-04
- Intel2024-03-18
- 數(shù)字員工全新發(fā)布 加速企業(yè)轉(zhuǎn)型2024-01-15
相關(guān)閱讀
NeurIPS 2023 | 騰訊AI Lab 18篇入選論文解讀
含一篇Spotlight，涵蓋ML、CV、NLP等方向，以及AI在游戲、科研等領(lǐng)域的融合探索。
“出生即王者”，騰訊云圖數(shù)據(jù)庫性能超關(guān)系數(shù)據(jù)庫千倍
騰訊云正式發(fā)布分布式圖數(shù)據(jù)庫產(chǎn)品騰訊云數(shù)圖TGDB（Tencent Graph Database）
