AI能寫出靠譜醫(yī)學報告了，CVPR2021收錄｜騰訊醫(yī)典出品
本次騰訊醫(yī)典AI入選的論文《Exploring and Distilling Posterior and Prior Knowledge for Medical Report Generation》，創(chuàng)新地提出了后驗-先驗知識探索及蒸餾(PPKED)框架，模仿人類醫(yī)生的判讀方式，結合先驗和后驗知識來生成報告，以提高最終生成的醫(yī)學報告質量，針對性彌補了這一不足。
允中 發(fā)自 凹非寺
量子位 編輯 | 公眾號 QbitAI
近日，全球計算機視覺三大頂會之一的CVPR（IEEE國際計算機視覺與模式識別會議）公布了2021年度的論文錄用結果。騰訊醫(yī)典AI團隊與北京大學共同合作的論文《Exploring and Distilling Posterior and Prior Knowledge for Medical Report Generation》，憑借在醫(yī)學圖像報告自動生成領域的研究突破成功入選。
CVPR在2020年谷歌學術排行榜人工智能領域中排名第一，本次大會共收到來自全球超7000份論文投稿，最終1663篇論文獲得錄用，錄用率僅為23.7%。
醫(yī)學圖像被廣泛應用于診斷參考，基于肺部CT的新冠肺炎診斷也在疫情期間成為防控的關鍵。在醫(yī)療實踐中，醫(yī)生需要針對醫(yī)學圖像按標準撰寫和輸出醫(yī)學報告。面對龐大的患者數量，為所有的圖像逐一撰寫報告占據了醫(yī)生大量工作時間，不同醫(yī)生的經驗差異也使得部分圖像中的異常被忽略，無法體現在報告中。
如何借助人工智能快速、準確地自動生成報告，對于提升醫(yī)生工作效率和服務質量具有重要的實用價值，也成為了近年醫(yī)學圖像研究領域中的一個重要課題。
然而，先進的醫(yī)學圖像報告自動生成系統也很容易受醫(yī)學圖像報告中的數據偏差誤導。本次騰訊醫(yī)典AI入選的論文《Exploring and Distilling Posterior and Prior Knowledge for Medical Report Generation》，創(chuàng)新地提出了后驗-先驗知識探索及蒸餾(PPKED)框架，模仿人類醫(yī)生的判讀方式，結合先驗和后驗知識來生成報告，以提高最終生成的醫(yī)學報告質量，針對性彌補了這一不足。
模型中的先驗探索(PrKE)模塊，可以通過預構建包含心臟肥大、脊柱側彎、鈣化點、肺炎等常見異常特征信息的知識圖譜，模擬醫(yī)生學習過的醫(yī)學知識，以更好地識別出各種圖像中的異常。另一方面，通過在訓練集中匹配、提取已知的相似圖像和報告，可以與病人的歷史報告做比對參考，模型亦在一定程度上模擬了醫(yī)生根據自身豐富的經驗來做決策的過程，實現利用先驗知識來指導報告的生成。
在后驗探索(PoKE)模塊中，模型可實現將當前圖像進行標簽分類，模擬醫(yī)生找尋圖像異常的過程，大致框定異常的區(qū)域，提醒醫(yī)生針對該區(qū)域做進一步識別處理。先驗和后驗知識在經過多領域知識蒸餾(MKD)模塊的綜合過濾后，將生成最終的報告。
這一創(chuàng)新模型在IU-Xray和MIMIC兩個國際公認的公開數據集上，取得了比以往所有同類模型更好的結果，可以有效地生成更高質量的報告。
醫(yī)學圖像報告自動生成模型的論文登上人工智能領域第一的行業(yè)會議，是騰訊醫(yī)典在人工智能領域的又一次深入探索。騰訊醫(yī)典AI團隊專注于醫(yī)學知識圖譜、醫(yī)學自然語言理解、多模態(tài)深度學習等領域的研究，將持續(xù)在醫(yī)學知識生成和推送、人工智能輔助診療等領域向行業(yè)輸出切實可行的解決方案和領先技術，用科技提升醫(yī)療服務效率，助力醫(yī)療行業(yè)的數字化轉型。
—?完?—
- 長城汽車自研芯片點亮！提前布局下一代架構RISC-V，魏建軍：不能再受制于人2024-09-27
- 騰訊云發(fā)布自研大數據高性能計算引擎Meson，性能最高提升6倍2024-07-04
- Intel2024-03-18
- 數字員工全新發(fā)布 加速企業(yè)轉型2024-01-15
