谷歌醫(yī)療版ChatGPT已在診所實(shí)測！可生成診斷做總結(jié)，多個(gè)指標(biāo)和真人醫(yī)生相當(dāng)

明敏 2023-07-10 13:12:58 來源：量子位

明敏 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

谷歌對外發(fā)布才2個(gè)月的醫(yī)療大模型Med-PaLM 2，已經(jīng)“偷偷”在醫(yī)療診所實(shí)習(xí)很久了。

《華爾街日報(bào)》爆料，早在今年4月（也就是對外發(fā)布前），Med-PaLM 2就開始在多家診所內(nèi)測試。

負(fù)責(zé)的工作包括回答醫(yī)療問題、總結(jié)文件或處理醫(yī)療大數(shù)據(jù)等。

基于谷歌當(dāng)下最先進(jìn)的大語言模型PaLM 2以及大量醫(yī)療數(shù)據(jù)訓(xùn)練，Med-PaLM 2是第一個(gè)在MedQA測試集中達(dá)到“專家”水平的AI大模型。

谷歌曾經(jīng)表示，在醫(yī)療領(lǐng)域，Med-PaLM 2的效果優(yōu)于Bard、Bing、ChatGPT等通用大模型。

實(shí)際上，谷歌最新被曝光的這一動(dòng)作，也被視為和微軟競爭的一個(gè)方面。

畢竟ChatGPT爆火引發(fā)了醫(yī)療系統(tǒng)對于AI提升工作效率的新一輪思考，而基于GPT-4能力的AI工具，被曝已經(jīng)為130個(gè)診所、600名以上醫(yī)療工作者提供服務(wù)。

所以，谷歌在AI醫(yī)療的新一輪發(fā)力，進(jìn)展如何？

Med-PaLM 2能力如何？

Med-PaLM 2基于谷歌當(dāng)下最先進(jìn)的大語言模型PaLM2，PaLM 2具備3400億參數(shù)、3.6萬億tokens。

它的前身Med-PaLM是首個(gè)在美國醫(yī)療執(zhí)照考試（USMLE）中取得“及格”以上分?jǐn)?shù)的AI模型，在MedQA數(shù)據(jù)集上的得分為67.2。

Med-PaLM 2將這一分?jǐn)?shù)提升了19%，達(dá)到86.5。

并且在MedMACQA、PubMedQA和MMLU幾個(gè)臨床方面的數(shù)據(jù)集上性能接近或超過SOTA。

在1000多個(gè)實(shí)際醫(yī)療場景問答中，Med-PaLM 2在9項(xiàng)基準(zhǔn)測試中，有8項(xiàng)表現(xiàn)良好，相較于人類醫(yī)生回答更受認(rèn)可。

和普通醫(yī)生的回答相比，Med-PaLM 2有72.9%的回答被認(rèn)為是和醫(yī)生回答相對一致的。

但這些數(shù)據(jù)距離Med-PaLM 2能被完全投入到實(shí)際醫(yī)療場景中應(yīng)用，還有一段距離。

參與Med-PaLM 2研發(fā)的谷歌技術(shù)高管格雷格?科拉多(Greg Corrado)也表示，目前這一技術(shù)的應(yīng)用仍處于早期階段。

它還沒有到達(dá)能讓人放心使用的程度。

最明顯的就是Med PaLM 2在回答問題的準(zhǔn)確性和穩(wěn)定性上，表現(xiàn)依舊不是很好。

比如上面的測試中Med PaLM 2唯一一項(xiàng)沒有被認(rèn)可的基準(zhǔn)測試，就是“信息準(zhǔn)確性/相關(guān)性”。

今年世衛(wèi)組織也對LLM回答的不穩(wěn)定性表示擔(dān)憂。

除此之外，AI在醫(yī)療領(lǐng)域的應(yīng)用上，數(shù)據(jù)問題非常關(guān)鍵，這涉及到患者的個(gè)人隱私。此前DeepMind開發(fā)的醫(yī)療軟件就被發(fā)現(xiàn)，違法使用了160萬份患者診斷記錄。

在這方面，谷歌聲明所有數(shù)據(jù)將由醫(yī)療機(jī)構(gòu)負(fù)責(zé)保管，谷歌是無法拿到的。

盡管在實(shí)際應(yīng)用落地中存在諸多困難，但不可否認(rèn)，AI醫(yī)療領(lǐng)域現(xiàn)在已成為科技巨頭們緊盯的一塊重要陣地。

科技巨頭一直緊盯醫(yī)療領(lǐng)域

正如谷歌曝光郵件中所寫的那樣，Med-PaLM 2等醫(yī)療大模型的應(yīng)用，能夠給醫(yī)療資源緊張地區(qū)提供很大幫助。

近年來，如微軟、谷歌、IBM等科技大廠也在持續(xù)關(guān)注AI醫(yī)療方面的應(yīng)用落地。在這輪大模型浪潮之前，AI檢測心電圖、X光片已在一些醫(yī)院中投入應(yīng)用。

而ChatGPT一來，AI醫(yī)療有了更多實(shí)質(zhì)性進(jìn)展。

比如微軟和醫(yī)療軟件公司Epic合作，開發(fā)了一種基于ChatGPT的工具，可以向患者自動(dòng)發(fā)送信息。

還有Carbon Health也基于GPT-4推出了一種AI工具，可以根據(jù)醫(yī)生病人之間的對話，自動(dòng)生成診斷記錄。

據(jù)介紹，這個(gè)工具可以在4分鐘內(nèi)完成咨詢的總結(jié)，比醫(yī)生自己操作快12分鐘。

目前這個(gè)AI工具已經(jīng)被130+家診所、超過600名醫(yī)療人員使用，舊金山的一家診所表示在使用了這個(gè)工具后來就診的病人數(shù)量增加了30%。

以及國內(nèi)也有這方面進(jìn)展。

MedGPT——基于Transformer的1000億參數(shù)大模型，目前共接診120多名患者，從問診、檢查到診療方案全流程覆蓋。

但在大廠們熱烈推進(jìn)AI醫(yī)療應(yīng)用的另一邊，不少人對于這種應(yīng)用還表示比較擔(dān)憂，畢竟醫(yī)療行業(yè)是非常嚴(yán)肅的一個(gè)領(lǐng)域。

有人就表示，LLM產(chǎn)生的“幻覺”非常多，他不相信LLM能幫他完成研究。

還有數(shù)據(jù)隱私方面的擔(dān)憂，更是老生常談了。

不過如果僅僅是讓AI幫助醫(yī)生完成一些重復(fù)性的基礎(chǔ)性工作，有人覺得這還是值得提倡的。

即使LLM有幻覺，但是在生成筆記上還是非常成熟的。

你怎么看？

參考鏈接：
[1]https://www.wsj.com/articles/in-battle-with-microsoft-google-bets-on-medical-ai-program-to-crack-healthcare-industry-bb7c2db8?mod=djemalertNEWS
[2]https://www.theverge.com/2023/7/8/23788265/google-med-palm-2-mayo-clinic-chatbot-bard-chatgpt
[3]https://www.theregister.com/2023/06/06/carbon_health_deploys_gpt4powered_tools/
[4]https://cloud.google.com/blog/topics/healthcare-life-sciences/sharing-google-med-palm-2-medical-large-language-model