醫(yī)療版ChatGPT直播評測！治療方案與真人醫(yī)生96%一致

楊凈 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

國內(nèi)首個醫(yī)療大模型，已經(jīng)在“接診”患者了。

最近，一組AI醫(yī)生醫(yī)院真實站崗數(shù)據(jù)曝光：

• 共接診120多名患者，從問診、檢查到診療方案全流程覆蓋；
• 涉及心內(nèi)科、消化內(nèi)科、呼吸內(nèi)科、內(nèi)分泌科、腎臟內(nèi)科、骨科、泌尿外科七大疾病科室，患者疾病類別多元，復雜程度不一；
• 醫(yī)學水平不輸國內(nèi)三甲醫(yī)院主治醫(yī)生，與真人醫(yī)生診療方案一致性達到96%；
• 來自北大人民醫(yī)院、中日友好醫(yī)院、阜外醫(yī)院和友誼醫(yī)院等國內(nèi)頂尖醫(yī)院的7位專家教授圍觀點贊。

這樣公開化、規(guī)模化的AI醫(yī)生評測，在國內(nèi)是首次，放眼全球也是第一次見到。

更想不到的是，背后的主角MedGPT——基于Transformer的1000億參數(shù)大模型，才剛問世一個月。

目前在實際診療中，它已經(jīng)具備多輪連續(xù)對話和多模態(tài)能力。而在未來規(guī)劃中，MedGPT還會上線醫(yī)療版的Plugin Store，預計將搭載1000+醫(yī)療應用，極大豐富AI醫(yī)生的診療工具，提升診療效率。

從上述這些數(shù)據(jù)與表現(xiàn)來看，96%的一致性，想不到。

這樣的迭代速度，更想不到。

MedGPT直播首秀：接待百名患者

這場直播首秀其實是一場實打?qū)嵉?strong>人機醫(yī)學一致性評測。除了AI醫(yī)生MedGPT外，還有10位來自四川大學華西醫(yī)院的主治醫(yī)師共同參與。

為了保證評測的權(quán)威性和科學性，一方面由國內(nèi)頂尖醫(yī)院的專家教授組成評審團，進行審核和多維度打分。

另一方面，整個流程也進行了特別的設計。簡單來說，患者進屋問診，但是是和有醫(yī)師執(zhí)業(yè)資格的“翻譯員”對話。翻譯員把患者主訴在電腦上分別傳遞給真人醫(yī)生和AI醫(yī)生，如此多輪往復，最終根據(jù)檢查結(jié)果，給出診斷。

就像當初AlphaGo大戰(zhàn)圍棋界，中間幫助Alpha執(zhí)行“落子”動作的執(zhí)棋手，就是這個“翻譯員”的角色了。

這樣一來AI醫(yī)生與真人醫(yī)生之間互不干涉，且條件基本一致，雙方就能給出獨立的判斷。

最終，經(jīng)過一天的鏖戰(zhàn)，真人醫(yī)生綜合得分為 7.5分，AI 醫(yī)生綜合得分為 7.2分，比分結(jié)果上一致性達到了96%。

在評審過程中，專家們也發(fā)現(xiàn)了一些意想不到的“驚喜”：

比如，出現(xiàn)漏診誤診的概率比較小。

北大人民醫(yī)院薛峰主任就發(fā)現(xiàn)，MedGPT通過多輪詢問，根據(jù)患者腳底板疼痛癥狀，竟然在最后可以推斷診斷出「有可能出現(xiàn)壓迫頸神經(jīng)」這樣的結(jié)果。

這也就是說，從知識儲備上，AI醫(yī)生其實可能高于一個經(jīng)驗不太豐富的醫(yī)生。

另外，MedGPT就診時的“沉穩(wěn)”表現(xiàn)也得到了點贊。

中日友好醫(yī)院心內(nèi)科主任醫(yī)師任景怡就表示：我覺得最好的一點是當診斷尚不明確時，MedGPT并不會輕易給出結(jié)論，而是要堅持通過繼續(xù)問診或檢查收集更多信息。

于是即便MedGPT還存在一定問題，她還是給了比真人醫(yī)生還高的分數(shù)，并直言：這是里程碑的結(jié)果。

不可否認的是，MedGPT還有些問題需要調(diào)整，幾位專家指出它會出現(xiàn)偶爾過度給出治療建議、重復推薦檢查項目、某些概念表述不準確，以及無法實現(xiàn)查體等局限——要想MedGPT更加可用，這些意見一定程度比正面評價還要重要。

但總的來說，首個醫(yī)療大模型的公開首秀的結(jié)果還算不錯。

總結(jié)下來，首先是大模型的基本能力都有，語義理解、多輪對話、多模態(tài)識別等，還能像OpenAI那樣通過插件商店鏈接到各種行業(yè)應用。

還有通用大模型被廣為詬病的對齊和準確性問題，MedGPT整個流程結(jié)果也不輸真人醫(yī)生。

再從行業(yè)維度來看，確實能真正從醫(yī)學角度為醫(yī)生提供有效幫助，提升患者疾病管理效率。

此次真實測試過程中可以看到，它能基于有效問診以及醫(yī)學檢查數(shù)據(jù)，MedGPT得以進行準確的疾病診斷，并為患者設計疾病治療方案。

甚至在診后，MedGPT還會在患者收到藥品后進行用藥指導與管理、智能隨訪復診、康復指導等智能化疾病管理工作。

目前它基本覆蓋ICD10的60%疾病病種，這意味著常見病癥都能Hold住~

還能7*24小時不間斷干活，一旦規(guī)?；涞剌o助醫(yī)生診療，能大大提升醫(yī)療效率，對于分級診療，醫(yī)療資源普惠，都能夠發(fā)揮一定作用。

首個醫(yī)療大模型如何煉成？

醫(yī)療向來是AI落地中專業(yè)性最強、壁壘性最高，對安全要求最高的領域之一。

以往用戶們會習慣性使用信息搜索來幫助自己做一些初步的疾病判斷，但信息魚龍混雜，普通用戶缺乏專業(yè)知識無法進行有效篩選，最終導致往往會收效甚微。

但又因為這個領域牽涉到每個人的生命健康，市場需求和社會價值一直很大。

因此自ChatGPT誕生以來，關于何時能在醫(yī)療領域“上崗”發(fā)揮作用，就備受產(chǎn)學研各界專家的關注。

誠如“弱智吧”成為檢驗各個通用大模型能力的Benchmark一樣，各個大模型的醫(yī)療能力也在美國執(zhí)業(yè)醫(yī)師資格考試USMLE中摩拳擦掌。

早些時候，?哈佛大學教授曾親自下場測試ChatGPT輔助診斷的表現(xiàn)。

結(jié)果顯示，ChatGPT在45個案例中39個診斷正確，并為30個案例提供適當?shù)姆衷\建議。這樣的表現(xiàn)已經(jīng)超過現(xiàn)有機器診斷水平，接近醫(yī)生。

另一個代表，谷歌健康團隊打造的Med-PaLM 2，它能回答各種醫(yī)學問題，據(jù)稱是首個在美國醫(yī)療執(zhí)照考試中達到專家水平的大語言模型。

但能做題并不能意味著就能落地應用。

以GPT-4為首的通用大模型，他們高度依賴文本統(tǒng)計概率生成答案。相信大家也能感知到它很擅長一本正經(jīng)地胡說八道，如果應用在日常交流，倒也樂在其中。

但要是應用到行業(yè)中去，往往非專業(yè)人士會難以察覺，這就會引發(fā)各種風險，尤其又像醫(yī)療這種民生行業(yè)，對內(nèi)容生成的把控要求更高，容不得半點差池。

更不用說醫(yī)療本身覆蓋知識面廣而繁雜，而且從整個就醫(yī)流程來看，診前、診中、診后都涉及各種各樣長尾任務，所需高質(zhì)量數(shù)據(jù)可能并不比通用模型小，且大部分數(shù)據(jù)不是靠網(wǎng)上摘取。

這對企業(yè)來說，不單只是算法、算力和數(shù)據(jù)的考驗，而是一整套系統(tǒng)工程性難題。

既然如此，作為國內(nèi)首個醫(yī)療大模型MedGPT，又是如何做到的呢？

簡單總結(jié)：專業(yè)大模型，以及多種準確性機制保架護航。

首先，一上來就打造醫(yī)療大模型。

此前專業(yè)大模型的思路是，先打造一個大模型，再利用專業(yè)數(shù)據(jù)做監(jiān)督微調(diào)。但MedGPT直接是以醫(yī)療數(shù)據(jù)預訓練、微調(diào)以及超100名醫(yī)生參與RLHF機制。

這就需要企業(yè)既要在垂直行業(yè)深耕，還要有AI技術(shù)實力。這就需要提及它背后的締造者——醫(yī)聯(lián)。

在行業(yè)上，作為互聯(lián)網(wǎng)醫(yī)療的早期入局者，醫(yī)聯(lián)已經(jīng)積累了超過150萬醫(yī)生和2000萬患者，穩(wěn)固的醫(yī)患關系鏈長期互動之下，形成了大量專業(yè)的醫(yī)學數(shù)據(jù)。

此外醫(yī)聯(lián)長期關注醫(yī)療與技術(shù)的深度融合，已打造了近140個疾病管理標準化流程，涉及腫瘤、心腦血管、糖尿病等常見病癥，覆蓋1000多個病種，形成了一整套全數(shù)字化全流程疾病管理體系。

在互聯(lián)網(wǎng)醫(yī)療時代，這些疾病管理體系可以為行業(yè)提供線上管理的有效依據(jù)，提升行業(yè)整體效率。而在AI賦能下的數(shù)字醫(yī)療行業(yè)來臨之時，這便成了AI醫(yī)療的重要依托。

至于在AI方面，這家公司很早就開始關注并進行謀劃：早在2017年醫(yī)聯(lián)就建立起醫(yī)療大數(shù)據(jù)結(jié)構(gòu)化能力；2018年就將NLP、CV等AI技術(shù)應用落地，比如智能體液檢測、智能分診、口腔影像識別等場景。

2019年還推出針對單病種/分階段的AI診療模型，曾聯(lián)手多家醫(yī)院及機構(gòu)，創(chuàng)建亞洲首個多發(fā)性硬化癥領域的早篩AI模型，幫助患者提前1-3年提升多發(fā)性硬化癥的風險預測和防控能力。

這些前期在AI領域的摸索以及長期的醫(yī)學與前沿技術(shù)的融合，成為醫(yī)聯(lián)能率先在行業(yè)內(nèi)推出醫(yī)療大模型并應用的基礎，可以說這一切絕非偶然。

讓我們再往深看一步，為了保證醫(yī)療大模型的準確性和一致性，醫(yī)聯(lián)從模型到實際應用同樣做了不少工作。

包括模型算法的一致性校驗機制、多維度診療評測機制，以及基于專家評議的真實世界醫(yī)生一致對標機制。

比如，在為患者輸出正式答案前，會先經(jīng)過臨床醫(yī)學規(guī)則器的校驗。還有招募真實醫(yī)生在電腦前判斷，然后將兩者結(jié)果交給專家委員會評議，以此來對標真實醫(yī)生。

基于這樣的方法論，醫(yī)聯(lián)團隊率先為專業(yè)大模型的打造在行業(yè)中打了個樣。

醫(yī)療AI2.0大幕拉開

最后回到MedGPT公開評測這件事情本身，也帶來了大模型發(fā)展進程中的三點趨勢。

第一、醫(yī)療AI2.0大幕已經(jīng)拉開，系統(tǒng)復雜性問題將會得到解決。

以大模型為代表的AI2.0時代的到來——對話即入口，讓所有的應用場景都得到了重新定義。被AI所輻射的千行百業(yè)也深處于變革之中。

以往AI 1.0，NLP、CV、多模態(tài)等單點技術(shù)蓬勃發(fā)展，醫(yī)療AI應用場景豐富多樣，他們強規(guī)則、具有可控性。但場景、數(shù)據(jù)之間沒有打通，導致泛化能力不強，無法處理系統(tǒng)性、復雜性的問題。

得益于Transformer，打破了模態(tài)、數(shù)據(jù)、任務場景之間的壁壘。醫(yī)療場景中，利用海量醫(yī)學文本與數(shù)據(jù)中，進行高并發(fā)/長距離學習整合，一些復雜性、系統(tǒng)性問題可以得到解決。

如果繼續(xù)暢想，結(jié)合醫(yī)聯(lián)的云藥房、云檢驗等云化能力，不僅是AI醫(yī)生本身疾病管理能力會得到提升，患者甚至可以擺脫地理限制，輕松完成所有疾病從預防、診斷、治療、康復的全流程管理路徑。

這其實也并不難想象，只需要知道有一個能看各個專科領域并且比肩三甲醫(yī)院醫(yī)生的AI醫(yī)生能夠24小時在你身邊為你出診，同時，檢驗檢測服務在家附近1公里就能全部完成。

有去三甲醫(yī)院排隊掛號看病經(jīng)歷的同學應該都懂——專家掛不上號、檢驗檢查等一個月，這都是時有發(fā)生的事情。降本增效、解決行業(yè)問題，走入醫(yī)療的下一個時代，就是靠MedGPT這類專業(yè)模型做的。

第二、大模型的行業(yè)紅利并非在科技巨頭手中，而在有場景有數(shù)據(jù)的玩家手里。

相信大家都或多或少有所看到，目前醫(yī)療領域的專用大模型和產(chǎn)品正在不斷問世，最具代表性的產(chǎn)品來自谷歌和微軟這兩個大廠。

谷歌Med-PaLM 2目前正在嘗試多模態(tài)能力，比如自己檢查X光片后給出診斷。在今年晚些時候?qū)σ恍〔糠止雀柙朴脩糸_放。

還有被微軟200億美元收購的Nuance，借由微軟OpenAI合作之便，正在將GPT-4集成到臨床筆記軟件DAX中，以減輕臨床醫(yī)生的負擔。

前者的大模型還沒有到真正落地，后者無非是集成通用大模型的API，其行業(yè)的準確性和一致性無法得到保障。

但MedGPT一亮相就驚艷全場，并拿下多個行業(yè)首次：

首次突破AI醫(yī)生多輪對話的難題；

首次實現(xiàn)從有效問診到醫(yī)學檢查的跨越；

首次實現(xiàn)AI給出準確診斷和治療方案；

首次AI具備全流程診斷能力……

這與垂直領域深耕、有場景有數(shù)據(jù)有關。

醫(yī)聯(lián)在醫(yī)療行業(yè)有9年深耕，積累了豐富的知識、數(shù)據(jù)和應用，構(gòu)筑起了深厚的技術(shù)和用戶壁壘。

一旦實現(xiàn)大模型技術(shù)的應用， 在現(xiàn)有的用戶場景基礎之下，將會迅速規(guī)模化落地。這是其他想入局者無法擁有的先發(fā)優(yōu)勢。

上一次AI浪潮來襲時，最終也是場景玩家率先吃掉AI紅利。

現(xiàn)在同樣也依舊是場景玩家吃掉大模型紅利，只不過技術(shù)路徑已經(jīng)明晰，落地速度自然要比以往快得多。

第三，醫(yī)療AI落地提速，也側(cè)面印證了大模型的發(fā)展趨勢——

雪球效應展現(xiàn)，從技術(shù)到應用部署的飛輪會越轉(zhuǎn)越快。

ChatGPT最開始只會一本正經(jīng)地胡說八道，短短幾個月內(nèi)基于用戶反饋、插件開發(fā)生態(tài)，真正被各行業(yè)的人加入到工作流中，并上線了端側(cè)應用。

還有Midjourney、Stable Diffusion被人詬病無法畫手的問題，也能在短短幾周內(nèi)解決；以及國內(nèi)大模型涌現(xiàn)、更新速度加快，文心一言一個月能迭代四次等等。

“大模型-應用-數(shù)據(jù)”的加速閉環(huán)一旦打通，那么產(chǎn)業(yè)落地的速度將會比上一波浪潮更快。

而醫(yī)聯(lián)大模型MedGPT一個月就進入到真實患者全流程測試階段。在此之后，根據(jù)數(shù)據(jù)飛輪迭代大模型，落地速度只會越來越快。

或許很快，醫(yī)療AI2.0就會惠及到每個人身邊。