支付寶醫(yī)療大模型亮相！中英文考試超GPT-4，已落地江浙滬一線醫(yī)院

白交 2024-07-08 17:08:09 來源：量子位

白交 發(fā)自 WAIC

量子位 | 公眾號 QbitAI

支付寶醫(yī)療大模型亮相！

中英文醫(yī)療考試、基準(zhǔn)測試達(dá)到甚至超過GPT-4水準(zhǔn)。

此外，其醫(yī)療專業(yè)能力在中文醫(yī)療LLM評測榜單promptCBLUE中，位列A榜第一，B榜第二。

模型在識別報告、藥品、毛發(fā)等圖像準(zhǔn)確率中達(dá)90%以上。

WAIC現(xiàn)場，支付寶還聯(lián)合人民衛(wèi)生出版社、北京大學(xué)醫(yī)學(xué)部、浙江省衛(wèi)生健康委等20家機(jī)構(gòu)，聯(lián)合發(fā)起AI醫(yī)療共建計劃。

支付寶醫(yī)療大模型

不同于其他領(lǐng)域大模型，醫(yī)療大模型在多模態(tài)、安全性、專業(yè)性能力上面都提出了更高的挑戰(zhàn)。

首先是多模態(tài)，它是以百靈大模型為基座模型。

今年年初，螞蟻就判斷了原生多模態(tài)的技術(shù)方向，并持續(xù)投入。目前，百靈大模型已經(jīng)具備看、聽、說、畫原生多模態(tài)能力。

換言之，能直接理解并訓(xùn)練音頻、視頻、圖、文等多模態(tài)數(shù)據(jù)。

在此基礎(chǔ)之上，它添加了包括添加了包含報告、影像、藥品等百億級中英文圖文、千億級醫(yī)療文本語料及千萬級高質(zhì)量醫(yī)療知識圖譜。

目前，該多模態(tài)醫(yī)療大模型不僅能提供智能問答、病歷結(jié)構(gòu)化和檢索、輔助診斷；還能識別藥品以及上百種醫(yī)學(xué)報告、進(jìn)行毛發(fā)健康檢測等。

這些能力都可以直接嵌入醫(yī)院等機(jī)構(gòu)醫(yī)療環(huán)節(jié)全流程，快速應(yīng)用。

其次在專業(yè)可靠方面，螞蟻大模型應(yīng)用負(fù)責(zé)人顧進(jìn)杰透露，支付寶在研發(fā)、模型測試階段采取了這些舉措。

在研發(fā)階段，支付寶還與數(shù)百個專業(yè)醫(yī)學(xué)團(tuán)隊、專家進(jìn)行合作標(biāo)注數(shù)據(jù)，保障信息權(quán)威可信。

與此同時，還聯(lián)合上海仁濟(jì)醫(yī)院推出首個中文醫(yī)療專科問答推理數(shù)據(jù)集RJUA-QA。

模型測試階段，用戶、患者、醫(yī)生參與問答反饋。

最后在安全性方面，醫(yī)療場景下，保障技術(shù)可靠與數(shù)據(jù)隱私安全至關(guān)重要。而螞蟻本身在安全領(lǐng)域就有多年的深耕。

此次，支付寶還面向行業(yè)推出“醫(yī)療可信一體機(jī)+可信云”的解決方案。

前者實現(xiàn)訓(xùn)推一體，國產(chǎn)算力軟硬件協(xié)同優(yōu)化加速，解決醫(yī)院算力不足的痛點；后者通過公有云和私有云部署密態(tài)推理，解決數(shù)據(jù)隱私安全方面的問題。

在此大模型能力基礎(chǔ)之上，發(fā)布了全模態(tài)數(shù)字人、智能體相關(guān)產(chǎn)品以及行業(yè)解決方案。

其實早在去年，就已經(jīng)開始了AI在醫(yī)療場景方面的布局。

去年11月，浙江衛(wèi)健委應(yīng)用支付寶開放的“AI就醫(yī)助理”解決方案，并打造了全國首個數(shù)字健康人“安診兒”，給浙江居民提供云陪診、健康咨詢等服務(wù)，上線以來，服務(wù)了1000多家醫(yī)療機(jī)構(gòu)。

而前段時間，上海市第一人民醫(yī)院，應(yīng)用AI大模型，不僅上線了上海首個可語音交互的“數(shù)字陪診師”，還在業(yè)內(nèi)首創(chuàng)了生成式電子病歷，將繁雜的文書工作從原本的10分鐘縮減到了15秒。

更早之前，螞蟻就已經(jīng)在如何解決用戶看病難等實際問題進(jìn)行了相關(guān)探索。2014年支付寶就支持全國第一筆遠(yuǎn)程掛號繳費。

經(jīng)過10年發(fā)展，平臺已服務(wù)超6億看病就醫(yī)人群，是國內(nèi)規(guī)模最大的醫(yī)保第三方在線服務(wù)平臺、一站式的醫(yī)療健康服務(wù)平臺。

目前，全國300多個城市、超3600家醫(yī)院在支付寶上提供一站式數(shù)字醫(yī)療服務(wù)。

螞蟻十年醫(yī)療生態(tài)積累，也成為他們醫(yī)療大模型的獨特優(yōu)勢和核心壁壘。

醫(yī)療作為螞蟻落地三大核心應(yīng)用領(lǐng)域之一，也就不奇怪了。

螞蟻支付寶落地三大應(yīng)用

醫(yī)療、金融、生活。

大模型進(jìn)入應(yīng)用時代，螞蟻也正式公開他們落地的三大領(lǐng)域，表現(xiàn)形態(tài)為專業(yè)智能體：

AI就醫(yī)助理、AI金融助理、支付寶智能助理。

其中，支付寶智能助理在WAIC上首次亮相，并入選今年的鎮(zhèn)館之寶。

在支付寶上，只需首頁往下拉就可以喚醒它，通過對話就能完成辦事、問診、打車等服務(wù)，隨時調(diào)用起自帶的上千個小程序。

比如點單茶飲or咖啡，目前支付寶支持包括星巴克、瑞幸、喜茶、霸王茶姬、蜜雪冰城等首批12個茶飲品牌小程序。

你只需下達(dá)指令，“我想點一杯星巴克的中杯冰拿鐵”，AI便會進(jìn)入小程序自動下單，用戶確認(rèn)并付款后，就能到附近的線下門店取到咖啡。

之所以選擇專業(yè)智能體這一形態(tài)，螞蟻集團(tuán)董事長兼CEO井賢棟透露了背后的原因。

業(yè)界普遍認(rèn)為，通用大模型落地嚴(yán)謹(jǐn)產(chǎn)業(yè)面臨著三個“能力短板”：領(lǐng)域知識相對缺乏、復(fù)雜決策難以勝任，以及對話交互不等于有效協(xié)同。

而為了破解這些難題，專業(yè)智能體或許會是一條有效路徑。

從我們的實踐來看，專業(yè)智能體是大模型落地嚴(yán)謹(jǐn)產(chǎn)業(yè)的有效路徑。

值得一提的是，此次支撐起這三大智能體的關(guān)鍵技術(shù)——智能認(rèn)知決策技術(shù)與平臺，也獲得本次大會重要獎項“卓越人工智能獎（SAIL）TOP30”。

這項技術(shù)由螞蟻集團(tuán)和浙江大學(xué)，歷時7年聯(lián)合攻關(guān)，大幅提升了人工智能服務(wù)嚴(yán)謹(jǐn)產(chǎn)業(yè)的專業(yè)能力、準(zhǔn)確性和自我學(xué)習(xí)能力，讓AI和大模型做決策更聰明、更可靠。

截至目前，項目技術(shù)已廣泛應(yīng)用于醫(yī)療民生、金融、政務(wù)等行業(yè)，服務(wù)了上海仁濟(jì)醫(yī)院、上海市一醫(yī)院、浙江省衛(wèi)健委等2600余家醫(yī)院和機(jī)構(gòu)，人保健康、浦發(fā)銀行等數(shù)10家金融機(jī)構(gòu)，推動人工智能真正規(guī)模化落地產(chǎn)業(yè)。該項目還獲授權(quán)發(fā)明專利100余項，部分成果獲2022年中國電子學(xué)會科技進(jìn)步一等獎、2023年吳文俊人工智能科技進(jìn)步一等獎等多個獎項。