支付寶發(fā)布多模態(tài)醫(yī)療大模型，聯(lián)合20家機構(gòu)發(fā)起醫(yī)療AI共建計劃

量子位的朋友們 2024-07-05 21:53:33 來源：量子位

7月5日，在2024世界人工智能大會“可信大模型論壇”上，支付寶公布了其AI技術(shù)在醫(yī)療領域布局的最新進展：發(fā)布多模態(tài)醫(yī)療大模型，同時，全新推出包括醫(yī)療可信一體機、可信云等多款數(shù)智化解決方案?，F(xiàn)場，支付寶還與人民衛(wèi)生出版社、北京大學醫(yī)學部、浙江省衛(wèi)生健康委等20家機構(gòu)，聯(lián)合發(fā)起AI醫(yī)療共建計劃，共同探索AI數(shù)智技術(shù)底座與創(chuàng)新應用服務。

支付寶多模態(tài)醫(yī)療大模型亮相

經(jīng)過半年多測試打磨，支付寶醫(yī)療大模型正式亮相，這也是國內(nèi)首批多模態(tài)醫(yī)療大模型之一。

螞蟻集團大模型應用部總經(jīng)理顧進杰介紹了背后的技術(shù)研發(fā)。螞蟻百靈大模型已具備能“看”會“聽”、能“說”會“畫”的原生多模態(tài)能力，可以直接理解并訓練音頻、視頻、圖、文等多模態(tài)數(shù)據(jù)。支付寶醫(yī)療大模型以此為基座模型，添加了包含報告、影像、藥品等百億級中英文圖文、千億級醫(yī)療文本語料及千萬級高質(zhì)量醫(yī)療知識圖譜，中英文醫(yī)療考試、基準測試達到或超過GPT4水準，醫(yī)療專業(yè)能力在中文醫(yī)療LLM評測榜單promptCBLUE中，位列A榜第一，B榜第二。同時，全棧自研醫(yī)療多模態(tài)結(jié)構(gòu)，使得模型識別報告、藥品、毛發(fā)等圖像準確率達90%以上，相關技術(shù)在行業(yè)頂尖技術(shù)期刊與會議 CVPR、KDD、ECCV等發(fā)表了多項成果。

為了讓回答對話更加可靠，在研發(fā)階段，支付寶還與數(shù)百個專業(yè)醫(yī)學團隊、專家進行合作標注數(shù)據(jù)，保障信息權(quán)威可信，同時聯(lián)合上海仁濟醫(yī)院推出首個中文醫(yī)療專科問答推理數(shù)據(jù)集RJUA-QA。模型測試階段，用戶、患者、醫(yī)生參與問答反饋，在專業(yè)同時，兼顧患者關懷。

支付寶醫(yī)療大模型發(fā)布現(xiàn)場

目前，該多模態(tài)醫(yī)療大模型不僅提供智能問答、病歷結(jié)構(gòu)化和檢索、輔助診斷，還可識別解讀藥品及上百種復雜的醫(yī)學報告，進行毛發(fā)健康檢測等，這些都能嵌入醫(yī)院等機構(gòu)醫(yī)療環(huán)節(jié)全流程，創(chuàng)新醫(yī)療服務的同時，也助力提升機構(gòu)運營效率。

顧進杰表示，AI的深度應用，不僅對數(shù)據(jù)、算法、算力提出了更高要求，也對可靠、安全、隱私提出更多挑戰(zhàn)，醫(yī)療場景下，保障技術(shù)可靠與數(shù)據(jù)隱私安全，至關重要。為此，支付寶面向行業(yè)推出全新的“醫(yī)療可信一體機+可信云”的解決方案，通過密態(tài)計算與存儲，讓醫(yī)療數(shù)據(jù)可用不可見，機構(gòu)保管更安全。

據(jù)介紹，百靈醫(yī)療可信一體機，核心解決醫(yī)院面臨的算力不足痛點，可實現(xiàn)開箱即用，訓推一體，支持國產(chǎn)算力，軟硬件協(xié)同優(yōu)化加速。醫(yī)療大模型可信云方案，通過公有云與專有云部署密態(tài)推理，聚焦解決數(shù)據(jù)隱私安全和商業(yè)機密保護問題。

AI醫(yī)療創(chuàng)新應用“聯(lián)盟”來了

從去年以來，支付寶就加速了AI技術(shù)在醫(yī)療領域的開放與布局。去年11月，浙江衛(wèi)健委應用支付寶開放的“AI就醫(yī)助理”解決方案，依托大模型、數(shù)字人技術(shù)，打造了全國首個數(shù)字健康人“安診兒”，給浙江居民提供云陪診、健康咨詢等服務，上線以來，服務了1000多家醫(yī)療機構(gòu)。上海市第一人民醫(yī)院，應用AI大模型，不僅上線了上海首個可語音交互的“數(shù)字陪診師”，還在業(yè)內(nèi)首創(chuàng)了生成式電子病歷，將繁雜的文書工作從原本的10分鐘縮減到了15秒。

醫(yī)療技術(shù)的創(chuàng)新，需要依托平臺、產(chǎn)業(yè)、學界共同努力。大會現(xiàn)場，支付寶、人民衛(wèi)生出版社、北京大學醫(yī)學部、浙江省衛(wèi)生健康委、廈門市衛(wèi)生健康委員會、浙江省人民醫(yī)院、上海交通大學醫(yī)學院附屬仁濟醫(yī)院、北京大學人民醫(yī)院、復旦大學附屬腫瘤醫(yī)院、上海市第一人民醫(yī)院、首都醫(yī)科大學附屬醫(yī)院等20多家機構(gòu)、企業(yè)，聯(lián)合發(fā)起了AI醫(yī)療共建計劃，共同探索大模型應用及各類專科模型創(chuàng)新研發(fā)。

支付寶AI醫(yī)療共建計劃啟動現(xiàn)場

支付寶副總裁、數(shù)字醫(yī)療健康事業(yè)部總經(jīng)理張俊杰表示：“支付寶希望用最頂尖的技術(shù)做最普惠的服務，讓AI像‘掃碼支付’一樣便利每個人的生活。支付寶也會持續(xù)開放AI技術(shù)與行業(yè)解決方案，攜手合作伙伴一起，推動智能醫(yī)療走向普惠、普及?！?/p>

據(jù)了解，2014年支付寶支持全國第一筆遠程掛號繳費，經(jīng)過十年發(fā)展，平臺已服務超6億看病就醫(yī)人群，是國內(nèi)規(guī)模最大的醫(yī)保第三方在線服務平臺、一站式的醫(yī)療健康服務平臺。目前，全國300多個城市、超3600家醫(yī)院在支付寶上提供一站式數(shù)字醫(yī)療服務。