谷歌醫療版ChatGPT已在診所實測！可生成診斷做總結，多個指標和真人醫生相當

明敏 2023-07-10 13:12:58 來源：量子位

明敏 發自 凹非寺

量子位 | 公眾號 QbitAI

谷歌對外發布才2個月的醫療大模型Med-PaLM 2，已經“偷偷”在醫療診所實習很久了。

《華爾街日報》爆料，早在今年4月（也就是對外發布前），Med-PaLM 2就開始在多家診所內測試。

負責的工作包括回答醫療問題、總結文件或處理醫療大數據等。

基于谷歌當下最先進的大語言模型PaLM 2以及大量醫療數據訓練，Med-PaLM 2是第一個在MedQA測試集中達到“專家”水平的AI大模型。

谷歌曾經表示，在醫療領域，Med-PaLM 2的效果優于Bard、Bing、ChatGPT等通用大模型。

實際上，谷歌最新被曝光的這一動作，也被視為和微軟競爭的一個方面。

畢竟ChatGPT爆火引發了醫療系統對于AI提升工作效率的新一輪思考，而基于GPT-4能力的AI工具，被曝已經為130個診所、600名以上醫療工作者提供服務。

所以，谷歌在AI醫療的新一輪發力，進展如何？

Med-PaLM 2能力如何？

Med-PaLM 2基于谷歌當下最先進的大語言模型PaLM2，PaLM 2具備3400億參數、3.6萬億tokens。

它的前身Med-PaLM是首個在美國醫療執照考試（USMLE）中取得“及格”以上分數的AI模型，在MedQA數據集上的得分為67.2。

Med-PaLM 2將這一分數提升了19%，達到86.5。

并且在MedMACQA、PubMedQA和MMLU幾個臨床方面的數據集上性能接近或超過SOTA。

在1000多個實際醫療場景問答中，Med-PaLM 2在9項基準測試中，有8項表現良好，相較于人類醫生回答更受認可。

和普通醫生的回答相比，Med-PaLM 2有72.9%的回答被認為是和醫生回答相對一致的。

但這些數據距離Med-PaLM 2能被完全投入到實際醫療場景中應用，還有一段距離。

參與Med-PaLM 2研發的谷歌技術高管格雷格?科拉多(Greg Corrado)也表示，目前這一技術的應用仍處于早期階段。

它還沒有到達能讓人放心使用的程度。

最明顯的就是Med PaLM 2在回答問題的準確性和穩定性上，表現依舊不是很好。

比如上面的測試中Med PaLM 2唯一一項沒有被認可的基準測試，就是“信息準確性/相關性”。

今年世衛組織也對LLM回答的不穩定性表示擔憂。

除此之外，AI在醫療領域的應用上，數據問題非常關鍵，這涉及到患者的個人隱私。此前DeepMind開發的醫療軟件就被發現，違法使用了160萬份患者診斷記錄。

在這方面，谷歌聲明所有數據將由醫療機構負責保管，谷歌是無法拿到的。

盡管在實際應用落地中存在諸多困難，但不可否認，AI醫療領域現在已成為科技巨頭們緊盯的一塊重要陣地。

科技巨頭一直緊盯醫療領域

正如谷歌曝光郵件中所寫的那樣，Med-PaLM 2等醫療大模型的應用，能夠給醫療資源緊張地區提供很大幫助。

近年來，如微軟、谷歌、IBM等科技大廠也在持續關注AI醫療方面的應用落地。在這輪大模型浪潮之前，AI檢測心電圖、X光片已在一些醫院中投入應用。

而ChatGPT一來，AI醫療有了更多實質性進展。

比如微軟和醫療軟件公司Epic合作，開發了一種基于ChatGPT的工具，可以向患者自動發送信息。

還有Carbon Health也基于GPT-4推出了一種AI工具，可以根據醫生病人之間的對話，自動生成診斷記錄。

據介紹，這個工具可以在4分鐘內完成咨詢的總結，比醫生自己操作快12分鐘。

目前這個AI工具已經被130+家診所、超過600名醫療人員使用，舊金山的一家診所表示在使用了這個工具后來就診的病人數量增加了30%。

以及國內也有這方面進展。

MedGPT——基于Transformer的1000億參數大模型，目前共接診120多名患者，從問診、檢查到診療方案全流程覆蓋。

但在大廠們熱烈推進AI醫療應用的另一邊，不少人對于這種應用還表示比較擔憂，畢竟醫療行業是非常嚴肅的一個領域。

有人就表示，LLM產生的“幻覺”非常多，他不相信LLM能幫他完成研究。

還有數據隱私方面的擔憂，更是老生常談了。

不過如果僅僅是讓AI幫助醫生完成一些重復性的基礎性工作，有人覺得這還是值得提倡的。

即使LLM有幻覺，但是在生成筆記上還是非常成熟的。

你怎么看？

參考鏈接：
[1]https://www.wsj.com/articles/in-battle-with-microsoft-google-bets-on-medical-ai-program-to-crack-healthcare-industry-bb7c2db8?mod=djemalertNEWS
[2]https://www.theverge.com/2023/7/8/23788265/google-med-palm-2-mayo-clinic-chatbot-bard-chatgpt
[3]https://www.theregister.com/2023/06/06/carbon_health_deploys_gpt4powered_tools/
[4]https://cloud.google.com/blog/topics/healthcare-life-sciences/sharing-google-med-palm-2-medical-large-language-model