站長之家 8月5日 消息:盡管人工智能（AI）系統(tǒng)取得了重大進(jìn)展，但大多數(shù)現(xiàn)有的最先進(jìn)(SOTA)系統(tǒng)都是單模態(tài)單任務(wù)系統(tǒng)，這對開發(fā)醫(yī)療人工智能系統(tǒng)提出了挑戰(zhàn)，因為醫(yī)療任務(wù)本質(zhì)上是多模態(tài)且模式豐富 涵蓋文本、成像、基因組學(xué)等。
為了彌補這一差距，在一篇新論文《Towards Generalist Biomedical AI》中，來自 Google Research 和 Google DeepMind 的研究團(tuán)隊提出了 Med-PaLM Multimodal （Med-PaLM M），這是一種大型多模態(tài)生成模型，可以處理多模態(tài)生物醫(yī)學(xué)數(shù)據(jù)，包括臨床數(shù)據(jù) 語言、成像和基因組學(xué)使用一組模型權(quán)重，無需任何特定于任務(wù)的修改。
該團(tuán)隊將他們的主要貢獻(xiàn)總結(jié)如下:
MultiMedBench 的管理我們推出了 MultiMedBench，這是一種新的多模式生物醫(yī)學(xué)基準(zhǔn)，涵蓋醫(yī)學(xué)成像、臨床文本和基因組學(xué)等多種模式，具有14項不同的任務(wù)，用于訓(xùn)練和評估通用生物醫(yī)學(xué) AI 系統(tǒng)。
Med-PaLM M，通用生物醫(yī)學(xué)人工智能系統(tǒng)的首次演示我們推出 Med-PaLM M，這是一個單一多任務(wù)、多模式生物醫(yī)學(xué)人工智能系統(tǒng)，可以執(zhí)行醫(yī)學(xué)圖像分類、醫(yī)學(xué)問答、視覺問答、放射學(xué)報告生成和總結(jié)、 基因組變異調(diào)用，以及更多具有相同模型權(quán)重的集合。
Med-PaLM M 中新穎的新興能力的證據(jù) 除了任務(wù)績效的定量評估之外，我們還觀察到零樣本醫(yī)學(xué)推理、新醫(yī)學(xué)概念和任務(wù)的泛化以及跨任務(wù)的積極遷移的證據(jù)。
Med-PaLM M 輸出的人工評估 除了自動化指標(biāo)之外，我們還對 Med-PaLM M 跨不同模型尺度生成的胸部 X 射線報告進(jìn)行放射科醫(yī)生評估。
該團(tuán)隊首先提出了 MultiMedBench，解決缺乏全面的多模態(tài)醫(yī)療基準(zhǔn)的問題，這是一種多模態(tài)生物醫(yī)學(xué)基準(zhǔn)，涵蓋廣泛的多模態(tài)數(shù)據(jù)源，用于衡量通用生物醫(yī)學(xué)人工智能處理從視覺問題到各種醫(yī)療任務(wù)的能力 應(yīng)答、報告生成、醫(yī)學(xué)圖像分類等。
接下來，研究人員利用 MultiMedBench 通過微調(diào) PaLM-E 模型并將其與生物醫(yī)學(xué)領(lǐng)域?qū)R來開發(fā) Med-PaLM M。 通用生物醫(yī)學(xué)人工智能模型將多模式醫(yī)療數(shù)據(jù)作為輸入，同時使用一組模型參數(shù)對其進(jìn)行處理，并且能夠執(zhí)行多項任務(wù)。
更具體地說，該團(tuán)隊通過使用指令調(diào)整同時使用不同任務(wù)的混合來訓(xùn)練模型，添加純文本的“一次性示例”以使模型與指令保持一致，并微調(diào) PaLM 的預(yù)訓(xùn)練變體 E 在 MultiMedBench 任務(wù)上獲得生成的 Med-PaLM M 模型。
在他們的實證研究中，評估了 Med-PaLM M 在 MultiMedBench 中的所有任務(wù)。 Med-PaLM M 在所有任務(wù)上都表現(xiàn)接近或超過基線的 SOTA，同時還表現(xiàn)出強大的零樣本泛化能力。
據(jù)團(tuán)隊所知，Med-PaLM M是通用生物醫(yī)學(xué)人工智能系統(tǒng)的首次嘗試，團(tuán)隊相信他們的工作代表了通用生物醫(yī)學(xué)人工智能發(fā)展的關(guān)鍵一步。