港科廣等發佈首個醫學世界模型，精準模擬腫瘤演化，規劃治療方案

新智元·2025 年 06 月 19 日 10：26

醫學世界模型 MeWM 通過 AI 模擬腫瘤演變，優化治療方案，助力精準醫療。

醫學世界模型（MeWM）是一種創新的 AI 系統，能夠類比疾病演變並預測不同治療方案下的腫瘤變化。通過生成術后腫瘤圖像，可以幫助醫生在術前評估治療效果，優化治療方案，顯著提升臨床決策的準確性，為精準醫療提供了有力支援。

《黃帝內經》的這句「上醫治未病」千年智慧揭示了一個核心真理：最高明的治療在於預判疾病發展。

香港科技大學（廣州）與約翰霍普金斯大學等機構的研究團隊合作提出的首個醫學世界模型（Medical World Model，MeWM），首次讓 AI 具備了「預演」疾病演變的能力，通過生成式模型類比不同治療方案下的腫瘤變化，為臨床決策提供可視化依據，將「治未病」理念落地為前沿演算法。

論文連結：https://arxiv.org/pdf/2506.02327

代碼倉庫：https://github.com/scott-yjyang/MeWM

項目主頁：https://yijun-yang.github.io/MeWM

擁抱臉：https://huggingface.co/papers/2506.02327

該專案提出三個核心貢獻：

腫瘤演變模擬器：使用 3D 擴散模型類比不同治療方案下的腫瘤形態演變，在視覺圖靈測試中取得優異表現;
生存風險預知：通過生存分析模型預測治療方案的患者預後生存風險，利用逆動力學推理最優治療方案，方案制定準確率大幅超越傳統多模態大模型;
臨床決策閉環：構建「方案生成-類比推演-生存評估」的自動化、可視化優化迴圈，通用支援癌症介入治療規劃。

論文第一作者為楊逸君，共同作者包括計算機視覺奠基人 Alan Yuille 和美國工程院院士 Rama Chellappa，通訊作者為朱磊和陳傑能。

什麼是醫學世界模型？

MeWM 引入世界模型（WM）理念，構建「觀察–類比–評估–優化」的閉環路徑。

模型以影像觀察為輸入，通過感知模組生成初始狀態，進展預測模型根據不同干預生成未來狀態，生存評估結果反饋至策略模組，生成以恢復為目標的動作，反過來影響後續觀察與類比，形成臨床決策優化的閉環。

圖1：醫學世界模型以醫學影像為輸入，通過感知模塊構建初始病情狀態，再由疾病進展生成式模型預測在不同治療條件下的未來病情狀態。根據預期恢復情況生成的策略指導治療決策，並形成閉環反饋，通過逆向建模與生存分析不斷優化干預路徑。

在癌症介入治療中構建「模擬-評估-優化」

MeWM 在肝癌 TACE 治療方案探索中實現了一個由策略生成、動態類比和風險評估構成的「過去–現在–未來」閉環機制。

策略模型（Policy Model） 會在 CT 掃描和以語言為形式的治療目標的基礎上，採用 VLM（如 GPT-4o）生成滿足臨床規則的候選治療組合，包括多種治療藥物與栓塞材料搭配。初始階段會並行生成 B 個治療組合（稱為 protocol beams），覆蓋不同策略空間。

隨後， 動態模型（Dynamics Model） 會針對每個候選方案，利用 3D 條件擴散模型模擬治療后腫瘤形態，逐步構建方案執行軌跡，生成的每一組術后腫瘤候選將交由啟發式函數評估。

逆動態模型（Inverse Dynamics Model） 在每一步中對所有候選腫瘤圖像進行生存風險的打分，基於啟發式函數輸出風險值，並動態替換掉風險最高的 beam 方案，從而實現低風險方案的優先保留與高風險方案的反覆運算優化。

最終，整個探索過程中選出的風險最低組合被作為推薦方案輸出，實現了從個體影像出發、結合多步生成與評估的個人化治療策略搜索流程。

圖 2： MeWM 系統基於術前 CT，結合治療目標生成多組 TACE 組合，涵蓋不同化療藥物與栓塞材料。每組方案通過生成模型預測術后腫瘤反應，並由生存評估模組計算風險得分，最終篩選出最優干預路徑。流程支持在真實肝癌場景下實現個體化、數據驅動的治療決策

動作驅動的生成模型訓練流程

MeWM 創新性地將「治療行為」作為條件控制生成，類比不同組合下腫瘤的真實演化反應：

從放療記錄提取結構化治療動作;
將術前影像與動作融合輸入 3D 擴散模型，生成術后圖像;
通過對比學習提升組合間的區分度與生成的一致性。

在醫生圖靈測試中，MeWM 合成圖像被誤判為真實圖像的比例最高，specificity 高達 79%，遠超現有方法。結構保真性評估指標（FID/LPIPS）亦領先。

圖 3：腫瘤生成式模型包含三個關鍵環節：（a）放療報告解析與動作生成：由 GPT-4o 與 Deepseek-R1 提取藥物與栓塞材料資訊，構建治療組合; （b）術后腫瘤生成：將動作嵌入與術前 CT 融合輸入擴散模型，生成術后腫瘤圖像; （c）組合對比學習（CCL）：通過拉近相似方案、區分不同方案，提升模型生成效果的真實度與動作一致性。

MeWM 如何刷新治療規劃性能

為了全面驗證 MeWM 在治療決策優化任務中的有效性，研究團隊分別在私有和公開數據集上進行了系統性實驗。

實驗首先通過視覺圖靈測試驗證了生成式模型類比預后腫瘤形態的真實性，而後分析了生存分析模型根據術前術后圖像預測生存風險的準確性。

最後檢驗了機制在 TACE 治療方案篩選上的準確性，對比了多個多模態大模型，並表明各模組的有效性。

核心結果

術后腫瘤生成效果

在真實性評估中，MeWM 經受了由三位放射科醫生參與的「圖靈測試」。研究共準備了 240 份 CT 圖像，其中 120 例為真實術后圖像，另外 120 例由不同模型合成。

醫生需在不知情的情況下判斷每張圖像是真實還是合成，依據是圖像中是否存在典型術后特徵，如碘油沉積、壞死區與殘留活組織的混合表現。

結果顯示，三位醫生在識別真實圖像方面表現穩定，但在識別合成圖像方面差異顯著：MeWM 所生成圖像被誤判為真實的比例最高，specificity 分別為 79%、71%和 75%，遠優於其他方法，說明其合成結果在外觀上最接近真實術后腫瘤。

同時，MeWM 在生成質量指標上也表現優異，FID 和 LPIPS 均為所有方法中最低，進一步證明瞭生成的腫瘤圖像在結構細節與視覺真實度上的領先水準。

可靠的啟發式函數

在生存風險評估中，MeWM 的啟發式模型相較傳統 Cox 比例風險模型展現出更高的準確性。

基於公開數據集，實驗發現 Cox 模型難以區分高低風險樣本，預測結果過於平滑，MSE 為 0.3550;而 MeWM 模型更貼近真實分佈，MSE 降至 0.2142

進一步的 Kaplan-Meier 分析顯示，MeWM 的風險分層能力更強，C-Index 提高至 0.752，顯著優於影像組學特徵驅動的 Cox 模型。

結果表明，MeWM 能有效捕捉術前與術后影像中的風險變化，為治療效果評估提供更可靠的支援。

革命性的臨床輔助決策能力

在 TACE 治療方案探索任務中，MeWM 展現出顯著的性能優勢。

在私有數據集上，其 F1-score 達到 52.38%，較 GPT-4o、Claude-3.7 和 MedGPT 等多模態大模型提升超過 10%; 在公開數據集上，F1-score 達到 64.08%，接近專業放射科醫生（71.43%）的水準，同時在 Jaccard、Precision 和 Recall 等關鍵指標上也全面領先多模態大模型。

不同於僅依賴視覺語言推理的模型，MeWM 基於生成的術后 CT 進行生存分析評分，形成完整的「治療類比—效果評估—方案篩選」閉環機制，使得模型能夠更準確地判斷不同治療組合帶來的潛在療效差異。