English | 繁體中文

醫療 EHR Agentic AI(MedAgent-EHR)

在 FHIR 電子病歷中自主規劃、執行並自我把關的本地自架臨床 agent

有別於「問一句答一句」的聊天式 AI,這是 agentic AI:由 LLM 自己規劃步驟、決定呼叫哪個工具, 在標準 FHIR 電子病歷中執行臨床任務,並在寫入病歷前自我把關——完全自架於本地 GPU, 不依賴任何雲端 LLM API。

GitHub Repo

設計概念

專案簡介

系統架構

MedAgent-EHR 系統架構:Planner → Executor → Verifier → FHIR Web demo 執行畫面:Plan 與逐步 ReAct timeline,含寫入閘攔截

Web demo 實際執行畫面(記錄血壓任務):Plan 兩步 → find_patient 定位病人 → stage_write 經 Verifier 審核後寫入 FHIR → executor 試圖直接呼叫 commit_write 被程式側閘門攔下(紅框)→ 完成。LLM Verifier 與程式側 gate 的雙層防護都在真實運作。

使用技術

類別技術堆疊
LLM(自架)Gemma-4-26B-A4B-it(QAT Q4,Google),以 llama.cpp 自架於 RTX 4090;亦驗證過 Qwen3.6-35B-A3B
Agent 架構Planner / Executor(ReAct)/ Verifier 三角色
工具與資料MCP(fhir-mcp-server)、HAPI FHIR R4
寫入安全兩階段 stage → commit、Verifier 把關、醫療碼/劑量驗證
評測MedAgentBench 官方 refsol grader(300 題、10 類)
部署 / 工具Flask(web demo)、Docker、GGUF 量化、Python

成效亮點

MedAgentBench 分數進展 124→265 各模型 Overall 成功率對比 Gemma 最終成績 263/300 與各類任務分數

實際評測輸出:部署模型 Gemma 全跑 300 題,官方評分 263 pass(寫入題 task3/task8 皆 30/30,讀取題 task4 亦 30/30)。

Qwen 成績 265/300 與各類任務分數

遷移前的 Qwen3.6 成績 265 pass —— 與上圖對照可見換模型後分數近乎持平(265 → 263),佐證系統與模型解耦。

本地 llama-server 載入 Gemma 模型資訊

完全自架:本地 llama-server 載入 gemma4-26b-a4b,不經任何雲端 LLM API。

誠實說明:此 88% 反映的是「為此 benchmark 對齊過的 agent 系統」表現,非模型原始能力的純比較;能分辨「系統表現」與「模型能力」,正是本專案的工程價值之一。task10(條件 + [值,時間] 特殊格式)為部署模型 Gemma 的已知輸出弱項,經調查確認屬模型限制後,選擇保留誠實成績、不對特定題打補丁。

效能與部署(RTX 4090 單卡實測)

指標實測值
生成吞吐(單流)82 tokens/s(5 次取中位)
總吞吐(4 併發)119 tokens/s(4/4 全部成功)
首 token 延遲(TTFT)2.4 s
256-token 回應總延遲5.5 s(中位)
服務中 GPU 記憶體20.1 / 24 GB(整卡,含 KV cache)
模型本體~14 GB(26B MoE,QAT Q4 量化 GGUF)

量測方式:llama.cpp llama-server(OpenAI 相容 API),以自製探測工具(repo 內 benchmark/llm_perf_probe.py)串流實測。意義:一張消費級 GPU 就能以互動可用的延遲服務 26B 模型的多併發請求——在「病歷資料不出院」的前提下即可落地部署。

任務效率(全 300 題實測):平均每題 3.6 步(中位數 4)完成——讀取查詢類約 3.4 步、寫入類 4.2 步、單題最多 10 步,在 max_steps=25 的護欄內自然收斂,展現「有界自主」的成本可控性。

llm_perf_probe 實測輸出:82 tok/s、4 併發 119 tok/s、VRAM 20.1/24GB

實測輸出:5 次串流量測 + 4 併發批次,數據即上表來源。

寫入安全實證(Verifier 安全閘)

每一筆寫入病歷的資源都必須通過 Verifier 審核才允許 commit。以下取自一筆真實執行軌跡(task8:骨科轉診醫囑,agent 兩步完成)——Verifier 的五項結構化檢查全數通過才放行寫入;任一項不過即退回,agent 必須修正後重送:

"verdict": {
  "staged_id": "stg_209141be",
  "verdict": "approved",
  "reason": "The ServiceRequest correctly uses the provided SNOMED code for
             orthopedic surgery referral, targets the correct patient, includes
             the exact free-text note requested in the task, and sets the
             priority to 'stat' as specified ...",
  "checks": {
    "required_fields": "pass",   // 必填欄位齊全
    "code_resolved":   "pass",   // 醫療碼正確
    "value_sanity":    "pass",   // 數值合理性
    "intent_match":    "pass",   // 與任務意圖吻合
    "safety":          "pass"    // 臨床安全
  }
}

完整軌跡(Plan → tool call → 生成的 FHIR 資源 → 判決 → commit)可由 repo 內 benchmark/run_single_task.py 重現。

四題寫入任務的 Verifier 審核紀錄:每筆 stage_write 都經判決後才 commit

實際執行紀錄:連續四題(轉診醫囑 ×2、血壓記錄、條件醫囑),每筆寫入都經 Verifier 判決(含具體理由)後才 commit;條件不成立的 task10_1 正確地未產生任何寫入。

範圍與後續

開發歷程

開發過程不是「一路成功」,而是一連串「假設 → 驗證 → 誠實修正」。幾個關鍵節點:

① 寫入任務全數失敗:FHIR 資源形狀與 grader 不符

agent 產生的 FHIR 資源與官方 grader 期望的形狀不符。解決方式:讓工具接受題目情境提供的代碼/數值/時間,verbatim 帶入 FHIR 資源(code passthrough),task3 由 0→30。

② Verifier 看不到完整內容,誤拒了正確的寫入

安全閘只拿到一行摘要、看不到完整 staged 資源,因此誤拒了正確的寫入。讓 staged 摘要帶上完整 FHIR resource 後,Verifier 能真正檢視內容,task8 由 0→30。

③ 讀取題查不到資料:工具硬把詞彙 resolve 成 LOINC

工具把詞彙強制轉成 LOINC 碼,但資料用的是本地碼(GLU/MG/A1C/K)。為 get_observations 加上 code 參數,用題目給的碼 verbatim 查詢、跳過 resolve,讀取題大幅提升。

④ 分數假象:只重跑失敗題

用「只重跑失敗題」評估,會把被改壞的題當已過略過,造成分數假象(虛高至 274,實際只有 ~249)。此後只信「完整 300 題全跑」作為唯一基準。

⑤ 遷移至 Gemma 後,task10 答案被 reasoning 污染

模型把 reasoning/markdown 洩漏進 task10 的答案。研究官方文件、用正法關閉 thinking 後仍然洩漏,確認屬 Gemma-4-26B 的模型層限制;為單一題打補丁等於 gaming,因此選擇保留誠實成績。

task10 答案被模型 reasoning 文字污染

證據:task10 的 final_answer 被模型的 reasoning/markdown 洩漏污染(如 '''''json way、reasoning_summary…),導致官方 grader 無法精確比對 —— 屬模型輸出層限制,非系統邏輯錯誤。