一种 agentic 交互分割框架,可自主规划多轮提示与分割调用,不要求用户手动放置每次修正提示。
基本信息
| 字段 | 说明 |
|---|---|
| 模型类型 | Agentic 多轮分割框架 |
| 研究团队 / 机构 | 香港中文大学、腾讯混元及合作机构 |
| 输入 / 模态 | 作者评估包含 6 种模态、21 个数据集的 2D 医学图像。 |
| 提示 / 交互 | 自然语言目标描述加 agent 自动生成的点击;可选 Qwen 或 GPT grounding model,并需单独配置 segmentation backbone。 |
| 代码许可 | 检查到的 GitHub 仓库版本未包含顶层 LICENSE 文件。复用前请查看 model card 及各 backbone 条款;不要假定 Qwen agent 与分割权重采用同一许可。 |
📚 论文与发表信息
MedSAM-Agent: Empowering Interactive Medical Image Segmentation with Multi-turn Agentic Reinforcement Learning — arXiv:2602.03320(2026 年预印本)。
📦 权重与获取方式
官方 Hugging Face 模型为 Saint-lsy/MedSAM-Agent-Qwen3-VL-8B-MedSAM2。推理还需单独提供 segmentation checkpoint(例如 MedSAM2)及配置。数据集/trajectory 发布在上游 README 中仍标为待完成。
代码、模型 checkpoint 及所需 foundation-model checkpoint 可能适用不同条款。使用或再分发前请分别查看对应来源。
⚙️ 官方环境与推理方式
1 | conda create -n msagent python=3.11 |
上游报告开发环境为 Python 3.11、CUDA 12.9、PyTorch 2.8.0。论文训练使用 8 张 H20 GPU;这是训练配置,不代表推理的最低硬件要求。
⚠️ 版本与使用说明
该方法采用自主多轮交互,由 action policy 选择提示,因此交互次数不能直接等同于固定次数的人工点击。请分别记录 grounding model 和 segmentation backbone。
📜 许可
检查到的 GitHub 仓库版本未包含顶层 LICENSE 文件。复用前请查看 model card 及各 backbone 条款;不要假定 Qwen agent 与分割权重采用同一许可。
引用:请按作者要求引用上述论文及上游项目。本仓库仅链接原始论文,不再分发代码或权重。
来源页面核对日期:2026 年 10 月 27 日。上游环境、权重和访问政策可能变化,请以链接的项目页面为准。