国思软件 - AI一键解析九大生物医学成像模式，用户只需文字prompt交互

　　BiomedParse 团队投稿

　　量子位公众号 QbitAI

　　用 AI 大模型一键解析 MRI、CT 和病理学等九大生物医学成像模式。

　　不仅复杂、不规则形状对象能高精度识别：

　　而且通过对象识别阈值建模，模型能够检测无效的提示请求，并在图像中不存在指定对象时拒绝分割。

　　用户更是无需手动进行标注或边界框操作——

　　只需通过简单的临床语言提示指定目标对象，例如“肿瘤边界”或“免疫细胞”，便能让 AI 准确识别、检测并分割图像中的相关区域。

　　还可一次性同时分割和标记所有感兴趣的生物医学对象：

　　这就是来自微软、华盛顿大学等的研究团队最新发布的基础模型BiomedParse，已登 Nature Methods。

　　医学图像的成像模式差异巨大（如 CT、MRI、病理切片、显微镜图像等），传统上需要训练专家模型进行处理。

　　而 BiomedParse，通过文本驱动图像解析将九种医学成像模式整合于一个统一的模型中，联合预训练处理对象识别、检测与分割任务。

　　无论是影像级别的器官扫描，还是细胞级别的显微镜图像，BiomedParse 都可以直接利用临床术语进行跨模式操作，为科学家和临床医生提供了更统一、更智能的多模式图像解析方案。

　　在分割不规则形状的生物医学对象方面，BiomedParse 相较传统模型表现卓越。通过将图像区域与临床概念关联，相比手动框选分割精度提升 39.6%，提高了在关键任务中的可靠性。

　　目前，研究团队已将 BiomedParse 开源并提供 Apache 2.0 许可，相关演示 demo 和 Azure API 均已上线。

　　只需文字提示，精度超越 SOTA

　　为支持 BiomedParse 的预训练，研究团队利用GPT-4从 45 个公开的医学图像分割数据集生成了首个覆盖对象识别、检测和分割任务的数据集 BiomedParseData。

　　该数据集包含超过 600 万个图像、分割标注与文字描述三元组，涵盖64 种主要生物医学对象类型及82 个细分类别，涉及 CT、MRI、病理切片等九种成像模式。

　　通过 GPT-4 的自然语言生成能力，研究人员将散落在各种现有数据集中的分割任务用统一的医学概念和语言描述整合起来，让 BiomedParse 能在更大，更多样的数据中融会贯通。

　　在测试集上，BiomedParse 在 Dice 系数上显著超越了当前最优方法 MedSAM 和 SAM，并且无需对每个对象手动提供边界框提示。

　　即使在给 MedSAM 和 SAM 提供精准边界框的情况下，BiomedParse 的纯文本提示分割性能仍能超越5-15 个百分点。

　　此外，BiomedParse 的性能还优于 SEEM、SegVol、SAT、CellViT、Swin UNETR 等多个模型，尤其在复杂不规则的对象识别上表现突出。

　　生物医学图像中的不规则对象一直是传统模型的难题，而 BiomedParse 通过联合对象识别和检测任务，通过文本理解实现了对对象特定形状的建模。对复杂对象的识别精度远超传统模型，且在多模态数据集中进一步凸显了其优势。

　　展望未来，团队表示 BiomedParse 拥有广阔的发展潜力，可进一步扩展至更多成像模式和对象类型，并与 LLaVA-Med 等高级多模态框架集成，支持“对话式”图像分析，实现数据交互式探索。

　　作者简介

　　论文共同一作及通讯作者均为华人学者，分别来自微软和华盛顿大学。

　　赵正德（Theodore Zhao），论文一作，为该研究作出主要技术贡献。

　　微软高级应用科学家，现主要研究方向包括多模态医疗 AI 模型，图像分割与处理，大模型的安全性分析。

　　本科毕业于复旦大学物理系，博士毕业于华盛顿大学应用数学系，期间研究希尔伯特-黄变换和分数布朗运动的多尺度特征，以及随机优化在医疗领域的应用。

　　顾禹（Aiden Gu），论文一作。

　　微软高级应用科学家。本科毕业于北京大学微电子与经济专业。

　　其研究方向专注于医疗健康、生物医学，以及机器人多模态模型。代表性工作包括创建首个医学领域特定的大语言模型 PubMedBERT，以及患者旅程模拟模型 BiomedJourney。

　　潘海峰（Hoifung Poon），论文通讯作者。

　　微软研究院健康未来（Health Futures）General Manager，华盛顿大学（西雅图）计算机博士。研究方向为生成式 AI 基础研究以及精准医疗应用。在多个顶级 AI 会议上获得最佳论文奖，在 HuggingFace 上发布的生物医学开源大模型总下载量已达数千万次，在《自然》上发表首个全切片数字病理学模型 GigaPath，部分研究成果开始在合作的医疗机构和制药公司中转化为应用。

　　王晟（Sheng Wang），论文通讯作者。

　　华盛顿大学计算机科学与工程系助理教授，微软研究院访问学者。

　　他专注于人工智能与医学的交叉研究，利用生成式 AI 解决生物医学问题。其科研成果已在《Nature》《Science》《Nature Biotechnology》《Nature Methods》和《The Lancet Oncology》等顶级期刊上发表十余篇论文，并被 Mayo Clinic、Chan Zuckerberg Biohub、UW Medicine、Providence 等多家知名医疗机构广泛应用。

　　Mu Wei，论文通讯作者。