本文介绍: 与传统的逐层处理不同,SAM3D能够在整个体积上处理图像,更有效地捕捉切片间的深度关系,同时维持模型的简单性和计算效率。:通过在多个医学图像数据集上的实验,只需要单2080TI GPU,SAM3D显示了与当前最先进的3D神经网络和基于Transformer的模型相当的性能(其实弱很多),同时在参数数量上大大减少。去除了SAM中的prompts Encoder:因为解码器必须处理 3D 体积数据,所以不能使用 SAM 的掩模解码器,它是专门为 2D 自然图像设计的。

Bui N T, Hoang D H, Tran M T, et al. Sam3d: Segment anything model in volumetric medical images[J]. arXiv preprint arXiv:2309.03493, 2023.【开源】

本文提出的SAM3D模型是针对三维体积医学图像分割的一种新方法。其核心在于将“分割任何事物”(SAM)模型的预训练编码器与一个轻量级的3D解码器相结合。与传统的逐层处理不同,SAM3D能够在整个体积上处理图像,更有效地捕捉切片间的深度关系,同时维持模型的简单性和计算效率。

image-20240118102505554

主要特点包括:

  1. 预训练的SAM编码器:该编码器在大规模数据集上预训练,能够提取出鲁棒的低级特征,如边缘和边界,这些在不同的图像域中都有相关性。

  2. 去除了SAM中的prompts Encoder:因为解码器必须处理 3D 体积数据,所以不能使用 SAM 的掩模解码器,它是专门为 2D 自然图像设计的

  3. 轻量级3D解码器:为了处理3D体积数据,SAM3D提出了一个适当的3D解码器。这个解码器由四个3D卷积块和一个分割头组成,通过跳跃连接实现,有助于在保持模型简单的同时提高分割性能。

    image-20240118102445391

  4. 处理方式:SAM3D通过先将3D体积图像分解为2D切片,然后通过预训练的SAM编码器处理每个切片,生成3D切片嵌入。这些嵌入被3D解码器进一步处理,以捕获切片间的深度关系。

  5. 损失函数:模型训练使用了组合损失函数,包括dice loss和cross-entropy loss,以优化分割性能。

  6. 实验结果:通过在多个医学图像数据集上的实验,只需要单2080TI GPU,SAM3D显示了与当前最先进的3D神经网络和基于Transformer的模型相当的性能(其实弱很多),同时在参数数量上大大减少。

image-20240118102840716
image-20240118102850434
image-20240118102929091

原文地址:https://blog.csdn.net/cskywit/article/details/135667841

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。

如若转载,请注明出处:http://www.7code.cn/show_58552.html

如若内容造成侵权/违法违规/事实不符,请联系代码007邮箱:suwngjj01@126.com进行投诉反馈,一经查实,立即删除!

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注