Bui N T, Hoang D H, Tran M T, et al. Sam3d: Segment anything model in volumetric medical images[J]. arXiv preprint arXiv:2309.03493, 2023.【开源】
本文提出的SAM3D模型是针对三维体积医学图像分割的一种新方法。其核心在于将“分割任何事物”(SAM)模型的预训练编码器与一个轻量级的3D解码器相结合。与传统的逐层处理不同,SAM3D能够在整个体积上处理图像,更有效地捕捉切片间的深度关系,同时维持模型的简单性和计算效率。
主要特点包括:
-
预训练的SAM编码器:该编码器在大规模数据集上预训练,能够提取出鲁棒的低级特征,如边缘和边界,这些在不同的图像域中都有相关性。
-
去除了SAM中的prompts Encoder:因为解码器必须处理 3D 体积数据,所以不能使用 SAM 的掩模解码器,它是专门为 2D 自然图像设计的
-
轻量级3D解码器:为了处理3D体积数据,SAM3D提出了一个适当的3D解码器。这个解码器由四个3D卷积块和一个分割头组成,通过跳跃连接实现,有助于在保持模型简单的同时提高分割性能。
-
处理方式:SAM3D通过先将3D体积图像分解为2D切片,然后通过预训练的SAM编码器处理每个切片,生成3D切片嵌入。这些嵌入被3D解码器进一步处理,以捕获切片间的深度关系。
-
损失函数:模型训练使用了组合损失函数,包括dice loss和cross-entropy loss,以优化分割性能。
-
实验结果:通过在多个医学图像数据集上的实验,只需要单2080TI GPU,SAM3D显示了与当前最先进的3D神经网络和基于Transformer的模型相当的性能(其实弱很多),同时在参数数量上大大减少。
原文地址:https://blog.csdn.net/cskywit/article/details/135667841
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.7code.cn/show_58552.html
如若内容造成侵权/违法违规/事实不符,请联系代码007邮箱:suwngjj01@126.com进行投诉反馈,一经查实,立即删除!