Hi-Net：用于多模态MR图像合成的混合融合网络
IEEE TRANSACTIONS ON MEDICAL IMAGING, VOL. 39, NO. 9, SEPTEMBER 2020
背景
磁共振成像（MRI）是一种广泛使用的神经成像技术，可以提供不同对比度（即模态）的图像。事实证明，在许多任务中，融合这些多模态数据对于提高模型性能特别有效。然而，由于数据质量差和患者频繁辍学，为每位患者收集所有模式仍然是一项挑战。医学图像合成已被提出作为一种有效的解决方案，其中任何缺失的模态都是从现有模态合成的。
贡献
首先学习特定于模态的网络，以从每个单独的模态捕获信息。该网络被形成为自动编码器，以有效地学习高级特征表示。然后，提出了一种融合网络来利用多种模态之间的相关性。我们还提出了一种分层多模态融合策略，该策略可以有效地利用不同特征层之间的相关性。此外，还提出了一种MFB来自适应地加权不同的融合策略（即元素求和、乘积和最大化）。最后，我们的Hi-Net将模态特定网络和融合网络相结合，以学习各种模态的潜在表示，并用于生成目标图像
- 主要贡献如下与大多数现有的单模态合成方法不同，提出了一种新的医学图像合成框架，该框架使用多个模态来合成目标模态图像。
- 通过特定模态网络捕获单个模态特征，并使用分层多模态融合策略利用多模态之间的相关性，有效地集成多模态多级表示。
- 提出了一种新的MFB模块，对不同的融合策略进行自适应加权，有效地提高了融合性能。本文的其余部分组织如下。我们在第二节介绍相关工作。然后，我们在第三节中描述了我们用于医学图像合成的Hi-Net的框架。我们在第四节中进一步介绍了实验结果和讨论
实验
数据集：BraTs2018，裁剪到160x180，还评估了在缺血性中风病变分割挑战2015（ISLES2015）数据集上使用T1和Flair图像合成T2模态图像的性能[49]
消融实验：
(1) We use the “ConcateFusion” strategy both in the fusion network and generator network, denoted as “Oursdegraded1”;
(2) We use MFB modules in the fusion network and the “ConcateFusion” in the generator network, denoted as “Ours–degraded2”;
(3) We use the “ConcateFusion” in the fusion network and MFB modules in the generator network, denoted as “Ours–degraded3”
方法
the modality–specific network（模态特定网络）
在多模态学习中，来自多模态的互补信息和相关性有望提高学习成绩。因此，至关重要的是要利用多种模态之间的潜在相关性，同时还要捕获模态特定信息以保留其属性。为了实现这一目标，我们首先为每个单独的模态（例如，xi）构建一个模态特定网络
multi–modal fusion network
在多模态融合任务中，流行的策略包括逐元素求和、逐元素乘积和逐元素最大化。然而，目前还不清楚哪一种最适合不同的任务。因此，为了从每种策略的优势中获益，我们同时使用所有三种融合策略，然后将它们连接起来。然后，添加卷积层以自适应地对三个融合进行加权
可以使用低级和高级特征来利用多个模态之间的相关性
multi–modal synthesis network
损失函数
Thinking
提取多个模态的特征，合成某一缺失模态，效果好于单模态生成缺失模态
MFB融合，自适应调整逐元素加、逐元素乘、最大之间的融合效果
实验充分，消融实验丰富，单纯拼接、MFF融合、早期融合、后期融合
原文地址:https://blog.csdn.net/weixin_42489272/article/details/134698206
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若转载，请注明出处：http://www.7code.cn/show_31042.html
如若内容造成侵权/违法违规/事实不符，请联系代码007邮箱：suwngjj01@126.com进行投诉反馈，一经查实，立即删除！
