本文共 1121 字，大约阅读时间需要 3 分钟。

标题：EMF-former：一种用于医学图像分割的高效且内存友好的Transformer

摘要：

医学图像分割是计算机辅助诊断的重要任务，而基于卷积神经网络的方法在局部特征提取方面表现优异，但其在捕捉全局依赖性方面存在不足。相比之下，基于Transformer的方法通过自注意力机制能够建构全局依赖关系，为局部卷积提供重要补充。然而，传统Transformer中的自注意力计算复杂度较高，且内存占用较大，这在医学图像分割中显得尤为突出。本文提出了EMF-former分割模型，通过结合深度可分离混洗卷积模块（DSPConv）、向量聚合注意力（VAA）和串行多头注意力模块（S-MHA），在保持分割精度的同时显著降低了模型的参数数量、计算复杂度和内存使用量。我们在ACDC和Hippocampus数据集上进行了实验评估，分别达到了80.5%和78.8%的mIOU值。

论文创新点：

深度可分离混洗卷积模块（DSPConv）：通过结合深度可分离卷积（DWConv）、通道混洗和逐点卷积（PWConv），设计了一个高效且参数量节省的卷积模块。这种设计不仅降低了计算复杂度，还确保了不同通道间的信息交互。

向量聚合注意力（VAA）：通过元素级乘法替代传统的矩阵乘法，显著降低了注意力计算的复杂度，同时保留了全局依赖性的捕捉能力。

串行多头注意力模块（S-MHA）：通过串行计算注意力并忽略某些头部，减少了内存使用量和计算冗余，促进了不同头部之间的特征学习。

方法：

EMF-former的整体架构如图2所示。

2.1 DSPConv模块：

我们提出了一个高效的卷积模块DSPConv，通过结合DWConv、通道混洗和PWConv，显著降低了卷积操作的参数数量和特征冗余。该模块在特征图下采样4倍和2倍时分别应用，有效降低了模型的计算复杂度和内存占用。

2.2 向量聚合注意力：

为了降低自注意力计算的复杂度，我们引入了向量聚合注意力（VAA）。通过使用元素级乘法替代矩阵乘法，并用全连接层替换键值交互，我们将注意力计算复杂度降低到O(N)，有效减少了内存使用量。

2.3 串行多头注意力模块：

针对多头注意力中的特征冗余问题，我们设计了串行多头注意力模块（S-MHA）。通过串行计算注意力并忽略某些头部，显著减少了内存使用量和计算冗余。

实验：

图2展示了EMF-former的整体架构和各模块的具体实现。实验结果表明，EMF-former在ACDC和Hippocampus数据集上的性能优于传统方法，分别达到了80.5%和78.8%的mIOU值。

声明：

本文内容为论文学习收获分享，受限于知识水平，本文对原文的理解可能存在偏差，内容以原论文为准。

转载地址：http://jxrfk.baihongyu.com/