博客
关于我
EMF-former:一种用于医学图像分割的高效且内存友好的Transformer
阅读量:797 次
发布时间:2023-04-05

本文共 1121 字,大约阅读时间需要 3 分钟。

标题:EMF-former:一种用于医学图像分割的高效且内存友好的Transformer

摘要:

医学图像分割是计算机辅助诊断的重要任务,而基于卷积神经网络的方法在局部特征提取方面表现优异,但其在捕捉全局依赖性方面存在不足。相比之下,基于Transformer的方法通过自注意力机制能够建构全局依赖关系,为局部卷积提供重要补充。然而,传统Transformer中的自注意力计算复杂度较高,且内存占用较大,这在医学图像分割中显得尤为突出。本文提出了EMF-former分割模型,通过结合深度可分离混洗卷积模块(DSPConv)、向量聚合注意力(VAA)和串行多头注意力模块(S-MHA),在保持分割精度的同时显著降低了模型的参数数量、计算复杂度和内存使用量。我们在ACDC和Hippocampus数据集上进行了实验评估,分别达到了80.5%和78.8%的mIOU值。

论文创新点:

  • 深度可分离混洗卷积模块(DSPConv):通过结合深度可分离卷积(DWConv)、通道混洗和逐点卷积(PWConv),设计了一个高效且参数量节省的卷积模块。这种设计不仅降低了计算复杂度,还确保了不同通道间的信息交互。
  • 向量聚合注意力(VAA):通过元素级乘法替代传统的矩阵乘法,显著降低了注意力计算的复杂度,同时保留了全局依赖性的捕捉能力。
  • 串行多头注意力模块(S-MHA):通过串行计算注意力并忽略某些头部,减少了内存使用量和计算冗余,促进了不同头部之间的特征学习。
  • 方法:

    EMF-former的整体架构如图2所示。

    2.1 DSPConv模块:

    我们提出了一个高效的卷积模块DSPConv,通过结合DWConv、通道混洗和PWConv,显著降低了卷积操作的参数数量和特征冗余。该模块在特征图下采样4倍和2倍时分别应用,有效降低了模型的计算复杂度和内存占用。

    2.2 向量聚合注意力:

    为了降低自注意力计算的复杂度,我们引入了向量聚合注意力(VAA)。通过使用元素级乘法替代矩阵乘法,并用全连接层替换键值交互,我们将注意力计算复杂度降低到O(N),有效减少了内存使用量。

    2.3 串行多头注意力模块:

    针对多头注意力中的特征冗余问题,我们设计了串行多头注意力模块(S-MHA)。通过串行计算注意力并忽略某些头部,显著减少了内存使用量和计算冗余。

    实验:

    图2展示了EMF-former的整体架构和各模块的具体实现。实验结果表明,EMF-former在ACDC和Hippocampus数据集上的性能优于传统方法,分别达到了80.5%和78.8%的mIOU值。

    声明:

    本文内容为论文学习收获分享,受限于知识水平,本文对原文的理解可能存在偏差,内容以原论文为准。

    转载地址:http://jxrfk.baihongyu.com/

    你可能感兴趣的文章
    Mysql 分页语句 Limit原理
    查看>>
    MySQL 创建新用户及授予权限的完整流程
    查看>>
    mysql 创建表,不能包含关键字values 以及 表id自增问题
    查看>>
    mysql 删除日志文件详解
    查看>>
    mysql 判断表字段是否存在,然后修改
    查看>>
    mysql 协议的退出命令包及解析
    查看>>
    mysql 取表中分组之后最新一条数据 分组最新数据 分组取最新数据 分组数据 获取每个分类的最新数据
    查看>>
    mysql 多个表关联查询查询时间长的问题
    查看>>
    mySQL 多个表求多个count
    查看>>
    mysql 多字段删除重复数据,保留最小id数据
    查看>>
    MySQL 多表联合查询:UNION 和 JOIN 分析
    查看>>
    MySQL 大数据量快速插入方法和语句优化
    查看>>
    mysql 如何给SQL添加索引
    查看>>
    mysql 字段区分大小写
    查看>>
    mysql 字段合并问题(group_concat)
    查看>>
    mysql 字段类型类型
    查看>>
    MySQL 字符串截取函数,字段截取,字符串截取
    查看>>
    MySQL 存储引擎
    查看>>
    mysql 存储过程 注入_mysql 视图 事务 存储过程 SQL注入
    查看>>
    MySQL 存储过程参数:in、out、inout
    查看>>