丁其川, 王力, 刘成
东北大学 机器人科学与工程学院, 辽宁 沈阳 110169
收稿日期：2022-01-20
基金项目：国家自然科学基金资助项目(61973065, 61973063)；辽宁省科技厅联合开放基金机器人学国家重点实验室开放基金资助项目(2020-KF-12-02)。
作者简介：丁其川(1984-), 男, 辽宁沈阳人, 东北大学副教授。

摘要：针对现有深度学习网络普遍存在的长距离特征通道关联性缺失、网络自提取特征会湮没肺结节病理显性特征等问题, 首先, 将通道注意力和空间注意力结合, 提出一种可以有效建立长距离特征通道关联性的注意力模块LCA(long-distance channel attention), 让模型能获取肺部CT图像的全局显著特征, 提高对肺结节的良恶性诊断精度.其次, 将肺结节直径、纹理、钙化度等病理显性特征与其深度特征融合, 以增强这些显性特征的重要度, 提高模型的分类效果.最后, 搭建一种特征提取网络DLCANet(dual-connected long-distance channel attention network)和一种分类器模型MARTM(multiple additive regression tree model).在数据集LIDC-LDRI和LUNA16上进行分类实验, 与基准模型DPN(dual path network)相比, 准确率提高了3.63%, 假阳性率下降了8.66%, 且整体性能优于目前主流模型.
关键词：良恶性分类长距离信道注意力机制病理显性特征特征融合迭代决策树算法
Classification of Pulmonary Nodule by Combining Long-Distance Channel Attention and Pathological Feature
DING Qi-chuan, WANG Li, LIU Cheng
School of Robot Science & Engineering, Northeastern University, Shenyang 110169, China
Corresponding author: DING Qi-chuan, E-mail: dingqichuan@mail.neu.edu.cn.

Abstract: Aiming at the common problems of existing deep learning networks, such as lack of correlation of long-distance feature channels and network self-extraction features obliterating the dominant pathological features of pulmonary nodules. Firstly, by combining channel attention and spatial attention, an attention module LCA (long-distance channel attention) that can effectively establish the correlation of long-distance feature channels is proposed. Secondly, the dominant pathological features such as pulmonary nodule diameter, texture and calcification are fused with their depth features to enhance the importance of these dominant features. Finally, a feature extraction network DLCANet (dual-connected long-distance channel attention network) and a classifier model MARTM (multiple additive regression tree model) are built. The classification experiments are carried out on the datasets LIDC-LDRI and LUNA16. Compared with the benchmark model DPN (dual path network), the accuracy rate is increased by 3.63%, the false positive rate is decreased by 8.66%, and the overall performance is better than those of current mainstream models.
Key words: benign and malignant classificationlong-distance channel attention mechanismpathological dominant featuresfeature fusioniterative decision tree algorithm
肺癌的高发病率和高死亡率^[1]使之成为影响人类健康与寿命的主要疾病之一.利用计算机辅助诊断(computer aided diagnosis, CAD)技术进行基于CT的肺癌检测, 有助于实现肺癌的早期诊断及快速筛查.
传统的计算机辅助诊断模型需要研究人员手工提取肺结节的纹理、灰度、几何形状等特征, 再构建分类器进行分类诊断.Sun等^[2]提取灰度共生矩阵, 用滤波器技术提取结节纹理特征以及面积、平均密度等形态学特征, 利用支持向量机构建诊断模型.Buty等^[3]利用球谐函数参数化技术提取肺结节3D形状特征, 构建随机森林分类器以判断肺结节良恶类别.但是手工提取特征需要高水平专业医生参与, 操作繁杂, 且存在个体主观性, 影响辅助诊断系统开发效率与适用性.
近年来, 卷积神经网络(convolutional neural network, CNN)技术被广泛用于肺结节分类, 并取得优于传统方法的效果.早期的2D CNN仅提取二维CT切片的深度特征用于肺结节分类.Kumar等^[4]将截取的肺结节2D图像输入自编码器进行特征提取, 再使用决策树进行分类.Onishi等^[5]同时在多个CT切片上应用CNN网络进行肺结节特征提取及分类.实际上肺结节是三维结构, 其CT图像的三维空间特征有助于对肺结节更准确分类, 因此3D CNN常能取得优于2D CNN的诊断结果.Zhu等^[6]搭建了一种3D卷积网络DPN(dual path network)以提取肺结节的3D特征, 有效融合了切片上下文信息, 通过残差连接和密集连接不仅缓解了梯度消失还实现了特征复用, 得到了更好的分类效果.孙华聪等^[7]创建出一种3D多尺度肺结节分类网络, 引入融合多尺度特征的上下文增强模块和使网络更加关注感兴趣区域的空间注意力模块, 实验结果表明该方法更具竞争力.
进一步, 模型学习到的特征并不都是有用的, 一些无效的特征反而会降低模型的性能, 因此, 如何有效提取肺结节的显著性特征变得愈加重要.Hu等提出一种挤压激励模块(squeeze-and-excitation networks, SENet)^[8], 通过强化通道注意力以提取通道显著性特征.Zhang等^[9]基于压缩激励注意力网络提出的肺结节良恶性分类方法, 通过注意力模块获取大权重特征用以提高网络的学习能力.SENet仅考虑了通道显著性特征, 会忽略空间方向的重要特征.因此空间注意力机制也被引入, 并与通道注意力机制融合构成卷积块注意力模块(convolutional block attention module, CBAM)^[10].Jiang等^[11]在DPN网络中加入卷积块注意力模块, 将通道注意力和空间注意力机制结合起来运用, 使网络自动定位结节分类所必需的区域, 提高分类准确率的同时实现了灵敏度和误诊率之间的最佳平衡.张福玲等^[12]设计出通道-空间注意力机制, 能同时获取含有较多上下文语义以及空间位置信息的特征信息.然而这些模块都只能捕获局部显著信息, 无法建立非相邻特征通道之间的关联性, 模型不能从全局方向对显著特征进行提取.Al-Shabi等^[13]提出一种非局部的注意力模块, 增大了注意力模块的感受野, 但该模块只能处理二维切片图像, 无法关注切片之间的上下文信息.同时, 研究人员发现丰富的特征信息有利于更好地辨别肺结节类别, 为此研究人员不断加深网络深度^[14], 但深度越大过拟合现象越严重.进一步, 研究人员利用特征融合的思想, 使用不同的子网络分别提取不同的特征以提高特征丰富度, Zhang等^[15]利用集成思想融合8个已有的卷积神经网络模型, 包括ResNet，DenseNet等来判断结节的良恶性类别.Wang等^[16]和Zhao等^[17]分别利用多个不同大小的卷积核从局部区域提取结节特征, 通过多路径连接结合从不同卷积层提取的特征, 增强了局部特征和全局特征的关联性, 分类效果优于目前主流的方法.上述方法在一定程度上丰富了特征信息, 但融合网络自提取的特征可能会降低肺结节病理显性特征的重要度, 进而影响网络对肺结节良恶性的区分效果.
为了解决以上问题, 本文提出一种融合长距离信道注意力与病理显性特征的肺结节良恶性分类方法.首先, 将通道注意力和空间注意力结合, 提出一个可以有效建立长距离信道关联性的注意力模块LCA(long-distance channel attention), 让模型能获取肺部CT图像的全局显著特征, 提高模型对肺结节恶性程度的诊断精度.其次, 将肺结节直径、纹理、钙化度等信息作为肺结节病理显性特征与其深度特征进行融合, 以增强这些显性特征的重要度, 提高模型的分类效果.最后, 结合LCA模块和卷积模块并采用双路径网络^[18]的形式堆叠构建特征提取网络DLCANet(dual-connected long-distance channel attention network)；基于Boosting算法^[19]构建分类器模型MARTM(multiple additive regression tree model).搭建出一套完整的肺结节良恶性分类模型并在数据集LIDC-IDRI^[20]和LUNA16^[21]上通过实验验证了该模型的整体性能优于目前先进的模型.
1 实验方法本文搭建的模型整体框架如图 1所示.首先, 对原始输入数据进行预处理以提高模型的泛化性能；其次, 将预处理后的数据输入DLCANet网络以提取肺结节的深度特征, 将深度特征与肺结节的直径、纹理、钙化度等病理显性特征融合以增强显性特征重要度, 将深度特征与浅层特征融合以丰富特征信息；最后, 将融合后的特征输入分类器模型MARTM进行训练并输出肺结节良恶性分类结果.
图 1(Fig. 1)

图 1 系统整体框架图Fig.1 Overall framework of the system

1.1 长距离信道注意力模块LCA设计以往的注意力模块仅能获取特征图的局部显著特征, 而肺结节的全局显著特征更有利于实现肺结节的精细分类, 为此需要建立长距离特征通道之间的关联性.本文对双注意力模块^[22]进行了改进, 考虑到肺结节的三维结构特性, 2D卷积核无法对其CT图像进行处理, 因此本文用3D卷积核来提取肺结节的特征信息.又因为肺结节直径较小，多数集中在3~30 mm之间, 而大卷积核提取的特征比较稀疏不够丰富, 因此本文使用小卷积核丰富肺结节特征.在提取通道注意力权重时, 由于二维全局平均池化函数无法处理三维肺结节深度方向的特征信息, 因此本文在全局平均池化函数中添加了深度方向的处理项, 使其能够对三维肺结节的特征信息进行处理.将改进后的注意力模块命名为长距离信道注意力模块(LCA).该模块示意图如图 2所示, 主要通过以下步骤建立长距离特征通道间的关联性.
图 2(Fig. 2)

图 2 LCA注意力模块示意图Fig.2 Schematic diagram of LCA attention module

第一, 使用多尺度卷积核获取通道方向上的多尺度特征图, 每个卷积分支的输入通道维度

(1)

式中S为卷积分支数.
多尺度特征图的生成函数为

(2)

其中: k_i是第i个卷积核大小；G_i是第i个卷积核的群组大小; X表示输入数据; F_i∈R^{C′×H×W×D}表示不同卷积分支获得的特征图.完整的多尺度特征图可通过式(3)拼接得到:

(3)

其中F∈RC×H×W×D是第一步得到的完整特征图.
第二, 利用Hu等^[8]提出的通道注意力模块SEWeight提取多尺度特征图中的注意力权重信息, 得到通道方向的注意力权重向量.该模块由压缩和激励两部分组成.压缩操作通过在特征图上执行全局平均池化得到当前特征图的全局压缩特征向量, 本文改进了全局平均池化函数使其能够处理三维特征图, 公式如下:

(4)

其中：Z_c∈R^Ci×1×1×1; F_c表示输入特征图; H, W, D分别表示其高度、宽度和深度.激励操作通过两个全连接层得到特征图中每个通道的权值, 第i个通道的注意力权重V_i可以表示为

(5)

其中：δ表示ReLU函数; W₁∈R^C/r×C; W₂∈R^C×C/r表示全连接层; r为缩减比用于缩减模型的参数.通过这一步, LCA模块可以有效融合不同尺度的上下文信息, 并赋予能更好表示肺结节的特征更大的权重.进一步, 为了实现注意力信息的交互, 在不破坏原始通道注意力向量的情况下融合不同维度的向量, 将式(4)得到的注意力权重通过级联的方式拼接起来:

(6)

第三, 通过soft max函数重新校准通道方向的注意力权重：

(7)

该权重包含空间上的位置信息和通道上的权重信息, 通过这样做实现了局部信息和全局信息.
然后, 对重新校准的注意力权重进行融合拼接, 得到完整的通道注意力权重信息:

(8)

第四, 将重新校准的注意力权重与对应尺度的特征图F_i相乘:

(9)

得到完整的输出:

(10)

Out表示带权重的多尺度特征图.
综上所述, 本文提出的LCA注意力模块可以将多尺度空间信息和跨通道注意力信息集成到每一个特征图中, 实现局部通道和远距离通道之间的信息交互, 有效地建立了长距离特征通道间的关联性.
1.2 特征提取网络DLCANet设计将LCA注意力模块添加到ResNet网络^[23]的bottleneck块中, 得到一个命名为双连接长距离信道注意力(DLCA)块的新模块.该模块继承了LCA模块的优势, 结构如图 3所示.
图 3(Fig. 3)

图 3 ResNet, SENet和本文设计的DLCANet模块比较Fig.3 Comparison of modules between ResNet, SENet and the DLCANet designed

将得到的DLCA模块按照双路径网络的形式堆叠搭建一种新的特征提取网络DLCANet, 网络主体结构如图 4所示.同时采用残差连接和密集连接两种形式能有效集成两者的优势, 数学表达式为
图 4(Fig. 4)

图 4 DLCANet网络主体结构Fig.4 Main structure of the DLCANet network

(11)

其中：y为通过双路径连接块得到的特征图; R是ReLU激活函数; F是卷积函数; x是双路径连接块的输入; d是通道数; F(x)[: d)用于密集连接, F(x)[d: ]用于残差连接.DLCANet网络可以有效提取肺结节的多尺度特征, 并自适应校准通道的注意力权重.
DLCANet62的详细参数如表 1所示, 多尺度卷积核的大小和群组大小分别设置为(1, 3, 5, 7)和(32, 32, 32, 32).通过与ResNet101和DPN92等肺结节常用分类网络对比参数量和运算量可以看出, 本文搭建的DLCANet62可以有效节约硬件资源并缩短运算时间.
表 1(Table 1)

表 1 DLCANet62网络的详细参数Table 1 Detailed parameters of the DLCANet62 network 网络层 输出 ResNet-101 DPN-92 DLCANet-62 Conv 1 32×32×32 3×3×3, 64, stride 1 3×3×3, 64, stride 1 3×3×3, 64, stride 1 Conv 2.× 32×32×32 Conv 3.× 16×16×16 Conv 4.× 8×8×8 Conv 5.× 4×4×4 1×1×1 4×4全局平均池化 2-d fc 4×4全局平均池化 2-d fc 4×4全局平均池化 2-d fc 参数量 98.58×106 34.22×106 20.64×106 每秒浮点运算次数 5.65G 2.05G 1.27G

表 1 DLCANet62网络的详细参数 Table 1 Detailed parameters of the DLCANet62 network

1.3 分类器模型MARTM设计MART(multiple additive regression tree)是一种迭代的决策树算法, 该算法由多棵决策树组成, 所有树的结果累加为最终结果.在本文实验中, 特征提取网络DLCANet采用小卷积核获取的肺结节特征分布稠密, 而MART算法采用加法模型和前向分步算法可以将目标任务不断细分逐步逼近目标值, 故其处理分布稠密的肺结节特征的效果要优于其他传统分类算法, 且MART算法使用决策树作为基分类器, 相比于神经网络其可解释性和鲁棒性更强.因此本文构建一个迭代决策树模型MARTM作为肺结节良恶性分类器.
同时, DLCANet网络自提取的特征可能会降低肺结节病理显性特征的重要度, 因此将LIDC-LDRI数据集中4位专业医生给出的肺结节直径、纹理、钙化度等信息作为病理显性特征, 与DLCANet提取的深度特征进行融合, 以增强这些显性特征的重要度.最后将融合后的特征输入MARTM模型进行训练得到良恶性分类结果, 训练示意图如图 5所示.
图 5(Fig. 5)

图 5 模型训练过程示意图Fig.5 Schematic diagram of the model training process

2 实验结果分析2.1 数据集LIDC-IDRI是美国国家癌症研究院提供的全世界最大的公开肺结节影像数据库, 包含1 018套胸腔CT图像数据, 每套数据包含100~300张CT扫描图像(以DCM文件格式存储)和4位专业胸外科医生对每一次CT扫描的诊断注释(以XML文件格式存储).
本文参照LUNA16数据集将LIDC-IDRI中切片厚度大于3 mm和肺结节尺寸小于3 mm的CT影像删除, 并显式地对数据集进行十倍交叉验证拆分, 根据注释文件将恶性程度为1，2的肺结节归为良性, 恶性程度为4，5的肺结节归为恶性, 恶性程度为3表示不确定良恶性, 本实验中将其去除.最终得到888张三维图像, 共包含1 004个三维肺结节, 其中良性结节554个, 恶性结节550个.
2.2 预处理首先, 将CT图像体素值截断至[-1 200, 600]范围；其次, 将值归一化至[0, 1]区间；最后, 利用LUNA16数据集给定的分割背景真实值去除肺部背景减少干扰.在训练过程中, 以肺结节坐标为中心裁剪大小为32×32×32的结节区域并填充扩大至36×36×36, 再从中随机裁剪出32×32×32的块沿x, y, z轴方向翻转进行增强.此外, MIXUP数据增强方法因为能有效提高模型泛化性能而被广泛运用于许多自然图像数据集^[13], 但目前在肺部图像数据集上应用较少.因此, 本文在训练阶段使用MIXUP方法构建虚拟训练集以提高模型的泛化性能.示意图如图 6所示.
图 6(Fig. 6)

图 6 预处理示意图Fig.6 Schematic diagram of preprocessing

2.3 评价指标为了评估本文提出的算法模型在肺结节良恶性分类实验中的性能, 本文使用准确率(ACC)、召回率(TPR)、假阳性率(FPR)和F1-score 4个指标作为模型性能的评价指标, 指标描述如下.
1) 准确率(ACC)：肺结节被正确预测为对应类别的概率.

(12)

2) 召回率(TPR)：恶性肺结节被正确预测的概率.

(13)

3) 假阳性率(FPR)：良性肺结节被错误预测为恶性的概率.

(14)

4) F1-score：模型综合指标.

(15)

其中：TP，FN分别表示恶性肺结节被正确、错误预测的数量；TN，FP分别表示良性肺结节被正确、错误预测的数量.当准确率、召回率、F1-score数值越高、假阳性率数值越低时, 代表模型性能越好.
2.4 模块参数实验2.4.1 卷积分支数对LCA模块性能的影响卷积分支数越多卷积核的感受野越大, 获取的肺结节全局特征信息越全面, 长距离通道之间的关联性越强, LCA注意力模块能更有效地获取全局显著特征, 但大卷积核参数量的骤增会使模型优化变得更加复杂.因此合适的卷积分支数对模型的性能影响重大.本文在S分别取2，2，3，4，5时进行了五组实验, 结果见表 2.当S等于4时模型性能最好, 故本文选取4作为卷积分支数S的最优值.
表 2(Table 2)

表 2 基于折叠5的LCA模块参数优化实验Table 2 LCA module parameter optimization experiment based on folding 5 卷积分支数(S) 准确率/% 卷积核大小=(1, 3), S=2 91.30 卷积核大小=(3, 5), S=2 91.30 卷积核大小=(1, 3, 5), S=3 92.39 卷积核大小=(1, 3, 5, 7), S=4 93.48 卷积核大小=(1, 3, 5, 7, 9), S=5 92.67

表 2 基于折叠5的LCA模块参数优化实验 Table 2 LCA module parameter optimization experiment based on folding 5

2.4.2 决策树深度对MARTM模型性能的影响决策树深度反映了模型的复杂程度, 决策树越深, 模型越复杂, 对数据的拟合越好, 但决策树太深会造成过拟合, 因此合适的参数对模型非常重要.本文仅以病理显性特征作为输入, 在常用取值范围1~5之间进行了五组实验, 结果见图 7.Max_depth取3时MARTM模型的分类效果要优于其他分组.故本文选取3作为决策树的最大深度值.
图 7(Fig. 7)

图 7 基于折叠5的MARTM模型参数优化实验结果图Fig.7 Experimental results of MARTM model parameter optimization based on fold 5

2.5 消融实验为了验证MIXUP数据增强模块、LCA注意力模块、DLCANet特征提取网络、MARTM分类器模型对整体系统的性能影响, 本文统一在第5组折叠上进行验证, 其他9组折叠用于训练.
2.5.1 LCA注意力模块注意力机制可以让肺结节的显著特征获得更大的权重, 利用这些显著特征可以更好区分良恶性肺结节.本文提出的LCA注意力模块同时提取肺结节的通道注意力和空间注意力信息, 通过建立长距离特征通道间的关联性, 让网络从全局方向获取肺结节显著特征, 以提高网络的整体性能.为了验证效果, 本文分别用DLCANet和DPN作为特征提取网络进行了两组实验, 结果如图 8前两项所示.结果表明DLCANet在准确率、假阳性率和F1-score指标上的效果均好于原始DPN网络, 验证了本文提出的LCA注意力模块在建立长距离特征通道关联性以及获取全局显著特征方面的有效性.
图 8(Fig. 8)

图 8 基于折叠5的模块消融实验结果图Fig.8 Diagram of experimental results of module ablation based on fold 5

2.5.2 MIXUP数据增强模块研究表明对原始数据进行翻转、剪裁、添加噪声等操作可以提高模型的泛化性能, 本文采用MIXUP数据增强方法随机将多个样本进行混合, 通过构建虚拟训练集增加了数据的多样性.为了验证效果, 本文基于DLCANet网络进行有无MIXUP模块的对比实验, 图 8第二项和第三项的结果表明该方法可以有效提高模型的性能.
2.5.3 MARTM模块病理显性特征能更直观反映肺结节的恶性程度, 因此本文将肺结节的直径、纹理、钙化度等信息作为病理显性特征与DLCANet网络提取的深度特征进行融合, 以增强这些显性特征的重要度, 从而提高模型分类准确率.为了验证效果, 将融合后的特征输入MARTM分类器进行实验, 结果见图 8最后一项.可以看出模型的准确率和F1-score指标都有一定程度的提升, 证明了特征融合的有效性.
2.5.4 整体框架为了综合各个模块的优势, 本文将所有模块集成到一起搭建出一个完整的肺结节良恶性分类模型, 最大化提升了模型性能.通过实验与原始DPN网络进行对比, 实验结果见图 8第一项和最后一项.由于LCA注意力模块能够获取肺结节全局显著特征, 而特征融合能增强肺结节病理显性特征的重要度, 因而分类准确率获得了3.26%的提升.MARTM分类器对稠密特征高效的处理能力有助于分类器区分高相似度的肺结节, 减小误诊概率, 使假阳性率从12.37%降至3.64%.MIXUP数据混合方法在增加数据多样性方面的优势有效地提高了模型的泛化性能, 其F1-score综合指标也相应地提高了3.06%.上述实验证明本文搭建的肺结节良恶性分类模型不仅整体性能优于DPN模型, 而且假阳性率大幅度降低, 这对于真实临床诊断场景中降低误诊率意义重大.
2.6 ROC实验高的召回率往往会带来高的假阳性率, 为了平衡召回率和假阳性率两个指标, 在第1至第5组折叠数据上使用ROC曲线及对应的AUC值评估模型的整体性能.如图 9a和图 9b所示, 相比DPN网络, DLCANet有效集成了LCA注意力模块和MIXUP数据增强模块的优势, 获得了更好的ROC曲线和更优的AUC值.如图 9c所示, 通过特征融合增强肺结节病理显性特征, 可以进一步优化模型性能.
图 9(Fig. 9)

图 9 DPN，DLCANet和DLCANet+MARTM在折叠1~5上的ROC曲线及AUC值Fig.9 ROC curves and AUC values of DPN, DLCANet and DLCANet+MARTM on fold 1~5 (a)—DPN; (b)—DLCANet; (c)—DLCANet+MARTM.

2.7 与其他方法的比较为了与其他方法进行比较, 本文采用与前人同样的实验方式进行十折交叉验证, 详值见表 3.
表 3(Table 3)

表 3 与前人方法的比较Table 3 Comparison with previous methods? % 文献 年份 ACC TPR FPR F1-score 3D DPN[6] 2018 88.74 — 12.37 88.61 Xie等[24] 2019 91.60 86.52 — — Polat等[25] 2019 91.81 88.53 — — Jiang等[11] 2020 90.24 92.04 11.06 — Lima等[26] 2020 88.00 82.00 — — Zhang等[9] 2020 91.67 — — — Liu等[27] 2020 90.60 83.70 — — Jiang等[28] 2021 90.77 85.37 — 89.29 Ali等[29] 2021 90.46 90.10 — — Al-Shabi等[30] 2021 91.63 — — — Mastouri等[31] 2021 91.99 — 7.72 — 本文 2022 92.37 86.30 3.71 89.67 注：加粗字体为每列最优值.

表 3 与前人方法的比较 Table 3 Comparison with previous methods?

对比实验结果表明, 本文提出的模型在准确率、假阳性率和F1-score三个指标上均达到了最优.此外, 本文的召回率虽略低于文献[24-25, 29], 但与这些模型相比, 本文的假阳性率大幅度降低, 有效地减小了误诊的概率.综合来看, 本文的模型整体性能达到了较先进的水平.这是因为本文提出的LCA注意力模块通过建立长距离特征通道关联性可以获取肺结节全局显著特征, 提高模型对肺结节恶性程度的诊断精度.提出的DLCANet特征提取网络集成了残差连接和密集连接的优势, 既可以缓解梯度消失又可以实现特征复用.构建的MARTM分类器通过融合肺结节深度特征和病理显性特征, 增强这些显性特征的重要度.
2.8 分类结果可视化分析本文从至少有两位专业医生未正确诊断出恶性肺结节的数据中随机抽取4个样本进行CT图像可视化处理, 如图 10第一行所示, 红圈区域为恶性肺结节.可以看出这些肺结节都与胸膜、血管相粘连, 背景复杂分类难度大.为了提高模型对这类结节的分类准确率, 本文将肺结节的浅层结构特征与深层语义特征进行了融合, 综合两种特征增大肺结节与血管、胸膜等人体组织的区分度, 提高模型对复杂背景结节的分类能力.图 10第二行结果显示，本文模型准确无误预测了肺结节的良恶性, 表明本文模型对复杂背景结节的处理能力优于专业医生.
图 10(Fig. 10)

图 10 分类结果可视化Fig.10 Visualization of classification results

2.9 实时性分析本文分别计算出模型训练一轮所用时间以及单个样本测试所用时间, 如图 11所示.图 11a数据表明，用融合后的特征进行良恶性分类会增加约1 min的训练时间, 说明多特征融合在提高模型性能的同时也增加了训练时间消耗, 但图 11b表明单个样本的测试时间只增加了0.000 1 s, 且以上两个模型的测试时间均小于0.1 s.在实际临床应用中, 模型通常会提前训练好直接用于病例测试, 由此可见, 模型复杂度的提升对测试耗时影响甚微.
图 11(Fig. 11)

图 11 不同模型的训练耗时和测试耗时Fig.11 Training time and testing time of different models (a)—训练一轮耗时；(b)—单个样本测试耗时.

3 结语本文提出一个可以有效建立长距离特征通道关联性的注意力模块LCA, 让模型能获取肺部CT图像的全局显著特征, 利用显著特征进行分类可以更好地区分高相似度的肺结节, 解决了模型对肺结节恶性程度诊断精度低的问题.同时, 将肺结节直径、纹理、钙化度等病理显性特征与其深度特征融合, 以增强这些显性特征的重要度, 弥补了特征自提取网络的不足.最后, 基于LCA模块搭建一种特征提取网络DLCANet, 基于迭代决策树算法构建一种分类器模型MARTM, 并在数据集LIDC-LDRI和LUNA16上与先进方法进行比较, 结果证明本文提出的模型达到了较先进的水平.
参考文献

[1]	Zhang S W, Sun K X, Zheng R S, et al. Cancer incidence and mortality in China, 2015[J]. Journal of The National Cancer Center, 2021, 1(1): 2-11. DOI:10.1016/j.jncc.2020.12.001
[2]	Sun W Q, Zheng B, Qian W. Computer aided lung cancer diagnosis with deep learning algorithms[C]//Medical Imaging 2016: Computer-Aided Diagnosis. San Diego: SPIE, 2016: 241-248.
[3]	Buty M, Xu Z Y, Gao M C, et al. Characterization of lung nodule malignancy using hybrid shape and appearance features[C]//International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer, 2016: 662-670.
[4]	Kumar D, Wong A, Clausi D A, et al. Lung nodule classification using deep features in CT images[C]//12th Conference on Computer and Robot Vision. Halifax, 2015: 133-138.
[5]	Onishi Y, Teramoto A, Tsujimoto M, et al. Multiplanar analysis for pulmonary nodule classification in CT images using deep convolutional neural network and generative adversarial networks[J]. International Journal of Computer Assisted Radiology and Surgery, 2020, 15(1): 173-178. DOI:10.1007/s11548-019-02092-z
[6]	Zhu W T, Liu C C, Fan W, et al. DeepLung: 3D deep convolutional nets for automated pulmonary nodule detection and classification[C]//2018 IEEE Winter Conference on Applications of Computer Vision (WACV). Lake Tahoe, 2018: 673-681.
[7]	孙华聪, 彭延军, 郭燕飞, 等. 3D多尺度深度卷积神经网络肺结节检测[J]. 中国图象图形学报, 2021, 26(7): 1716-1725. (Sun Hua-cong, Peng Yan-jun, Guo Yan-fei, et al. 3D multi-scale deep convolutional neural networks in pulmonary nodule detection[J]. Journal of Image and Graphics, 2021, 26(7): 1716-1725.)
[8]	Hu J, Shen L, Albanie S, et al. Squeeze-and-excitation networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City, 2018: 7132-7141.
[9]	Zhang G, Yang Z, Gong L, et al. Classification of lung nodules based on CT images using squeeze-and-excitation network and aggregated residual transformations[J]. La Radiologia Medica, 2020, 125(4): 374-383. DOI:10.1007/s11547-019-01130-9
[10]	Woo S, Park J, Lee J Y, et al. CBAM: convolutional block attention module[C]//Proceedings of the European Conference on Computer Vision (ECCV). Cham: Springer, 2018: 3-19.
[11]	Jiang H, Gao F, Xu X, et al. Attentive and ensemble 3D dual path networks for pulmonary nodules classification[J]. Neurocomputing, 2020, 398: 422-430. DOI:10.1016/j.neucom.2019.03.103
[12]	张福玲, 张少敏, 支力佳, 等. 融合注意力机制和特征金字塔网络的CT图像肺结节检测[J]. 中国图象图形学报, 2021, 26(9): 2156-2170. (Zhang Fu-ling, Zhang Shao-min, Zhi Li-jia, et al. Detection of pulmonary nodules in CT images by combining an attention mechanism and a feature pyramid network[J]. Journal of Image and Graphics, 2021, 26(9): 2156-2170.)
[13]	Al-Shabi M, Lan B L, Chan W Y, et al. Lung nodule classification using deep local-global networks[J]. International Journal of Computer Assisted Radiology and Surgery, 2019, 14(10): 1815-1819. DOI:10.1007/s11548-019-01981-7
[14]	刘秀玲, 戚帅帅, 熊鹏, 等. 融合多尺度信息的肺结节自动检测算法[J]. 生物医学工程学杂志, 2020, 37(3): 434-441. (Liu Xiu-ling, Qi Shuai-shuai, Xiong Peng, et al. An automatic pulmonary nodules detection algorithm with multi-scale information[J]. Journal of Biomedical Engineering, 2020, 37(3): 434-441.)
[15]	Zhang B H, Qi S L, Monkam P. Ensemble learners of multiple deep CNNs for pulmonary nodules classification using CT images[J]. IEEE Access, 2019, 7: 110358-110371. DOI:10.1109/ACCESS.2019.2933670
[16]	Wang Y, Zhang H, Chae K J, et al. Novel convolutional neural network architecture for improved pulmonary nodule classification on computed tomography[J]. Multidimensional Systems and Signal Processing, 2020, 31(3): 1163-1183. DOI:10.1007/s11045-020-00703-6
[17]	Zhao J M, Zhang C, Li D, et al. Combining multi-scale feature fusion with multi-attribute grading, a CNN model for benign and malignant classification of pulmonary nodules[J]. Journal of Digital Imaging, 2020, 33(4): 869-878. DOI:10.1007/s10278-020-00333-1
[18]	Chen Y P, Li J N, Xiao H X, et al. Dual path networks[EB/OL]. [2021-12-17]. https://arxiv.org/pdf/1707.01629.pdf.
[19]	Friedman J H. Greedy function approximation: a gradient boosting machine[J]. Annals of Statistics, 2001, 29(5): 1189-1232. DOI:10.1214/aos/1013203450
[20]	Armato Ⅲ S G, McLennan G, Bidaut L, et al. The lung image database consortium (LIDC) and image database resource initiative (IDRI): a completed reference database of lung nodules on CT scans[J]. Medical Physics, 2011, 38(2): 915-931. DOI:10.1118/1.3528204
[21]	Setio A A A, Traverso A, de Bel T, et al. Validation, comparison, and combination of algorithms for automatic detection of pulmonary nodules in computed tomography images: the LUNA16 challenge[J]. Medical Image Analysis, 2017, 42: 1-13. DOI:10.1016/j.media.2017.06.015
[22]	Zhang H, Zu K, Lu J, et al. EPSANet: an efficient pyramid squeeze attention block on convolutional neural network[EB/OL]. [2021-12-17]. https://arxiv.org/pdf/2105.14447.pdf
[23]	He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, 2016: 770-778.
[24]	Xie Y, Zhang J, Xia Y, et al. Fusing texture, shape and deep model-learned information at decision level for automated classification of lung nodules on chest CT[J]. Information Fusion, 2018, 42: 102-110. DOI:10.1016/j.inffus.2017.10.005
[25]	Polat H, Mehr D H. Classification of pulmonary CT images by using hybrid 3D-deep convolutional neural network architecture[J]. Applied Sciences, 2019, 9(5): 940-955. DOI:10.3390/app9050940
[26]	Lima L L, Ferreira J R, Oliveira M C. Toward classifying small lung nodules with hyperparameter optimization of convolutional neural networks[J]. Computational Intelligence, 2021, 37(4): 1599-1618. DOI:10.1111/coin.12350
[27]	Liu H, Cao H, Song E, et al. Multi-model ensemble learning architecture based on 3D CNN for lung nodule malignancy suspiciousness classification[J]. Journal of Digital Imaging, 2020, 33(5): 1242-1256. DOI:10.1007/s10278-020-00372-8
[28]	Jiang H, Shen F, Gao F, et al. Learning efficient, explainable and discriminative representations for pulmonary nodules classification[J]. Pattern Recognition, 2021, 113: 107825-107834. DOI:10.1016/j.patcog.2021.107825
[29]	Ali I, Muzammil M, Haq I U, et al. Deep feature selection and decision level fusion for lungs nodule classification[J]. IEEE Access, 2021, 9: 18962-18973.
[30]	Al-Shabi M, Shak K, Tan M. 3D axial-attention for lung nodule classification[J]. International Journal of Computer Assisted Radiology and Surgery, 2021, 16(8): 1319-1324.
[31]	Mastouri R, Khlifa N, Neji H, et al. A bilinear convolutional neural network for lung nodules classification on CT images[J]. International Journal of Computer Assisted Radiology and Surgery, 2021, 16(1): 91-101.