徐久强, 洪丽萍, 朱宏博, 赵海
东北大学 计算机科学与工程学院, 辽宁 沈阳 110169
收稿日期：2017-07-31
基金项目：国家科技支撑计划项目(2012BAH82F04)。
作者简介：徐久强(1966-)，男，辽宁北镇人，东北大学教授;
赵海(1959 -)，男，辽宁沈阳人，东北大学教授，博士生导师。

摘要：针对肺结节数据集中良恶性样本数比例失衡的问题, 首次引入深度卷积生成对抗网络(deep convolutional generative adversarial networks, DCGAN)模型, 该模型根据输入的肺结节图像, 生成与输入图像具有相似纹理特征的肺结节并将生成图像用于训练DCGAN模型.此外, 将图像来源分类问题改为图像来源分类和肺结节等级1~5分类问题, 从而增强了DCGAN模型的抗噪能力和实现了DCGAN模型对肺结节的等级分类.实验表明, 改进的DCGAN中G模型在生成图像时具有良好的抗噪能力且生成图像中大约有90.42%的图像判别为真实图像, D模型对肺结节图像的等级分类具有较好的判别能力且肺结节等级分类准确率为70.89%, 肺结节良恶性分类准确率为80.13%.
关键词：肺结节深度卷积生成对抗网络(DCGAN)纹理特征改进DCGAN肺结节等级分类
Generative Adversarial Networks for the Classification of Lung Nodules Malignant
XU Jiu-qiang, HONG Li-ping, ZHU Hong-bo, ZHAO Hai
School of Computer Science & Engineering, Northeastern University, Shenyang 110169, China
Corresponding author: HONG Li-ping, E-mail: honglp90@163.com
Abstract: In order to solve the proportion of benign and malignant lung nodule, a novel model named deep convolutional generative adversarial networks(DCGAN) was introduced. The model generates lung nodule images with similar texture feature from the input lung nodules images, and then using them to train the DCGAN model. In addition, the classification of image source is changed to the classification of image source and lung nodules grade 1~5. thus, the noise immunity of DCGAN model is enhanced and the classification of lung nodules by DCGAN model is realized. Experiments show that the model G in improved DCGAN enhances the performance of anti-noise capability with 90.42% images are distinguished true images when it generating images, and the model D has a good discriminant ability for the classification of lung nodule images and the classification accuracy of lung nodules is 70.89%, the recognition rate of malignant lung nodules is 80.13%.
Key words: lung nodulesDCGAN (deep convolutional generative adversarial networks)texture featureimproved DCGANlung nodules rank classification
肺癌是当今世界上发病率和死亡率增长最快、对人群健康威胁最大的恶性肿瘤之一^[1].早期肺癌大多表现为不大不小的肺结节且不易察觉, 当诊断其为恶性肺结节时, 往往错过了治愈肺癌的最佳时期^[2].因此, 肺部CT图像肺结节的检测和诊断对肺癌的早期诊治十分重要.
目前, 用于肺部CT图像的肺结节良恶性诊断的技术有:决策树(binary decision tree, BDT)、支持向量机(support vector machines, SVM)、卷积神经网络(convolutional neural network, CNN).Kumar等^[3]利用一个5层去噪自动编码器在带注释的肺结节数据集中提取纹理特征, 且使用BDT对肺结节进行良恶性分类, 但在实际应用中可能存在以下问题:肺结节中的注释可能不充分、由医生的判断差异导致注释不同.Zhang等^[4]统计候选区域的形状特征、灰度和纹理特征作为混合SVM的分类特征, 最终完成肺结节的良恶性分类, 但是SVM有两个不足的地方:对大规模训练样本难以实施且在多分类问题中不占有优势.Hua等^[5]在隐式统计肺结节形态学特征和纹理特征情况下使用深度信念网(deep belief network, DBN)和CNN组合的方式对肺结节进行良恶性诊断.Ciompi等^[6]在CT图像中利用二维视图描述裂肺周围结节的形态学特征, 并且使用卷积神经网络组合的方法对结节进行分类(裂肺周围结节和非裂肺周围结节).CNN在肺结节诊断中具有如下优点：CNN的网络结构降低了模型的复杂度, 减少了权值的数量, 使得肺结节图像可以直接作为网络的输入, 且CNN对CT图像肺结节的纹理特征提取有着独特优势.同时也存在缺点:需要使用大量符合要求的肺结节样本.由于提取出的结节中, 只有极少量的恶性肺结节样本, 导致了肺结节良恶性样本数比例失衡, 增加了CNN的训练难度.
针对CNN模型的缺点, Goodfellow等^[7]提出一种新的网络模型:生成对抗网络模型(generative adversarial networks, GAN).GAN模型具有如下优缺点.优点:能够根据输入图像生成与输入图像具有相似特征的图像, 解决了由于样本数不足引起的CNN训练难度增加的问题; 缺点:GAN模型具有不稳定性、难以训练和容易崩溃等问题.
通过以上分析, 本文提出一种用于肺结节恶性度分类的生成对抗模型.该方法的主要创新包括两方面:①在肺结节分类研究中首次引入GAN的衍生模型, 即深度卷积生成对抗网络模型DCGAN^[8]；②对DCGAN模型进行改进, 修改模型的优化函数并将DCGAN的数据来源分类问题改为数据来源分类、肺结节等级1~5分类问题, 使得改进的DCGAN在生成图像的过程中具有较好的抗噪能力且实现肺结节等级分类.
1 相关知识介绍1.1 生成对抗网络在肺结节良恶性诊断的过程中, 肺结节的纹理特征是判断良恶性的一个重要表征^[9].CNN使用卷积结构能够很好地提取肺结节的纹理特征, 最终用于肺结节的良恶性诊断^[10].GAN模型包括了一个生成模型G和一个判别模型D.D是对输入图像的来源进行一个判别:该数据是来自于真实图像还是来自一个G所生成的图像.GAN的训练目的是要使得生成的图像概率分布和真实图像的分布尽量接近, 从而使得生成的图像与真实图像具有相似的纹理特征.G的训练目标是要最小化D的判别准确率; D的训练目标是要最大化自己的判别准确率, 当输入图像被判别为真实图像时标注1, 被判别为G所生成的图像时标注0.
GAN在优化过程中, 由G和D构成了一个动态的“博弈过程”.优化函数是关于G和D的一个零和游戏, 即一个最小-最大化问题, 优化过程就是在寻找G和D之间的一个纳什均衡.GAN网络模型的优化函数如式(1)所示^[7]:

(1)

优化函数由两项构成, x表示真实肺结节图像, z表示输入G的噪声, G(z)表示G生成的肺结节图像, D(x)表示D判断真实肺结节图像为图像x的概率, D(G(z))表示D判断G(z)为图像x的概率.在训练的过程中, GAN采用了交替的优化方法, 分为两个阶段:第一阶段是固定D, 然后优化G, 尽可能地最大化D对图像G(z)的判别D(G(z)), 即最小化V(D, G), 降低D的准确率; 第二阶段是固定G, 尽可能提高判别力, 提高对图像x的判别值D(x), 降低对G(z)的判别值D(G(z)), 即最大化V(D, G), 提高D的准确率.因此G和D构成了一个动态的“博弈过程”.当生成模型G完全重现真实肺结节图像的概率分布时, GAN模型具有全局最优值, 如算法1所示^[7].
表 (Table )

表 算法1:随机梯度下降法训练GAN模型 输入:小批量数据m个噪音点{z(1), …, z(m)}; ????小批量数据具有m个真实肺结节图像{x(1), …, x(m)}; 输出:生成能力强的G模型. 过程: ????for迭代轮数n=1, 2, …, N do ????for第k步do ????小批量数据具有m个噪音点{z(1), …, z(m)}, 概率分布为pg(z); ????小批量数据具有m个真实图像{x(1), …, x(m)}, 概率分布为pdata(x); ????在更新判别模型D时, 加上随机梯度: ???? ????end for ????小批量数据具有m个噪音点{z(1), …, z(m)}, 概率分布为pg(z); ????在更新生成模型G时, 减去随机梯度: ???? ????end for

表

1.2 深度卷积生成对抗网络Radford等^[8]指出由于缺少具有代表性的特征学习过程和启发式损失函数, 导致GAN模型具有不稳定性、难以训练和容易崩溃等问题, 因此, 提出深度卷积生成对抗网络DCGAN模型.DCGAN模型是GAN的衍生模型, 使用CNN结构扩展GAN中G模型和D模型的结构, 并做了如下修改:①取消CNN的所有池化层.G使用部分跨卷积代替池化层, D使用跨卷积代替池化层.②取消CNN的全连接层(FC层), 使网络变为全卷积网络.③G中使用ReLU作为激活函数, 输出层中使用tanh函数作为激活函数; 在D中, 所有层的激活函数均为Leaky ReLU函数.④使用批量肺结节图像作为输入, G的输入参数为噪点z和肺结节图像的标签类别c; D的输入参数为固定大小的真实肺结节图像和由G生成的肺结节图像.
2 基于改进DCGAN模型的早期肺结节分类2.1 模型适用性分析为了能够充分利用CNN的网络结构对二维CT图像肺结节的纹理特征提取独特的优势和GAN生成图像的功能, 且解决在训练CNN时肺结节良恶性样本数比例失衡的问题, 同时预防训练GAN时网络模型不稳定性问题、难以训练和容易崩溃的情况, 在早期肺结节诊断过程中, 本文首次引入DCGAN模型.
DCGAN模型具有如下优点:能够根据输入的肺结节图像, 生成与输入图像具有相似纹理特征的肺结节并将生成图像用于训练DCGAN模型, 从而解决恶性肺结节样本不足的问题.且能够利用CNN卷积结构解决GAN模型的不稳定性问题和难以训练问题.同时, DCGAN在肺结节应用中存在以下问题:①DCGAN中G模型生成的图片易受噪点影响导致生成的图像模糊不清, 即抗噪能力弱.②DCGAN中D模型只能对输入肺结节图像进行来源分类, 不能进行肺结节等级分类.
2.2 改进DCGAN模型为了解决原始的DCGAN中在早期肺结节诊断过程中存在的问题, 改进DCGAN模型, 修改DCGAN模型的优化函数, 并改进DCGAN模型的判别功能:将数据来源分类问题改为数据来源分类、肺结节等级1~5分类问题.
改进DCGAN包括了一个G和一个D.与原始DCGAN相同, G根据输入的噪点和图像类别生成与输入图像具有相似纹理特征的肺结节图像.与原始DCGAN的区别:①在D模型中输入图像时, 将图像相对应的类别标签也作为D模型的输入; ②D在判别过程中有两部分内容, 对输入图像的来源分类, 对输入图像的等级分类.原始DCGAN与改进DCGAN框架对比如图 1所示.
图 1(Fig. 1)

图 1 原始DCGAN与改进DCGAN框架对比Fig.1 Comparison of DCGAN architecture and improved DCGAN architecture (a)—原始DCGAN框架；(b)—改进DCGAN框架.

改进DCGAN网络模型的优化函数修改为两部分:图像来源的对数函数L_s和图像类别的对数函数L_c.训练G的过程中, G尽可能地最大化L_c-L_s, 即最大化标签类别的判别力, 最小化来源的判别力; 训练D的过程中, D尽可能地最大化L_c+L_s, 即最大化标签类别的判别力, 最大化来源的判别力.图像来源的对数函数L_s如式(2)所示，图像标签类别的对数函数L_c如式(3)所示^[11]:

(2)

(3)

其中:x表示真实肺结节图像; z表示输入G的噪声; c表示G生成肺结节图像所对应的标签类别, G(c, z)表示G生成的肺结节图像; S(x)表示D判断真实肺结节图像为图像x的概率; S(G(c, z))表示D判断G生成的图像G(c, z)为图像x的概率.假如输入图像来源于图像x, 则概率为1;假如输入图像来源于G生成的图像G(c, z), 则概率为0.C(x)表示D对图像x分类是否正确的概率, C(G(c, z))表示D生成图像G(c, z)的分类是否正确的概率.若对输入图像分类正确, 则概率为1;若对输入图像分类错误, 则概率为0.
当输入的噪音z符合概率分布p_z时, 概率分布p_g为G对于生成的图像G(c, z)所形成的概率分布.当输入足够多的肺结节图像时, 算法2最终收敛于图像x概率分布p_data的一个估计值.
表 (Table )

表 算法2:随机梯度下降法训练改进DCGAN模型 输入:小批量数据m个噪音点{z(1), …, z(m)}, ????小批量数据具有m个真实肺结节图像{x(1), …, x(m)}. 输出:D(x)=argmaxlgC(x)输入肺结节图像的分类概率值. 过程: ????for迭代轮数n=1, 2, …, N do ????for第k步do ????小批量数据具有m个噪音点{z(1), …, z(m)}, 概率分布为pg(z); ????小批量数据具有m个真实图像{x(1), …, x(m)}, 概率分布为pdata(x); ????在更新判别模型D时, 加上随机梯度: ???? ????end for ????小批量数据具有m个噪音点{z(1), …, z(m)}, 概率分布为pg(z); ????在更新生成模型G时, 减去随机梯度: ???? ????end for

表

3 实验与结果分析LIDC-IDRI数据库中对肺结节良恶性等级评定为5级:1.良性; 2.疑似良性; 3.未知; 4.疑似恶性; 5.恶性^[12].本文从LIDC数据集和合作医院的CT图像中提取了11 954个像素大小为28×28的肺结节图像, 其中等级为1的肺结节有570个, 等级为2的肺结节有2 119个, 等级为3的肺结节有2 914个, 等级为4的肺结节有2 532个, 等级为5的肺结节有3 819个.实验中使用随机选择法选择80%的数据集, 即9 563个肺结节用于训练DCGAN; 剩余20%的数据集, 即2 391个肺结节用于作为测试数据集.其中, 在测试数据集中等级为1的肺结节有114个, 等级为2的肺结节有424个, 等级为3的肺结节有583个, 等级为4的肺结节有506个, 等级为5的肺结节有764个.
原始DCGAN模型与改进DCGAN模型在训练完毕后, 使用测试数据集验证G模型生成图像的能力.图 2展示了两个模型生成肺结节图像的效果, 从图 2可以看出, 使用改进DCGAN模型生成的肺结节图像纹理清晰, 对于噪点有较好的抗噪能力.表 1展示了G模型根据输入图像所生成对应的图像结果, 从表 1中可以看出, 改进DCGAN模型能够根据输入图像的标签生成相对应等级的图像, 且生成图像中有90.42%的图像判别为真实图像.表明改进DCGAN中G模型在生成图像时有较好的抗噪能力, 即G模型有非常好的生成能力.
图 2(Fig. 2)

图 2 改进DCGAN中G模型与原始DCGAN中G模型生成肺结节图像对比Fig.2 Comparison of generations with DCGAN architecture and improved DCGAN architecture (a)—原肺结节图像；(b)—原始DCGAN中G模型生成的肺结节图像；(c)—改进DCGAN中G模型生成的肺结节图像.

表 1(Table 1)

表 1 改进DCGAN中G模型生成图像的来源判别结果Table 1 Source classification of samples from improved DCGAN 类别分类 判别为真实图像 判别为生成图像 总计 ACC/% 1.良性 101 13 114 88.60 2.疑似良性 385 39 424 90.80 3.未知 524 59 583 89.88 4.疑似恶性 450 56 506 88.93 5.恶性 702 62 764 91.88 总计 2 162 229 2 391 90.42

表 1 改进DCGAN中G模型生成图像的来源判别结果 Table 1 Source classification of samples from improved DCGAN

使用测试数据集对训练好的改进DCGAN中D模型判别能力进行测试, 改进DCGAN的D模型对肺结节等级分类的结果如表 2所示.从表 2中可以看出, 改进DCGAN在测试数据集上能较好地区分出各种类别的肺结节图像, 且等级分类准确率为70.89%.
表 2(Table 2)

表 2 改进DCGAN中D模型对肺结节等级的分类Table 2 Lung nodule images rank classification with improved DCGAN 类别分类 1.良性 2.疑似良性 3.未知 4.疑似恶性 5.恶性 总计 ACC/% 1.良性 70 3 23 15 3 114 61.40 2.疑似良性 10 280 90 31 13 424 66.04 3.未知 40 131 372 26 14 583 63.81 4.疑似恶性 15 50 32 378 31 506 74.70 5.恶性 10 54 44 61 595 764 77.88 总计 145 518 561 511 656 2391 70.89

表 2 改进DCGAN中D模型对肺结节等级的分类 Table 2 Lung nodule images rank classification with improved DCGAN

实验中将肺结节良恶性分类的阈值设定为3, 即类别标签小于3时, 表示良性肺结节, 否则表示恶性肺结节.使用准确率(ACC)、灵敏度(SEN)和特异度(SPE)3种指标进行衡量.其中, ACC称为准确率, 表示全部测试集检测效果; SEN又称为真阳性率, 表示正确检测出恶性肺结节的能力; SPE又称为真阴性率, 表示正确检测出良性肺结节的能力.准确率ACC、灵敏度SEN和特异度SPE的值越大表示模型分类能力越好.从表 3中可知, 改进DCGAN中D模型对肺结节的良恶性能够较好的区分, 且准确率达到80.13%.
表 3(Table 3)

表 3 改进DCGAN中D模型对肺结节良恶性的分类Table 3 Pulmonary nodules classification withimproved DCGAN 真实类别 预测恶性 预测良性 总计 SEN/% SPE/% ACC/% 恶性 1 553 300 1 853 良性 175 363 538 83.81 67.47 80.13 总计 1 728 663 2 391

表 3 改进DCGAN中D模型对肺结节良恶性的分类 Table 3 Pulmonary nodules classification withimproved DCGAN

在相同实验条件下, 本文将基于改进DCGAN模型的早期肺结节分类方法与本文提到的相关方法进行比较, 比较结果如表 4所示.从表中可知, 改进DCGAN模型的灵敏度SEN、特异度SPE和准确率ACC均高于其他3种方法, 即改进DCGAN的性能优于其他方法.因此改进DCGAN的D模型对肺结节图像的良恶性具有较好的分类能力, 且准确率为80.13%.
表 4(Table 4)

表 4 不同分类方法对肺结节良恶性的分类Table 4 Performance comparison of different methods for pulmonary nodules classification 方法 SEN/% SPE/% ACC/% 决策树BDT 83.35 61.00 75.01 支持向量机SVM 80.56 64.29 76.00 卷积神经网络CNN 80.67 65.11 74.17 改进DCGAN 83.81 67.47 80.13

表 4 不同分类方法对肺结节良恶性的分类 Table 4 Performance comparison of different methods for pulmonary nodules classification

根据以上分析, 由于DCGAN中G模型能根据输入的肺结节图像生成与输入图像具有相似纹理特征的肺结节图像并用于训练模型, 且修改了D模型的判别功能, 因此改进DCGAN中G模型具有较好的生成能力且生成图像中有90.42%的图像判别为真实图像, D模型具有较好的判别能力且对肺结节等级分类准确率为70.89%、对肺结节良恶性分类准确率为80.13%.
4 结语本文首次将GAN的衍生模型深度卷积生成对抗网络(DCGAN)引入早期肺结节分类应用.为了解决原始DCGAN中G模型生成图像易受噪点影响的问题和D模型只能实现来源分类的问题, 在原始DCGAN的基础上改进DCGAN, 优化目标函数并修改D模型的判别功能:将原始DCGAN的图像来源分类改进为图像来源分类和肺结节的等级分类.最终形成由一个具有良好生成能力的生成模型G和一个分类能力强的判别模型D组成的改进DCGAN模型用于肺结节良恶性分类, 且准确率为80.13%.此外, 本实验也存在不足:在G模型生成图像过程中输入均匀分布z增加了生成图像的难度, 降低了生成准确率, 影响了整个模型的性能.实验表明该模型用于肺结节良恶性分类中取得良好的效果, 在实际医疗应用中具有广泛的应用.
参考文献

[1]	Jemal A, Bray F, Center M M, et al. Global cancer statistics[J].Cancer Journal for Clinicians, 2011, 61(2): 59–90.
[2]	Hoffman P C, Mauer A M, Vokes E E. Lung cancer[J].Lancet, 2000, 355(9202): 479–485.DOI:10.1016/S0140-6736(00)82038-3
[3]	Kumar D, Wong A, Clausi D A.Lung nodule classification using deep features in CT images[C]// Conference on Computer and Robot Vision.New York: IEEE Computer Society, 2015: 133-138.
[4]	Jing Z, Li B, Tian L.Lung nodule classification combining rule-based and SVM[C]//IEEE Fifth International Conference on Bio-Inspired Computing: Theories and Applications.New York: IEEE, 2010: 1033-1036.
[5]	Hua K L, Hsu C H, Hidayati S C, et al. Computeraided classification of lung nodules on computed tomography images via deep learning technique[J].Oncotargets and Therapy, 2015, 8(1): 2015–2022.
[6]	Ciompi F, De H B, van Riel S J, et al. Automatic classification of pulmonary peri-fissural nodules in computed tomography using an ensemble of 2D views and a convolutional neural network out-of-the-box[J].Medical Image Analysis, 2015, 26(1): 195–202.DOI:10.1016/j.media.2015.08.001
[7]	Goodfellow I J, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets[J].Advances in Nevral Information Processing Systems, 2014, 3(1): 2672–2680.
[8]	Radford A, Metz L, Chintala S. Unsupervised representation learning with deep convolutional generative adversarial networks[J].Computer Science, 2015, 1(1): 1–19.
[9]	向子云, 史长征, 周洁, 等. 肺结节CT图像纹理特征的初步研究[J].CT理论与应用研究, 2013, 22(1): 155–160. ( Xiang Zi-yun, Shi Chang-zheng, Zhou Jie, et al. Application of gray-scale texture feature in the diagnosis of pulmonary nodules on CT imaging[J].Computerized Tomography Theory and Applications, 2013, 22(1): 155–160.)
[10]	Golan R, Jacob C, Denzinger J.Lung nodule detection in CT images using deep convolutional neural networks[C]// International Joint Conference on Neural Networks.New York: IEEE, 2016: 243-250..
[11]	Odena A, Olah C, Shlens J.Conditional image synthesis with auxiliary classifier GANs[C]//Proceedings of the 34th International Conference on Machine Learning. Sydney, 2017: 1-12.
[12]	Messay T, Hardie R C, Tuinstra T R. Segmentation of pulmonary nodules in computed tomography using a regression neural network approach and its application to the lung image database consortium and image database resource initiative dataset[J].Medical Image Analysis, 2015, 22(1): 48–62.DOI:10.1016/j.media.2015.02.002