齐林¹, 吕旭阳¹, 杨本强², 徐礼胜^1,3
1. 东北大学 中荷生物医学与信息工程学院, 辽宁 沈阳 110169;
2. 沈阳军区总医院 放射科, 辽宁 沈阳 110016;
3. 东北大学 教育部医学影像计算重点实验室, 辽宁 沈阳 110169
收稿日期：2017-08-11
基金项目：国家自然科学基金资助项目(61773110, 61374015, 61202258);中央高校基本科研业务费专项资金资助项目(N161904002, N130404016, N171904009);辽宁省博士启动基金资助项目(20170520180)。
作者简介：齐林(1981-), 男, 吉林长春人, 东北大学副教授, 博士;
徐礼胜(1975-), 男, 安徽安庆人, 东北大学教授, 博士生导师。

摘要：为了避免过拟合现象, 提出了基于全卷积网络迁移学习的左心室内膜分割方法.该方法在已用自然图像训练好的VGGNet模型的基础上对参数进行微调; 其次, 利用了心室内膜位于MRI图像中心处的先验信息作为选取准则来优化分割结果.将该方法对2009 MICCAI数据集的45个病例进行测试, 其DICE指数、APD距离和GC率分别为0.91, 1.73 mm和97.81%.测试结果表明该方法对于心脏MRI图像的左心室内膜的分割结果较好, 当引入一定的先验信息后可以优化测试结果.
关键词：左心室内膜分割深度学习全卷积网络迁移学习核磁共振成像
Segmentation of Left Ventricle Endocardium Based on Transfer Learning of Fully Convolutional Networks
QI Lin¹, LYU Xu-yang¹, YANG Ben-qiang², XU Li-sheng^1,3
1. School of Sino-Dutch Biomedical & Information Engineering, Northeastern University, Shenyang 110169, China;
2. Department of Radiology, General Hospital of Shenyang Military Region, Shenyang 110016, China;
3. Key Laboratory of Medical Image Computing, Ministry of Education, Northeastern University, Shenyang 110169
Corresponding author: XU Li-sheng, professor, E-mail: xuls@bmie.neu.edu.cn
Abstract: To avoid the over-fitting phenomenon, a segmentation method of left ventricle endocardium based on transfer learning of FCN was proposed. The VGG network which had been trained through the natural images was fine-tuned. In addition, some segmentation criteria were employed to optimizing the results based on the priori information that the left ventricle endocardium was in the center of the MRI(magnetic resonance imaging). In the end, 45 cases taken from the 2009 MICCAI dataset was tested by this mothod. The computed DICE index, APD and GC ratio were 0.91, 1.73 mm and 97.81%, respectively. Better results in segmentation of left ventricle endocardium were achieved through the transfer learning of fully convolutional networks and the priori information can improve the automatic segmentation results.
Key words: segmentation of left ventricle endocardiumdeep learningFCN(full convolutional networks)transfer learningMRI(magnetic resonance imaging)
在2015年, 全球有4.227亿心血管疾病患者, 其中1 792万人因心血管疾病死亡^[1].而在中国, 2015年心血管病导致的死亡率仍居各类疾病的首位, 其中每5例死亡患者中就有两例死于心血管病^[2].心脏核磁共振成像(magnetic resonance imaging, MRI)对评估心室功能具有重要的临床意义^[3], 包括计算左心室的舒张末期(end diastolic, ED)容量和收缩末期(end systolic, ES)容量.在计算这些容量时, 通常都需要划分左心室心肌边界, 因此, 左心室内膜的精准分割是评估左心室功能的先决条件, 而手动分割是一项漫长且乏味的过程, 一个医生手动分割一组病例需要花费20 min时间.
为了减轻医生的工作负担, 近年来, 国内外学者对于左心室自动分割方法进行了更加深入的研究^[4].2013年, Ngo等使用受限制玻尔兹曼机构建深度置信网络和水平集的方法在2009 MICCAI(medical image computing and computer assisted intervention)左心室分割挑战赛的数据集上有了很好的效果, 但该方法是半自动化的分割方法^[5].2014年, Queirós等提出一种新的左心室自动分割方法, 将2D心室分割与3D心室分割相结合, 并引入时间这一维度从而达到跟踪的效果, 该方法在MICCAI数据集中取得很好效果^[6].2015年, Avendi等使用CNN(convolutional neural networks)与变形体模型相结合, 取得了很好的分割结果, 但这种方法需要预先调整参数, 并不是一种端到端的方法^[7].因此, 本文提出一种将全卷积网络(fully convolutional networks, FCN)迁移学习到左心室内膜分割中的方法, 这是一种精准的以及端到端的分割方法, 而且不需要对参数进行额外的调整.
1 基于FCN与迁移学习相结合的左心室内膜分割算法1.1 算法原理2015年, Shelhamer等首次将卷积神经网络框架的全连接层替换成卷积层, 构建了FCN框架.可以使用任意尺寸图像作为FCN的输入, 使其对输入图像的每个像素进行分类, 并且使用上采样的方式, 最终输出的是与输入图像尺寸相同的分割图, 进而实现图像语义分割的功能^[8].
通常深度学习被认为在大量有标注的图像上进行训练才可以达到良好的效果.在医学图像中很难有大量带有标注的病理图像用于分割训练, 因此需要使用迁移学习——微调已经训练好的模型参数, 将其用于医学图像处理, 这样既可以解决因为医学图像数据不足导致的分割效果差的问题, 又可以解决过拟合问题.
1.2 算法框图和模型框架构建本文首先将输入的左心室内膜图像进行预处理操作, 之后使用已经训练好的FCN框架对其进行分割处理, 又利用后文提出的先验信息作为选取准则对分割结果进行优化, 最后输出左心室内膜分割图像, 算法框图见图 1.
图 1(Fig. 1)

图 1 分割算法框图Fig.1 Chart of segmentation method

Shelhamer等提出, 以VGGNet为基础构建的FCN框架可以达到良好的分割效果^[8], 因此本文使用的FCN框架是在VGGNet基础上构建, 将全连接层替换为深度分别为4 096, 4 096和2的卷积层(卷积核尺寸为1×1), 可以使用任意尺寸的图像作为FCN的输入.VGGNet是由13个卷积层(卷积核尺寸为3×3), 5个最大池化层(池化尺寸为2×2)以及3个全连接层构成.每个卷积层之间使用修正线性单元(rectified linear unit, ReLU)激活函数, 这可以有效地改善在深度神经网络训练中出现的梯度消失现象^[9], 详细模型框架见图 2.
图 2(Fig. 2)

图 2 本文使用的FCN结构Fig.2 Architecture of the proposed FCN 注:卷积层1~2:64表明第1卷积层和第2卷积层各有64个卷积核, 卷积层1~13的卷积核的尺寸是3×3, 卷积层14~16的卷积核尺寸是1×1;每一个池化层表示一个尺寸为2×2, 步长为2的最大池化层

1.3 数据预处理本文使用2009 MICCAI心脏核磁共振左心室分割挑战赛的数据集, 共有健康的、心肌肥大的以及心力衰竭的45例病人, 包括训练集、验证集和在线验证集各15例.专家手动分割了从心室底端到心室顶端的舒张末期和收缩末期的心内膜、心外膜以及乳头肌切片, 其中训练集和验证集各含有260张和266张心脏短轴MRI图像.
通过人工增加数据量可以避免因为数据量不足导致的过拟合现象.本文将260张训练集的图像分别逆时针旋转90°, 180°和270°, 再将得到的数据集进行水平翻转, 最终将训练集扩大到2 080张.原始心脏MRI图像尺寸为256×256, 而左右心室的心脏腔大致位于心脏短轴切片的中心, 为了减少冗余信息, 增加模型的鲁棒性, 本文将原始图像进行中心裁剪, 裁剪成90×90到120×120的随机尺寸图像, 之后进行灰度处理, 如图 3所示.其中图 3a为第一张原始心脏短轴MRI图像, 图 3b为中心裁剪后尺寸为110×110的图像, 图 3c为对图 3b灰度化处理后的图像.
图 3(Fig. 3)

图 3 原始图像与处理后图像对比图Fig.3 Comparison between original image and pre-processed images (a)—原始图像; (b)—中心裁剪后的图像; (c)—灰度处理后的图像.

1.4 训练过程本文基于Ubuntu14.04系统的CPU版Tensorflow深度学习框架完成训练.训练数据经过数据增强后共2 080张带有专家标记的左心室内膜图像, 通过迁移学习的方式将FCN应用到左心室内膜的分割中.每次训练1张图像, 共进行了50 000次训练.采用自适应矩估计(adaptive moment estimation, ADAM)^[10]优化算法来最小化输出图像与专家标记图像之间的每个像素的交叉熵损失, 学习率初始值设置为10^-5, ADAM是一种自适应学习率的算法, 公式为

(1)

(2)

(3)

其中:g_t是第t次训练参数更新的梯度; m_t和n_t表示g_t的一阶(均值)矩估计和二阶(方差)矩估计; μ和v是m_t和n_t的动量因子, 分别设为0.9和0.999 9; 和是m_t和n_t的校正; μ^t和v^t是μ和v的t次方; 公式(2)用来解决训练初期的参数向0方向偏置的问题; Δθ_t表示参数的更新量; η表示初始学习率; ε设为10^-8; 用来避免分母为0的情况.
经过偏置校正后, ADAM对每个参数都计算自适应的学习率, 每次对于学习率的更新都有一个确定范围, 使参数更加平稳.初始权重采用VGGNet训练之后的权重, 为了减小过拟合现象, 采用参数为0.5的Dropout方法^[11].Dropout指每一次反向更新神经元参数时一定概率地临时删除某一些神经元, 但保留该神经元参数, 用于下次更新使用.这种方法可以降低相邻神经元之间的依赖性, 避免神经网络对一些特定特征过于敏感, 使其具有更强的鲁棒性.
在使用含有15例病人的训练集进行训练的过程中, 每经过10 000次训练保存一个模型, 并对包含15例病人的验证集共266张图像进行分割处理, 结果见表 1.30 000次训练后的模型的验证效果最好, 虽然40 000次和50 000次的模型是经过更多次训练的模型, 但却出现了过拟合的现象, 导致综合评价指标不如30 000次训练的模型, 因此本文选取30 000次训练结果作为本次实验的最优训练结果.
表 1(Table 1)

表 1 不同训练次数的验证结果对比表Table 1 Comparison of validation set for different numbers of training 评价指标 训练次数n 10 000 20 000 30 000 40 000 50 000 DICE指数 0.89 0.88 0.91 0.90 0.89 2.16 2.12 1.91 1.94 1.97 GC率/% 97.03 94.83 98.30 98.60 98.72

表 1 不同训练次数的验证结果对比表 Table 1 Comparison of validation set for different numbers of training

随着训练次数增加, 损失逐渐下降, 每训练20次记录一次损失值, 为了显示的更加平滑, 每记录30次损失值后取平均值画在图 4中.如图 4所示, 在30 000次时损失值为0.19, 起始损失值也只有0.61, 这说明了迁移学习的可行性.
图 4(Fig. 4)

图 4 损失随训练次数的变化情况Fig.4 Variation of loss with numbers of training

2 算法测试与结果分析2.1 算法测试本文利用心室的心脏腔的大致位置在心脏短轴切片的中心, 以及一幅心脏MRI图像上只有一个左心室内膜的先验信息, 提出一个选取准则:在训练后的自动分割中, 如果分割出两个及两个以上的轮廓, 将会选取更接近于中心的轮廓.本算法测试所用处理器为i5-6200U型号的CPU, 测试数据是2009 MICCAI左心室分割挑战赛数据集, 将其进行中心裁剪, 最终得到尺寸为100×100的图像.对45个病例(805张图像)进行分割处理, 具体用时见表 2.
表 2(Table 2)

表 2 有无先验信息的测试用时对比表Table 2 Time-cost comparison of tests with and without priori information s 消耗时间 是否有先验信息 有先验信息 无先验信息 总耗时 333 331 病例平均耗时 7.400 0 7.355 6 图像平均耗时 0.413 7 0.411 8

表 2 有无先验信息的测试用时对比表 Table 2 Time-cost comparison of tests with and without priori information

2009 MICCAI左心室分割挑战赛数据集用到了以下3种评价标准:
1) DICE指数^[12](DICE index):表示心脏短轴MRI图像的心室内膜自动分割轮廓的区域部分(A)与专家手动分割的轮廓的区域部分(M)重叠性或相似性的度量, 定义为

(4)

重叠性很高时, DICE指数趋向1, 重叠性很低时, DICE指数趋向0.
2) APD距离^[13](average perpendicular distance, APD):指从自动分割的轮廓中心点到相应专家手动分割的轮廓中心点的欧氏距离, 单位是mm, 分割结果越精确, APD距离越小.
3) GC率(good contours ratio):在所有自动分割的轮廓中, 如果APD距离小于5 mm, 则被定义为好的轮廓, 好的轮廓占所有分割轮廓的百分比称为GC率.
分割过程中没有加入先验信息可能会出现错误分割的现象.图 5为一张心室顶端收缩末期的图像在10 000次训练后的分割对比图, 黄色和紫色轮廓为专家手动标注和10 000次训练后的分割轮廓, 其中图 5a加入了先验信息, 图 5b未加先验信息.
图 5(Fig. 5)

图 5 有无先验信息的分割结果对比图Fig.5 Comparison between segmentation results with and without prior information (a)—有先验信息的分割结果图; (b)—无先验信息的分割结果图.

图 6为不同训练次数的分割结果对比图, 其中黄色、紫色、蓝色和红色轮廓分别指为专家手动标注、10 000次训练、20 000次训练和30 000次训练后的分割轮廓, 从左至右分别表示心室底端以及心室顶端的收缩末期和舒张末期的分割图像.
图 6(Fig. 6)

图 6 不同训练次数的分割结果对比图Fig.6 Comparison of segmentation results for different numbers of training (a)—10 000次训练后的分割结果图; (b)—20 000次训练后的分割结果图; (c)—30 000次训练后的分割结果图.

2.2 结果分析表 2说明平均每0.4 s可以分割1张尺寸为100×100的图像, 平均每7.4 s可以分割一个病例, 而运算过程中加入先验信息基本不会增加分割耗时.表 3是经过不同训练次数得到的FCN模型对2009 MICCAI数据集的45个病例分割后的结果对比表.如表 3所示, 随着训练次数的增加, 3个评价指标均有所提高.而10 000次训练后加入先验信息达到的指标好于20 000次训练后不加入先验信息达到的指标.因此, 在这一对比测试中, 加入先验信息可以节省约10 000次的训练次数.在每一次相同训练次数的对比中, 先验信息对其分割结果的APD距离和GC率也有明显的优化作用, 同时也降低了标准差, 这说明加入先验信息对于分割结果具有优化作用.表 4是本文提出的将全卷积网络迁移学习到左心室内膜分割的方法与其他方法对2009 MICCAI数据集的病例分割后的结果对比表, 可知本文的方法在DICE指数和GC率的排名中均位于前列, APD距离的均值小于其他方法.说明相比于其他方法, 本文的方法分割的轮廓与专家标注的轮廓更为相近, 而且GC率的标准差也小于其他方法, 说明本文的方法可以分割出更多的好轮廓, 具有良好的分割稳定性以及精准的自动分割效果.
表 3(Table 3)

表 3 不同训练次数的结果对比表Table 3 Comparison for different numbers of training 评价指标 训练次数n 10 000# 10 000 & 20 000# 20 000 & 30 000# 30 000 & DICE指数 0.89±0.05 0.89±0.05 0.89±0.05 0.89±0.05 0.91±0.04 0.91±0.04 APD距离/mm 3.24±2.93 2.18±0.91 2.86±2.33 2.05±0.69 2.69±2.47 1.73±0.52 GC率/% 94.29±7.5 95.96±6.1 94.16±8.3 95.42±7.3 96.17±6.2 97.81±4.8 ??注:“#”表示未加先验信息, “ & ”表示加入先验信息.

表 3 不同训练次数的结果对比表 Table 3 Comparison for different numbers of training

表 4(Table 4)

表 4 与其他方法的结果对比表Table 4 Comparison with others' works 评价指标 本文方法 Avendi[7] Queirós[6] Ngo[5] Hu[14] Liu[15] DICE指数 0.91±0.04 0.94±0.02 0.90±0.05 0.90±0.03 0.89±0.03 0.88±0.03 APD距离/mm 1.73±0.52 1.81±0.44 1.76±0.45 2.08±0.40 2.24±0.40 2.36±0.39 GC率/% 97.81±4.8 96.69±5.7 92.70±9.5 97.91±6.2 91.06±9.4 91.17±8.5 ??注:Ngo等得到的DICE指数和APD距离是在表现为好的轮廓的病例上得到的[5].

表 4 与其他方法的结果对比表 Table 4 Comparison with others' works

3 结语本文提出通过迁移学习的方式将FCN应用到左心室内膜的分割, 取得了良好的结果, 说明了该方法的可行性, 同样验证了加入一定的先验信息会优化分割结果, 而且不会影响分割效率.但该方法对于心室顶端切片的左心室内膜边缘的精细分割仍然不是特别理想, 这是因为在心室顶端切片处的左心室目标与周围背景结构的像素强度分布重叠, 导致边缘极为模糊, 还需要从算法方面进一步改进.
参考文献

[1]	Roth G A, Johnson C, Abajobir A, et al. Global, regional, and national burden of cardiovascular diseases for 10 causes, 1990 to 2015[J].Journal of the American College of Cardiology, 2017, 70(1): 1–25.DOI:10.1016/j.jacc.2017.04.052
[2]	陈伟伟, 高润霖, 刘力生, 等. 中国心血管病报告2016[J].中国循环杂志, 2017, 32(6): 521–530. ( Chen Wei-wei, Gao Run-lin, Liu Li-sheng, et al. Summary of report on cardiovascular diseases in China, 2016[J].Chinese Circulation Journal, 2017, 32(6): 521–530.DOI:10.3969/j.issn.1000-3614.2017.06.001)
[3]	Nambakhsh C M S, Yuan J, Punithakumar K, et al. Left ventricle segmentation in MRI via convex relaxed distribution matching[J].Medical Image Analysis, 2013, 17(8): 1010–1024.DOI:10.1016/j.media.2013.05.002
[4]	Petitjean C, Dacher J N. A review of segmentation methods in short axis cardiac MR images[J].Medical Image Analysis, 2011, 15(2): 169–184.DOI:10.1016/j.media.2010.12.004
[5]	Ngo T A, Carneiro G.Left ventricle segmentation from cardiac MRI combining level set methods with deep belief networks[C]// 2013 20th IEEE International Conference on Image Processing(ICIP).Piscataway: IEEE Signal Processing Society, 2013: 695-699.
[6]	Queirós S, Barbosa D, Heyde B, et al. Fast automatic myocardial segmentation in 4D cine CMR datasets[J].Medical Image Analysis, 2014, 18(7): 1115–1131.DOI:10.1016/j.media.2014.06.001
[7]	Avendi M R, Kheradvar A, Jafarkhani H. A combined deep-learning and deformable-model approach to fully automatic segmentation of the left ventricle in cardiac MRI[J].Medical Image Analysis, 2016, 20(4): 108–119.
[8]	Shelhamer E, Long J, Darrell T. Fully convolutional networks for semantic segmentation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(4): 640–651.DOI:10.1109/TPAMI.2016.2572683
[9]	Shin H C, Roth H R, Gao M, et al. Deep convolutional neural networks for computer-aided detection:CNN architectures, dataset characteristics and transfer learning[J].IEEE Transactions on Medical Imaging, 2016, 35(5): 1285–1298.DOI:10.1109/TMI.2016.2528162
[10]	Kingma D P, Ba J.Adam: a method for stochastic optimization[C]// International Conference on Learning Representations.Amherst: UMASS, 2015: 1-13.
[11]	Srivastava N, Hinton G E, Krizhevsky A, et al. Dropout:a simple way to prevent neural networks from overfitting[J].Journal of Machine Learning Research, 2014, 15(1): 1929–1958.
[12]	Dice L R. Measures of the amount of ecologic association between species[J].Ecology, 1945, 26(3): 297–302.DOI:10.2307/1932409
[13]	Connelly K A, Detsky J S, Graham J J, et al. Multicontrast late gadolinium enhancement imaging enables viability and wall motion assessment in a single acquisition with reduced scan times[J].Journal of Magnetic Resonance Imaging, 2009, 30(4): 771–777.DOI:10.1002/jmri.v30:4
[14]	Hu H, Liu H, Gao Z, et al. Hybrid segmentation of left ventricle in cardiac MRI using Gaussian-mixture model and region restricted dynamic programming[J].Magnetic Resonance Imaging, 2013, 31(4): 575–584.DOI:10.1016/j.mri.2012.10.004
[15]	Liu H, Hu H, Xu X, et al. Automatic left ventricle segmentation in cardiac MRI using topological stable-state thresholding and region restricted dynamic programming[J].Academic Radiology, 2012, 19(6): 723–731.DOI:10.1016/j.acra.2012.02.011