徐礼胜, 张书琪, 牛潇, 徐阳
东北大学 中荷生物医学与信息工程学院, 辽宁 沈阳 110169
收稿日期：2017-08-02
基金项目：国家自然科学基金资助项目(61773110, 61374015, 61701099);中央高校基本科研业务费专项资金资助项目(N161904002)。
作者简介：徐礼胜(1975-)，男，安徽安庆人, 东北大学教授，博士生导师。

摘要：提出了一种基于全卷积网络(fully convolutional networks, FCN)的左心室射血分数自动估测的方法.利用全卷积网络对心脏磁共振图像中的左心室进行内轮廓分割, 计算心脏左心室在一个心动周期中各时间点的容积, 提取左心室舒张末期与收缩末期的容积, 最后推导出左心室的射血分数.使用700组图片对全卷积网络进行训练以及440组图片进行测试, 并将最后计算结果与美国国立卫生研究院和儿童国家医疗中心提供的射血分数(ejection fraction, EF)金标准进行了对比, 计算准确率为89.8%, 结果处在合理的误差范围内.
关键词：全卷积网络射血分数磁共振图像左心室分割
Automatic Detection of Left Ventricular Ejection Fraction Based on Fully Convolutional Networks
XU Li-sheng, ZHANG Shu-qi, NIU Xiao, XU Yang
School of Sino-Dutch Biomedical and Information Engineering, Northeastern University, Shenyang 110169, China
Corresponding author: XU Li-sheng, professor, E-mail: xuls@bmie.neu.edu.cn
Abstract: An automatic estimation method of left ventricular ejection fraction based on fully convolutional networks(FCN)is proposed. The left ventricle in magnetic resonance images(MRI) of heart is segmented using FCN. Furthermore, the volume of left ventricle can be calculated at each phase in a heart beat cycle. Finally, the volume of end-systolic and end-diastolic are extracted respectively to deduce the left ventricular ejection fraction. 700 sets of images are used for training the networks and 400 sets for testing. The final results agree well with the ejection fraction(EF)gold standard provided by the American National Institutes of Health and Children′s National Medical Center. The accuracy of the proposed method achieves 89.8%, which is within an acceptable range.
Key words: fully convolutional networks(FCN)ejection fraction(EF)magnetic resonance images(MRI)left ventricular segmentation
当前, 我国心血管疾病发病率不断攀升, 发病年龄也呈年轻化的趋势, 每年有几百万人因心血管疾病而失去生命.据调查, 截止2015年, 我国共有2.9亿人患有不同程度的心血管疾病, 平均每十个人中就有超过两个人患有不同程度的心血管疾病^[1].因此, 心血管疾病的早期诊断显得尤为重要.心脏的射血分数(ejection fraction, EF)是目前临床上最常用的心脏功能指标, 对心血管疾病的早期诊断具有重要意义.
心脏射血分数指的是心室输出量与心室舒张末期容积之比, 人体安静时的射血分数约为55%~65%.射血分数与心肌的收缩能力有关, 心肌收缩能力越强, 则每搏输出量越多, 射血分数也越大.当射血分数低于50%时, 临床则会认为心脏功能已受损, 需采取治疗措施^[2].
磁共振成像(magnetic resonance imaging, MRI)技术因具有无创检测组织和器官、软组织分辨率高、图像质量受目标运动影响小等特性, 被认为是评估心脏功能和检测心脏结构异常的金标准.射血分数的可信度某种程度上需要以准确分割左心室内轮廓为前提.如何高效精确地提取MRI左心室内轮廓一直是研究人员的主要研究方向.一直以来, 由于心脏磁共振图像数据量较大, 传统手工提取左心室内膜的方法效率低且工作量大, 左心室的自动分割是心脏磁共振图像分析领域的研究热点之一^[3-4].
MRI左心室内外膜分割的常用方法大致可以分为4种类型:基于阈值的分割算法、基于区域划分的分割算法、基于边缘检测的分割算法和结合特定理论工具^[5-8]的分割算法.目前, 前3种自动分割左心室的方法主要包括为阈值法、区域生长法、像素分类法^[9]、可形变模型^[10]、主动外观模型(active appearance model, AAM)/主动形状模型(active shape models, ASM)^[11]等方法.其中, 基于阈值法、区域生长法、像素分类、基于图像和可变形模板的方法具有较低的鲁棒性和准确性, 需要大量的用户交互.另外, 基于模型的方法(如AAM / ASM和图谱模型)虽然可以减少用户的交互, 但需要一个综合大型的训练集来建立一个通用的模型.然而, 建立一个足以涵盖左心室所有可能形状和动力学的提取模型是非常困难的.结合特定理论工具的分割算法主要包括基于深度学习、信息熵等一系列左心室分割算法.
基于深度学习的模型和理论, 本文设计了一种基于全卷积网络(fully convolutional networks, FCN)的左心室射血分数自动检测方法.首先, 对心脏磁共振图像对应的左心室内轮廓进行分割, 将所有切片的副体积进行结合而计算求得左心室在心动周期各个时间点的体积, 选取左心室收缩末期与舒张末期的体积为有效体积, 最终通过公式推导得出射血分数, 实现对心脏功能的判定.在公共数据上的实验效果表明了本文方法的准确性.本文使用了迁移学习的知识, 有效地提升了FCN模型的检测性能和准确率, 同时, 本文方法直接计算得到心脏左心室的射血分数的模型可以提高医生的诊断效率, 具有较高的现实意义.
1 射血分数自动计算1.1 FCN模型近年来, 深度学习在计算机视觉的许多应用如人脸识别^[11]、图像分类^[12]、物体检测等方面取得巨大成功, 以卷积神经网络(convolutional neural networks, CNN)为代表的深度学习方法在ImageNet大规模物体检测和识别竞赛中取得了较其他方法更好的结果, 并逐渐成为这一领域的主流方法.但是, 人们逐渐发现CNN是基于图像级的分割方法, 适合处理图像级的分类任务.而对于像素级的图像分割效果却并不好, 于是人们提出了CNN的改进模型FCN^[13].FCN主要的改变在于丢弃了原先CNN中的全连接层, 并在最后加入可以反卷积的卷积层, 使得FCN最终输出的分割图片与输入图片大小相同.此外, FCN计算复杂度更低, 从而比传统网络更加灵活.
本文采用FCN方法估测左心室射血分数的方法主要由两大模块构成:第一个模块主要对FCN进行模型训练, 使其能够对心脏磁共振图像的左心室内轮廓进行分割; 第二个模块是将训练生成的FCN模型对数据集的训练对象和测试对象进行左心室容积的计算, 求出心脏收缩末期和舒张末期的容积, 并推导出射血分数.
1.2 左心室内膜分割首先使用Sunnybrook数据集对搭建的FCN模型进行训练完成左心室内轮廓的分割任务.Sunnybrook数据集由加拿大多伦多Sunny Health Sciences Centre提供, 其含有45名研究对象DICOM格式的心脏磁共振图像, 这里只使用了Sunnybrook心脏磁共振图像中的短轴图像.将大小为256×256的DICOM格式的磁共振图像直接转化为可用于Caffe训练的LMDB格式文件.
图 1(Fig. 1)

图 1 Sunnybrook数据集MRI短轴图像Fig.1 MRI short axis images of the Sunnybrook dataset

对于模型的选择, 本文选择了Caffe框架下的FCN模型, 图 2为FCN模型的框架结构, 表 1详细介绍了图中各层的具体参数.关于FCN模型的参数选择, 对卷积层的卷积核大小, 最大池化层卷积核大小, 滑动步长等参数进行了多次尝试和修改.最终在初步测试准确率结果中进行选择, 找到准确率最高, 损失(loss)最低的一组参数模型.最终选择表 1中所设定的参数模型, 对数据集进行训练和测试.
图 2(Fig. 2)

图 2 全卷积网络定义过程Fig.2 Definition process of fully convolutional network

表 1(Table 1)

表 1 全卷积网络各层参数Table 1 Parameters of fully convolutional network layers 层数 卷积核大小 窗口滑动步长 卷积层1 5×5 2 池化层1 2×2 2 卷积层2 5×5 2 池化层2 2×2 2 卷积层3 3×3 1 卷积层4 3×3 1

表 1 全卷积网络各层参数 Table 1 Parameters of fully convolutional network layers

对卷积层4之后的输出结果进行Dropout处理, 以防止训练的神经网络出现过拟合现象.然后完成采样分类和反卷积的过程, 反卷积的作用是将采样分类结果变为与输入图片尺寸一致的分类图片输出.
最后调用Caffe SGDsolver进行网络输出和损失以及梯度的计算.随机梯度下降算法SGDsolver主要功能是对网络模型进行权重W计算的时候结合梯度ΔL(W)和前一次迭代所要更新的权重V_t.更新权重时的系数称为学习率α(learning rate), μ是上一次迭代权重在本次迭代中权重更新的系数.SGDsolver执行过程由式(1)和式(2)表示:

(1)

(2)

其中:W_t+1是在t+1次迭代之后的网络权重; V_t+1则是第t+1次迭代中网络权重所要更新的更新量.W_t和V_t分别是第t次迭代更新后的网络权重和网络权重更新量.
在定义并生成FCN模型之后, 运用Sunnybrook数据集对FCN进行训练和检测.在训练阶段, 标定左心室内轮廓及其内部的闭合区域的像素点为正样本(图 3), 其他像素点均为背景类即负样本, 在将图像进行卷积、池化和上采样之后的输出结果进行softmax loss处理:对每个像素计算softmax loss, 也就是对每一点像素进行正样本和负样本的分类.其准确率ACC通常被定义为
图 3(Fig. 3)

图 3 测试集左心室内轮廓分割结果Fig.3 Segmentation results of the interior contour for the left heart chamber in the test set

(3)

其中:TP(true positive), 即正确预测出的正样本个数; FP(false positive), 即错误预测出的正样本个数; TN(true negative), 即正确预测出的负样本个数; FN(false negative), 即错误预测出的负样本个数.
文中正样本指的是左心室内轮廓及其内部的闭合区域的像素点, 负样本则是背景类像素点.在电脑CPU训练和测试完成之后, 查看日志最终的准确率ACC为99.64%, 损失值为0.009 4.
1.3 左心室容积估算首先, 运用迁移学习的知识, 先利用Sunnybrook数据集对构造的网络进行初训练.这里选用迭代了15 000次的Caffe model模型, 在完成初训练之后, 从有1 140个对象的数据库中随机选取700个作为训练对象和440个作为测试对象.
在一个心动周期中, 每一个对象的每一个切片位置都被抽样了30次, 30次分别对应30帧.通过模型可以计算左心室在一个心动周期中30个时间点的容积.
假设每两个相邻的左心室切片之间的体积都可以用斜圆锥体^[14-15]来近似计算得到, 其公式为

(4)

其中:S_i和S_i+1分别是左心室第i切层和第i+1切层的左心室内腔面积; L_i和L_i+1分别是第i层和第i+1层切片在Z轴上的坐标.

(5)

其中:V_T为左心室的总容积; N为最大层数.左心室模型示意图如图 4所示.
图 4(Fig. 4)

图 4 左心室容积计算示意图Fig.4 Schematic diagram of left ventricular volume calculation

使用电脑CPU训练和测试, 调用FCN模型对训练和测试对象进行左心室分割, 求出面积, 按公式(4)进行左心室单切片体积的计算, 之后按图 4模型进行体积的求和, 最终求出左心室的容积.
1.4 射血分数计算在求得左心室容积之后, 对得到的数据进行进一步处理, 确定左心室收缩末期和舒张末期的容积.其中当左心室处于收缩末期之时, 其体积大小对应于整个心脏跳动周期的最小值, 当左心室处于舒张末期之时, 其体积大小对应于整个心动周期的最大值.因此, 对所得到的数据集的左心室体积进行筛选, 对于每个测试对象选取其左心室体积的最大值和最小值, 也就是舒张末期容积和收缩末期容积.使用公式(6)推导计算求出射血分数:

(6)

其中:V_d表示左心室舒张末期体积; V_s表示左心室收缩末期体积.
2 结果与分析将测量出的射血分数数据和对应的由美国国立卫生研究院和儿童国家医疗中心提供的射血分数金标准数据进行了散点图统计分析和线性拟合.如图 5所示, 横坐标表示射血分数的金标准结果即真实值, 纵坐标表示射血分数的测量值.将得到的散点图进行线性拟合并计算其R².样本相关系数R是衡量线性相关程度的重要指标, R值接近于1, 说明线性相关程度越高.本次实验的线性拟合结果应该是y=x, R²的理想结果也应该是1.由图 5可以看到线性拟合的结果为y=0.924 1x+0.059 3, R²=0.732 6.可以看出拟合结果斜率为0.924 1, R²为0.732 6, 线性相关程度高, 说明算法得到的左心室射血分数较为准确.
图 5(Fig. 5)

图 5 射血分数散点图及线性拟合Fig.5 Scatter plot and linear fit of ejection fraction

同时, 计算得到的检测射血分数的平均绝对误差(mean absolute error, MAE)为0.172 4, 均方根误差(root-mean-square error, RMSE)为0.213 0, 标准差(standard deviation, SD)为0.108 0.同时为了对数据集进行真实性分析, 对美国国立卫生研究院和儿童国家医疗中心提供的射血分数真实数据进行了统计, 所给的射血分数中值为0.602 7, 属于正常范围之内.
3 结语本文提供了一种基于FCN自动计算左心室射血分数的方法, 极大地减少了医生的工作负担, 提高了医生的工作效率.长期并更加有效地利用这一方法, 对提高医生诊断早期心脏病的能力具有重要的作用.对于患者而言, 这一技术可以使患者在心脏病诊断和治疗的过程中得到更快更好的治疗.对于整个医疗界和社会而言, 这一技术改变了传统的心脏病诊断方式, 对于整个医疗诊断也有很好的启示作用.
参考文献

[1]	陈伟伟, 高润霖, 刘力生, 等. 中国心血管病报告2016[J].中国循环杂志, 2017, 32(6): 521–530. ( Chen Wei-wei, Gao Run-lin, Liu Li-sheng, et al. Cardiovascular diseases in China 2016[J].Chinese Journal of Recurrence, 2017, 32(6): 521–530.DOI:10.3969/j.issn.1000-3614.2017.06.001)
[2]	Buckert D, Kelle S, Buss S, et al. Left ventricular ejection fraction and presence of myocardial necrosis assessed by cardiac magnetic resonance imaging correctly risk stratify patients with stable coronary artery disease:a multi-center all-comers trial[J].Clinical Research in Cardiology, 2016, 106(3): 1–11.
[3]	Pedrosa J, Heyde B, Heeren L, et al.Automatic short axis orientation of the left ventricle in 3D ultrasound recordings[C]//SPIE Medical Imaging.San Diego, 2016: 97900E.
[4]	Khan A, Iskandar D N F A, Ujir H, et al.Automatic segmentation of CMRIs for LV contour detection[C]//9th International Conference on Robotic, Vision, Signal Processing and Power Applications.Singapore, 2017: 313-321.
[5]	Guo Z Z, Tan W, Xu L, et al.A level set segmentation method of the right ventricle in cardiac MRI images based on motion intensity[C]//Proceedings of the 17th China-Japan-Korea Joint Symposium on Medical Informatics.Seoul, 2016: 62-65.
[6]	Luo Y, Yang B, Xu L, et al.Segmentation of the left ventricle in cardiac MRI using an ELM model[C]//Proceedings of ELM-2015.Berlin, 2016: 147-159.
[7]	Luo Y, Yang B, Xu L, et al. Segmentation of the left ventricle in cardiac MRI using a hierarchical extreme learning machine model[J].International Journal of Machine Learning & Cybernetics, 2017, 9: 1–11.
[8]	Cocosco C, Niessen W T, Vonken E, et al. Automatic image-driven segmentation of the ventricles in cardiac cine MRI[J].Journal of Magnetic Resonance Imaging, 2008, 28(2): 366–374.DOI:10.1002/jmri.v28:2
[9]	Billet F, Sermesant M, Delingette H, et al.Cardiac motion recovery and boundary conditions estimation by coupling an electromechanical model and cine-MRI data[C]//International Conference of on Functional Imaging and Modeling of the Heart.Nice, 2009: 376-385.
[10]	Zhang H, Wahle A, Johnson R K, et al. 4-D Cardiac MR image analysis:left and right ventricular morphology and function[J].IEEE Transactions on Medical Imaging, 2010, 29(2): 350–364.DOI:10.1109/TMI.2009.2030799
[11]	Xiong C, Zhao X, Tang D, et al.Conditional convolutional neural network for modality-aware face recognition[C]//IEEE International Conference on Computer Vision.New York, 2016: 3667-3675.
[12]	Shelhamer E, Long J, Darrell T, et al. Fully convolutional networks for semantic segmentation[J].IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017, 39(4): 640–651.
[13]	Petitjean C, Dacher J N. A review of segmentation methods in short axis cardiac MR images[J].Medical Image Analysis, 2011, 15(2): 169–184.DOI:10.1016/j.media.2010.12.004
[14]	La G A, Claessen G, Vand B A, et al. Cardiac MRI:a new gold standard for ventricular volume quantification during high-intensity exercise[J].Circulation Cardiovascular Imaging, 2013, 6(2): 329–338.DOI:10.1161/CIRCIMAGING.112.980037
[15]	Avendi M R, Kheradvar A, Jafarkhani H, et al. A combined deep-learning and deformable-model approach to fully automatic segmentation of the left ventricle in cardiac MRI[J].Medical Image Analysis, 2016, 30: 108–119.DOI:10.1016/j.media.2016.01.005