陈星池, 赵海, 毕远国, 于洋
东北大学 计算机科学与工程学院, 辽宁 沈阳 110169
收稿日期：2016-02-16
基金项目：辽宁省科学技术计划项目(2015401039);沈阳市科技专项(F15-199-1-03)。
作者简介：陈星池(1987-), 男, 辽宁绥中人, 东北大学博士研究生;
赵海(1959-), 男, 辽宁沈阳人, 东北大学教授, 博士生导师。

摘要：针对智能手机摄像头进行呼吸率估计的问题, 提出一种基于融合脉搏波的呼吸率估计(fusion respiratory rate estimation, FRRE)方法.通过融合手机闪光灯可见光中的红光和绿光, 得到融合脉搏波, 并提取手背的光电容积脉搏波信号.采用绿光脉搏波进行瞬时心率的计算, 使用相干解调去除融合脉搏波中心率成分, 提取出呼吸信号.而后对呼吸信号进行快速傅里叶变换, 并求功率谱密度, 从而得到呼吸率.实验结果表明, 本文提出的FRRE方法较传统VFCDM方法具有更高的准确性和实时性, 可以进行有效的呼吸率估计.
关键词：智能手机摄像头可见光光电容积脉搏波呼吸率估计相干解调
Respiratory Rate Estimation from Smartphone-Camera-Acquired Pulse Wave Signal Using Visible Light
CHEN Xing-chi, ZHAO Hai, BI Yuan-guo, YU Yang
School of Computer Science & Engineering, Northeastern University, Shenyang 110169, China
Corresponding author: CHEN Xing-chi, E-mail: chenxingchi999@126.com
Abstract: To solve the problem of estimating respiratory rate in smartphone platform, a novel fusion respiratory rate estimation (FRRE) method was proposed to calculate respiratory rate via smartphone camera. By combining the red light with the green light from the visible light of flashlight, a fusion pulse wave was computed and then the photo plethysmo graphy signal was extracted from human opisthenar. The instantaneous heart rate was calculated by green pulse wave. Using coherent demodulation to eliminate the heart rate signal from the fusion pulse wave, the respiration signal could be obtained. The respiratory signal was addressed by fast Fourier transform and power spectral density. Then, the respiratory rate was gained. Experimental results show that FRRE has a better accuracy and real-time than traditional VFCDM, FRRE provides an effective respiratory rate estimation method.
Key Words: smartphone cameravisible lightphoto plethysmo graphyrespiratory rate estimationcoherent demodulation
呼吸率是一种重要的人体生命体征.它不仅是睡眠呼吸暂停综合征^[1]、婴儿猝死综合征和慢性阻塞性肺疾病等临床疾病的重要描述性指标, 同时也是运动负荷和步态识别^[2]等运动健康状态的特征性体征参数.随着人们对运动健康的关注逐渐升温, 在非医疗条件下, 快速准确获得呼吸率信息对运动健康监测具有重要意义.
智能手机作为一种新的移动计算平台, 可以提供便捷生理参数监测功能^[3-4].近年来, 在手机平台上, 一些学者已使用手机内置加速度传感器^[5]、普通耳机和手机后置摄像头传感器^[6], 实现呼吸率的估计.传统手机摄像头光电容积脉搏波(photo plethysmo graphy, PPG)的提取是将手机摄像头作为接收器, 将闪光灯作为入射光源, 提取可见光中绿光强度, 作为指尖PPG信号^[7].通过连续小波变换、自回归模型和变频复解调方法(variable frequency complex demodulation method, VFCDM)^[8-9]等方法, 可以从PPG信号中提取出呼吸成分, 并计算呼吸率.
因此, 本文提出一种基于融合脉搏波的呼吸率估计(fusion respiratory rate estimation，FRRE)方法.该方法采集手背位置的绿光和红光形成融合脉搏波, 以提高PPG信号质量.采用绿光脉搏波在时域内进行瞬时心率的计算, 降低瞬时心率估计计算量.采用相干解调剔除融合脉搏波中心率成分, 提取呼吸信号.使用快速傅里叶变换(fast Fourier transformation, FFT)和功率谱密度(power spectral density, PSD), 进行呼吸率的计算.
1 手背融合脉搏波提取手背相比手指而言, 手背浅筋膜内的浅层动脉分布更广, 拥有第1动脉、第2动脉、第3动脉、第4动脉和其他浅层小支动脉.因此, 手背浅层动脉灌注情况更能准确表达心脏在收缩和舒张过程中血液的脉动特性.在手机摄像头捕获的手背动脉灌注图像中分离出红光和绿光.使用每一帧图像的绿光和红光亮度均值对血液灌注进行描述, 形成两条初始脉搏波.
手背融合脉搏波信号为P(x_m), 则融合脉搏波公式为

(1)

(2)

式中, μ为单帧图像中绿光亮度与红光亮度差值, 其值可正可负; m为采样时间内视频帧数; G(x₁), G(x₂), …，G(x_m)分别为第1到第m帧图像的绿光光强值; 同理, R(x₁), R(x₂), …，R(x_m)分别为第1到第n帧图像的红光光强值.
2 呼吸率估计算法原理FRRE原理:若将脉搏波信号视为已调信号, 心率信号和呼吸率信号分别为基带信号和载波信号.图 1为FRRE算法流程分析图.
图 1(Fig. 1)

图 1 FRRE算法流程分析图Fig.1 Flow chart of FRRE algorithm

2.1 瞬时心率计算在手机平台中, 很难采用频率方法计算每个心动周期的心率.因此, 本文采用时域方法计算瞬时心率.
一方面, 由于人体正常心率不会超过220次/min, 因此每搏间期不会少于272 ms.另一方面, 在同一时间窗口内, 脉搏波主峰会大于等于窗口内脉搏波最大峰值的0.4倍.因此, 脉搏波主峰判断公式如下:

(3)

式中, x_max为窗口内最大峰值对应的横坐标.
通过以上原理, 可以确定采样时间内所有主峰位置, 从而瞬时心率计算公式为

(4)

式中, x_m+1－x_m为RR间期.
2.2 相干解调提取呼吸信号人体的脉搏波信号主要由心率信号、呼吸信号及干扰信号组成, 其中脉搏波信号为已解调信号，记作X(t)；心率信号为载波信号，记作Y(t)；呼吸信号为基带信号，记作Z(t)；干扰信号记作N(t).根据幅度调制原理得X(t)如下:

(5)

通过正余弦函数可以对心率信号Y(t)进行如下表达:

(6)

式中:f=R_i为心率瞬时估计值; S₁, S₂为系数参数.
将式(6) 代入式(5) 中, 并在式(5) 左右两边同时乘以响应函数C(t)=cos2πft.经过截止频率小于f的低通滤波器后, 合并及整理公式得到呼吸波信号公式如下:

(7)

式中, Z(n)为脉搏波中提取的呼吸信号.
2.3 呼吸率估计通过对呼吸信号Z(n)进行FFT, 并计算功率谱密度, 采用一阶向后差分, 求得功率谱密度最大值, 也就是本文提取的呼吸率.
对于有限长度的离散信号Z(n), FFT的计算公式如下:

(8)

式中：旋转因子ω_N=e^(－2πi)/N; k=0, 1, …, N.
从而, 呼吸信号的功率谱密度函数为

(9)

在功率谱密度S(k)的波形中, 幅值最大的点就是本文计算的呼吸率.对S(k)进行一阶均值向后差分, 得到功率谱密度的极大值, 记为S(k_e), e=1, …, N.而极大值中的最大值, 就是本文所求呼吸率, 则呼吸率R为

(10)

3 实验与结果分析将本文的呼吸率估计方法以APP的形式, 在谷歌Nexus5手机上完整实现.图 2为呼吸率估计方法的实际界面.其中, 位置1为在闪光灯照射下的手背实时反射图像; 位置2为融合脉搏波实时波形; 位置3为呼吸率计算结果.
图 2(Fig. 2)

图 2 呼吸率估计方法界面Fig.2 Interface of respiratory rate estimation method

为验证FRRE算法的准确性和实时性, 设计实验如下:邀请20位大学生作为测试者.其中, 女性8人, 男性12人，年龄范围为25~55岁.根据文献[10]中的实验方法, 测试者按照不同设定频率的蜂鸣声音进行节律呼吸, 蜂鸣器频率分别设定为0.2, 0.4和0.6 Hz.将蜂鸣器频率下的呼吸率作为测试者呼吸的标准呼吸频率, 即基准参考呼吸率.
为了评价FRRE算法性能, 将其与传统VFCDM方法和只使用传统绿光的FRREG方法进行对比实验.在每种频率下, 每个测试者进行3组实验, 每组实验间隔30 s.其中, 每组实验的详细方法如表 1所示.
表 1(Table 1)

表 1 3组实验详细方法Table 1 Detailed methods of 3 groups experiment 序号 光源颜色 心率计算 算法 位置 1 绿光 频域 VFCDM 指尖 2 绿光 时域 FRREG 手背 3 融合光 时域 FRRE 手背

表 1 3组实验详细方法 Table 1 Detailed methods of 3 groups experiment

根据以上实验方法, 通过对比3种算法的准确性和实时性对FRRE算法的性能进行评价.
3.1 准确性实验与分析本文采用误差率作为准确性的定量描述指标.以基准参考呼吸率为标准, 计算3种实验方法的呼吸率与基准参考呼吸率之间的误差率, 误差率公式如下:

(11)

式中:δ表示误差率, 误差率越低, 说明准确性越高; R_{r, line}为基准参考呼吸率.当蜂鸣频率为0.2 Hz时, R_{r, line}=0.2×60=12;当蜂鸣频率为0.4 Hz时, R_{r, line}=0.4×60=24;当蜂鸣频率为0.6 Hz时, R_r，line=0.6×60=36.
根据设计实验的内容, 每种设定呼吸频率下进行3组不同方法的实验.为了便于分析, 将同种方法的不同频率呼吸率误差求均值, 从而得到每个人3种方法的误差率对比, 如图 3所示.
图 3(Fig. 3)

图 3 3种方法误差率对比Fig.3 Comparison of error rate for 3 methods

以测试者1为例, 图 3从左到右分别表示VFCDM方法误差率、传统绿光的FRREG方法误差率、融合光源的FRRE方法误差率.根据误差率计算结果可知, 在20人次的60个样本中, VFCDM的平均误差率为24.83%, FRREG的平均误差率为20.73%, FRRE平均误差率为13.67%.本文提出的呼吸率估计FRRE方法, 比传统VFCDM方法降低了11.16%, 比FRREG方法误差率降低了7.06%.但是, VFCDM, FRREG和FRRE的误差率标准差分别为1.64, 1.92和1.70.VFCDM的标准差最低, FRREG的标准差最大, 说明VFCDM的数据最稳定, FRREG稳定性最差.可以说, FRRE牺牲了一定数据的稳定性, 提高了呼吸率估计的准确率.
3.2 实时性实验与分析对于手机平台生理参数计算来说, 实时性是一个最重要的性能指标.在本次实验过程中, 每个人在3种频率下分别进行3种方法的测试.同一种方法会产生3×20=60次的计算.为了统一测试条件, 本文采用先采集数据, 再计算呼吸率的方式进行实验.通过在每次计算开始与结束的时刻插入系统时间的方法，实现实时性统计，从而避免由于呼吸率估计原理不同导致实时性计算不一致性的问题.
实时性公式如下:

(12)

式中:R为计算次数; t_end为计算结束时刻的系统时间; t_begin为计算开始时刻的系统时间.3种算法的计算时间对比分析如图 4所示.
图 4(Fig. 4)

图 4 3种方法计算时间对比Fig.4 Comparison of computing time for 3 methods

在图 4中, VFCDM，FRRE，FREG 3种方法的计算时间平均值分别为430.94, 310.01和292.54 ms.从图 4中可以看出, VFCDM方法呼吸率的计算时间整体要比FRRE和FRREG长, 说明VFCDM的实时性最差.但是, FRRE的计算时间比FRREG要多, 这是因为FRRE中融合光的信息量比FRREG中单纯绿光的信息量多.综上所述, 本文提出的FRRE方法较传统VFCDM实时性提高28.01%, 但是与FRREG相比, 实时性相差5.97%.
4 结论在手机平台上, 本文提出的方法通过绿光脉搏波进行瞬时心率计算, 通过融合脉搏波进行呼吸信号的提取.对提取的呼吸信号进行FFT和PSD计算, 得到人体呼吸率.实验结果表明, 本文提出的FRRE方法, 与传统的VFCDM方法相比, 准确性提高了11.16%, 实时性提高了28.01%.与使用传统绿光的FRREG算法相比, 准确性提高7.06%, 且实时性只差5.97%.FRRE方法得到了更高准确性和实时性.从而, FRRE方法可以实现运动健康条件下, 仅使用手机内置传感器便捷计算呼吸率的功能.
本文提出的融合脉搏波思想和呼吸率估计方法, 为手机平台摄像头的人体生理参数估计提供了一种新思路.
参考文献

[1]	Ucar M K, Bozkurt M R, Polat K, et al.Investigation of effects of time domain features of the photo plethysmography (PPG) signal on sleep respiratory arrests[C]//Proceedings of Signal Processing and Communications Applications Conference.Malatya:IEEE, 2015:124-127.
[2]	Sejdi? E, Millecamps A, Teoli J, et al. Assessing interactions among multiple physiological systems during walking outside a laboratory:an Android based gait monitor[J].Computer Methods Programs in Biomedicine, 2015, 122(3): 450–461.DOI:10.1016/j.cmpb.2015.08.012
[3]	Peng R C, Zhou X L, Lin W H, et al. Extraction of heart rate variability from smartphone photoplethysmograms[J].Computational and Mathematical Methods in Medicine, 2015, 2015(1): 1–11.
[4]	杨增印, 马建峰, 孙聪, 等. 一种利用手指图像测量人体心率的方法[J].西安电子科技大学学报, 2014, 41(5): 91–97. ( Yang Zeng-yin, Ma Jian-feng, Sun Cong, et al. Measurement of human heart rate using finger pictures[J].Journal of Xidian University, 2014, 41(5): 91–97.)
[5]	Estrada L, Torres A, Sarlabous L, et al.Respiratory signal derived from the smartphone built-in accelerometer during a respiratory load protocol[C]//Proceedings of 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society.Milan:IEEE, 2015:6768-6771.
[6]	Garde A, Karlen W, Ansermino J M, et al. Estimating respiratory and heart rates from the correntropy spectral density of the photoplethysmogram[J].Plos One, 2014, 9(1): e86427.DOI:10.1371/journal.pone.0086427
[7]	Matsumura K, Rolfe P, Lee J, et al. iPhone4s photo plethysmo-graphy:which light color yields the most accurate heart rate and normalized pulse volume using the iPhysio meter application in the presence of motion artifact?[J].Plos One, 2014, 9(3): e91205.DOI:10.1371/journal.pone.0091205
[8]	Lázaro J, Nam Y, Eduardo G, et al. Respiratory rate derived from smart phone-camera-acquired pulse photo plethysmo graphic signals[J].Physiological Measurement, 2015, 36(11): 2317–2333.DOI:10.1088/0967-3334/36/11/2317
[9]	Nam Y Y, Lee J, Chon K H. Respiratory rate estimation from the built-in cameras of smart phones and tablets[J].Annals of Biomedical Engineering, 2014, 42(4): 885–898.DOI:10.1007/s10439-013-0944-x