东北大学 信息科学与工程学院, 辽宁 沈阳 110819
收稿日期：2020-01-06
基金项目：国家自然科学基金资助项目(61773108)。
作者简介：郑艳(1963-), 女, 辽宁沈阳人, 东北大学副教授。
摘要：针对单一声学特征和k-means算法在说话人聚类技术中的局限性, 为了更好地表达说话人的个性信息并提高说话人聚类的准确率, 将特征融合和AE-SOM神经网络应用于说话人聚类中, 提出一种改进的说话人聚类算法.该算法通过对语音信号特征分析, 将MFCC特征参数和LPCC特征参数相结合, 从而完善说话人的个性信息.并在k-means的基础上增加AE-SOM神经网络, 利用该网络实现输入特征的降维、说话人数的判定和聚类中心的选取, 从而弥补k-means算法的缺陷.仿真实验表明两种声学特征融合之后, 改进的聚类算法可有效地提高说话人聚类的准确率.
关键词：声学特征k-means说话人聚类特征融合AE-SOM神经网络
Speaker Clustering Algorithm Based on Feature Fusion
ZHENG Yan, JIANG Yuan-xiang
School of Information Science & Engineering, Northeastern University, Shenyang 110819, China
Corresponding author: JIANG Yuan-xiang, E-mail: 670222855@qq.com.
Abstract: Aiming at the limitation of single acoustic feature and k-means algorithm in speaker clustering technology, in order to better express the speaker's personality information and improve the accuracy of speaker clustering, feature fusion and AE-SOM neural network are applied to speaker clustering, and an improved speaker clustering algorithm is proposed. The algorithm combines MFCC feature parameters with LPCC feature parameters to improve the speaker's personality information. The AE-SOM neural network is added on the basis of k-means to reduce the dimension of input features, determine the number of speakers and select the cluster centers, so as to make up for the defects of k-means algorithm. Simulation results show that the improved clustering algorithm can effectively improve the accuracy of speaker clustering.
Key words: acoustic featurek-meansspeaker clusteringfeature fusionAE-SOMneural network
说话人聚类技术, 是指在没有任何先验知识的条件下, 从多段语音中提取声学特征, 将同一说话人的语音段聚成一类并加上区别性的标记[1].这一技术常与语音信号的端点检测技术[2]结合使用, 被广泛应用于司法鉴定、身份认证、声纹识别等[3].说话人聚类与语音识别类似, 都是对语音信号处理后做出判断, 不同点在于说话人聚类利用提取到的特征来识别不同的人, 而语音识别力求减少不同说话人之间同一语音的差距.
原始语音信号数据量大, 不确定因素多, 不能直接用作说话人的识别, 所以需要提取语音信号的特征参数.语音信号的特征参数多种多样, 大致可以分为两类: 一类是体现说话人生理结构的固有特征, 包括基因和共振峰等；另一类是反映语音信号的动态特性, 比如倒谱系数.
传统的说话人聚类主要利用MFCC这一声学特征和k-means聚类来完成.已有的研究表明, 当语音片段不够长时, 仅凭单一的特征所包含的信息量不足以完成说话人聚类任务[4].在语音识别中常采用多种特征组合的手段, 比如基频、短时能量、共振峰、MFCC、LPCC等[5-6].其中, MFCC是语音识别领域最常用的特征参数之一, 而LPCC是基于声道模型的重要特征参数, 这两种特征各阶参数分量有良好的独立性, 且在语音识别领域取得很好的性能.k-means算法是典型的基于样本之间相似度的算法, 用距离作为相似性指标, 通过比较数据之间的内在联系与相似性进行分类[7-9].k-means聚类算法需要提前给定k值, 因此无法预测说话人数目, 而且对初始聚类中心的选取依赖性极强, 易陷入局部最优, 使准确率降低.
本文既考虑声道模型特性, 又考虑人耳的听觉特性, 采取MFCC和LPCC两种特征参数组合的方式, 充分地表达说话人的个性信息.然后将自编码器和自组织神经网络引入到说话人聚类上.利用自编码器对融合特征进行表征学习, 提取深度特征, 实现特征的降维.利用自组织神经网络来弥补k-means聚类算法的缺陷, 实现了说话人人数的判定和初始聚类中心的选取.仿真实验表明, 将融合特征输入AE-SOM网络, 再利用k-means进行聚类, 可以有效地提高说话人聚类的准确率.
1 特征提取融合1.1 MFCC特征提取MFCC是语音信号处理中最常用的特征之一, 有很好的抗噪性能和识别性能.依据人耳的听觉特性, 对不同频率的声波, 人耳的敏感度不同.MFCC就是基于人耳听觉角度, 在Mel标度频域中提取出来的倒谱参数[10].用Mel滤波器组[11]来模拟人的非线性感知功能, 计算每个滤波器组输出的对数能量, 对其作离散余弦变换(discrete cosine transform, DCT), 从而得到MFCC系数[12-13].其提取流程如图 1所示.
图 1(Fig. 1)
 | 图 1 MFCC提取流程图Fig.1 Flow chart of MFCC extracting |
从物理意义上来看, 该过程将声音信号的频谱映射到基于人耳听觉的Mel频谱上, 然后对Mel频谱的包络进行提取.为了更好地表征语音信号的时序性, 反映语音信号的动态特性, 本文在聚类实验中将MFCC和它的一阶差分ΔMFCC组合为24维系数.
1.2 LPCC特征提取由于语音信号的时序性和关联性, 某一时刻的采样信号可以通过其他若干时刻的采样信号来预测和估计.线性预测分析以此为基本思想, 令线性预测值与实际采样值的均方差达到最小, 将取得的预测系数作为线性预测系数.LPCC特征参数以全极点模型为基础, 通过线性预测分析得到线性预测系数, 进一步作反傅里叶变换求得倒谱系数[14].其提取流程如图 2所示.
图 2(Fig. 2)
 | 图 2 LPCC提取流程图Fig.2 Flow chart of LPCC extracting |
LPCC特征参数计算量小, 可以充分对共振峰进行估计, 能够去除语音生成中的激励信息, 主要反映了声道响应特性.通常情况下, LPCC特征参数所反映的信息与选择的线性预测器阶数成正比, 在处理语音信号时, 线性预测器阶数一般为8~16[15].本文在聚类实验中将LPCC和它的一阶差分ΔLPCC组合为24维系数.
1.3 融合特征预处理融合特征的维度越高, 系统识别的精度越高.实际上, 特征参数的每一维分量对系统识别的贡献率都不相同, 而且低贡献率的分量会降低整个系统的识别精度.方差小的特征分量对识别系统的贡献率低, 为此首先对特征进行预处理.
将MFCC特征和LPCC特征进行融合, 将新的特征维度记作N.利用方差过滤法过滤掉方差较小的几列特征, 实现特征融合后的预处理.
记X=[x1, x2, …, xn]T, X∈Rn×N代表n个说话人的融合特征矩阵, 将所有说话人第k维特征参数分量均值记作μk, 第i个说话人的第k维特征参数记作xk(i), 则第k维特征参数的方差可以表示为
 | (1) |
2 基于AE-SOM-k-means的说话人聚类2.1 自编码器2.1.1 自编码器定义自编码器(autoencoder, AE)是一种利用反向传播算法使得输出值等于输入值的神经网络, 它先将输入压缩成潜在空间表征, 然后通过这种表征来重构输出[16].其结构分为编码器和解码器两部分, 如图 3所示.
图 3(Fig. 3)
 | 图 3 典型AE网络结构Fig.3 Typical network structure of AE |
给定输入特征X∈Φ和特征h∈Ψ, 自编码器的作用在于求解两个映射f, g使输入特征的重构误差达到最小, 如式(2)所示.
 | (2) |
自编码器属于无监督学习方式, 最简单的单层自编码器采用线性激活函数与主成分分析(principal components analysis, PCA)[17]性能一致, 但是多层的以非线性函数作为激活函数的自编码器具有更好的性能.
2.1.2 AE与PCA降维效果对比相比于常见的线性降维方法, 自编码器要灵活得多.在编码过程中, 自编码器既能表征线性变换, 也能表征非线性变换.这里通过计算两种聚类结果的轮廓系数(silhouette coefficient, SC)来进行比较.
假设M个样本一共被分为多个簇, 则第c个样本点的轮廓系数计算公式为
 | (3) |
将所有样本的轮廓系数求和取平均值作为聚类结果的轮廓系数, 公式为
 | (4) |
为了比较自编码器与PCA的降维效果, 实验中采用随机数生成10组样本, 一共10 000个样本数据, 每组样本属于一簇, 每个样本有50维特征, 分别用自编码器与PCA将样本特征降至2维, 数据点见图 4.
图 4(Fig. 4)
 | 图 4 不同方法降维结果对比Fig.4 Comparison of dimension reduction results with different methods (a)—PCA降维结果；(b)—AE降维结果. |
由图 4可知, AE降维结果使每类样本中心之间的距离更大, 轮廓更加分明.原始数据的轮廓系数为0.632, 经过PCA降维后的轮廓系数变为0.671, 经过AE降维之后变为0.848.由此可见, AE降维对轮廓系数的提升较大.而且PCA适用于数据量较小的场景, 而AE可以用于复杂的大型数据集.
2.2 自组织神经网络自组织映射(self-organizing map, SOM)又称为自组织神经网络, 属于前向神经网络模型, 其基本结构包括输入层、竞争层, 是一种典型的无监督学习算法[18].二维结构的自组织神经网络类似于大脑皮层, 竞争层神经元排列成二维节点矩阵, 每个神经元都与它附近的神经元侧向链接, 排成平面, 如图 5所示.
图 5(Fig. 5)
 | 图 5 二维SOM网络模型Fig.5 Two-dimensional SOM network model |
对于输入的数据, 竞争层神经元进行响应, 计算出获胜神经元, 竞争层神经元的个数代表了对数据的分类.
自组织神经网络的竞争学习规则的基本步骤如下:
1) 向量归一化.对输入向量X和竞争层中每个神经元对应的权重Wj(j=1, 2, …, m)进行归一化, 得到
 | (5) |
 | (6) |
 | (7) |
 | (8) |
 | (9) |
 | (10) |
 | (11) |
自组织神经网络具有学习性强, 可以自发地寻找样本数据的内在规律和本质属性等优点, 因此成为最常用的聚类算法之一.随着自组织神经网络的广泛运用, 其缺点也表现得十分明显, 比如训练时间长、在小数据集上的准确率低等.
本文改进的聚类算法不使用自组织神经网络进行聚类, 而是利用它来进行聚类数目的预测和聚类中心的选取.文献[19]中采用自组织神经元节点的分裂和合并算法来判定聚类的类别, 文献[20]中通过构建具有时变结构的自组织映射来聚类数据, 无需在训练过程中确定类别和神经网络的拓扑结构.本文提出一种适用于语音信号简便的类别判定方法, 考虑到说话人数量有限, 首先构建二维的竞争层神经元拓扑结构, 取获胜次数较多的竞争层神经元个数作为类别数, 为了准确地预判类别数, 通过多次判别求众数的方式.
2.3 基于AE-SOM-k-means的说话人聚类算法设计AE-SOM-k-means的说话人聚类的核心内容如下:
1) 特征降维.利用自编码器的表征学习能力, 将输入的融合特征降维.
2) 说话人数预测.用自组织神经网络训练特征集, 根据竞争层神经元获胜次数判定说话人数.
3) 聚类中心选取.根据竞争层神经元获胜次数, 将最终的获胜神经元权重作为新的初始聚类中心.
4) 聚类.利用自组织神经网络选取的初始聚类中心进行k-means聚类.
改进的聚类算法仅利用自组织神经网络来选取聚类中心, 因此不必等待网络完全收敛, 这大大加快了网络训练.竞争层神经元获胜次数越多, 说明其越接近实际聚类中心.说话人数的预测解决了k-means必须给定k值的问题.
该算法的具体步骤如下:
步骤1??特征提取.从数据集中随机选取n段包含k个说话人的音频, 提取MFCC特征和LPCC特征, 对特征预处理后形成特征集.
步骤2??特征降维.将特征集输入AE中学习, 输出降维后的特征集Xi(i=1, 2, …, n).
步骤3??训练自组织神经网络.
① 首先对k进行大致的估计, 假设本实验中说话人数不超过9人, 即k≤9, 网络中竞争层设置9个神经元, 采用3×3的布局.输入层神经元个数为n.
② 将特征向量归一化后为
③ 寻找获胜神经元, 计算
 | (12) |
⑤ 调整权重: 对优胜邻域Nj*(t)内的所有神经元进行权重调整.
 | (13) |
 | (14) |
⑦ 确定k值.考虑到获胜次数越多, 则该神经元越接近聚类中心, 这里将获胜次数大于平均获胜次数4/3的神经元个数作为聚类数目.统计训练后竞争层中各神经元的获胜次数记为Pj(j=1, 2, …, 9).
 | (15) |
⑧ 重新训练自组织神经网络.将竞争层中设置k0个神经元, 得到竞争层各神经元的权重值Wl(l=1, 2, …, k0), 将其作为k-means方法中所使用的初始聚类中心.
步骤4??k-means聚类.
综上所述, AE-SOM-k-means说话人聚类算法流程见图 6.
图 6(Fig. 6)
 | 图 6 AE-SOM-k-means说话人聚类算法流程图Fig.6 Flow chart of AE-SOM-k-means speaker clustering algorithm |
2.4 仿真实验本文的音频数据来源有两个, 一是采集的会议录音, 二是SpeechOcean中文语料库.实验思路如下:
仿真1??确定融合特征最佳维度.
利用SpeechOcean中文语料库, 随机选取3~5个人的200段语音, 利用自编码器分别将融合特征降至不同的维度, 利用改进的聚类算法统计平均准确率，如图 7所示.
图 7(Fig. 7)
 | 图 7 融合特征维度与聚类准确率关系图Fig.7 Relationship between fusion feature dimension and clustering accuracy |
由图 7可知, 当融合特征的维度降至10~15之间时, 可以取得最高的准确率.于是本文采用12维的融合特征进行仿真对比实验.
仿真2??单特征和融合特征的比较.
取包含3人说话的会议录音, 去除静音段, 将幅值归一化处理, 并对音频进行分割，使每段语音只包含一个说话人, 以实线和虚线分别标记分割的起点和终点, 如图 8所示.
图 8(Fig. 8)
 | 图 8 语音分割结果Fig.8 Result of speech segmentation |
由图 8可见, 该录音被分割为11段, 用a, b, c作为标签标记不同的说话人，对应图 9中三种颜色.将11段语音对应的真实标签记录在表 1中.
图 9(Fig. 9)
 | 图 9 说话人聚类结果Fig.9 Results of speaker clustering (a)—MFCC+k-means；(b)—MFCC+LPCC+k-means. |
表 1(Table 1)
 表 1 语音片段对应的真实标签Table 1 Real label corresponding to the speech fragments
| 表 1 语音片段对应的真实标签 Table 1 Real label corresponding to the speech fragments |
然后分别提取11段语音的MFCC特征和融合特征, 用k-means算法聚类, 将同一类的说话人涂上同一种颜色.聚类结果如图 9所示.
对比真实的标签可知, 图 9a中MFCC+k-means的聚类结果错了两段, 而图 9b中MFCC+LPCC+k-means的聚类结果全部正确.从一定程度上可以看出融合特征可以更好地表征说话人信息.
仿真3??k-means和SOM-k-means的比较.
取一段时长180 s的会议录音, 去除静音段后如图 10所示, 利用分割算法将该语音分为96段.
图 10(Fig. 10)
 | 图 10 去除静音段的语音波形Fig.10 Speech waveform of removed silent segments |
提取语音信号的融合特征, 分别用k-means和SOM-k-means进行聚类.SOM选取聚类中心, 其竞争层神经元获胜情况如图 11所示.
图 11(Fig. 11)
 | 图 11 竞争层神经元获胜情况Fig.11 Victory of neurons in competitive layer |
图 11显示了9个神经元的获胜次数, 根据式(15), 超过平均获胜次数的4/3的有3个神经元, 其获胜次数分别为22, 20, 18, 说明这3个神经元更靠近实际的聚类中心, 因此预判类别数为k=3.
SOM-k-means的聚类结果比较稳定, 如图 12所示.
图 12(Fig. 12)
 | 图 12 SOM-k-means的聚类结果Fig.12 Clustering results of SOM-k-means |
将96个样本特征降至二维, 利用真实标签将不同类别的点涂上不同颜色.对两种聚类算法的聚类中心进行可视化分析, 如图 13所示.
图 13(Fig. 13)
 | 图 13 聚类中心的选取结果Fig.13 Results of selecting the centers of clustering |
从图 13聚类中心的位置上来看, SOM选取的聚类中心更接近簇的中心, 本次SOM-k-means聚类准确率高达94.8%.而k-means选取的聚类中心显然偏离簇的中心, 出现较大的误差, 聚类准确率很低.
仿真4??SpeechOcean中文语料库测试.
采用SpeechOcean中文语料库, 分别选取2~7个人的200段长度不等语音进行仿真对比实验, 对相同的说话人数重复实验10次, 每次选取不同的说话人.平均聚类准确率如图 14所示.
图 14(Fig. 14)
 | 图 14 不同算法的平均聚类准确率Fig.14 Average clustering accuracy of different algorithms |
从实验结果可以得出, 融合特征比单一特征包含更多的说话人信息, 自组织网络可以更好地选取聚类中心, 而自编码器可以浓缩特征使聚类效果进一步提升.本文改进的聚类算法的平均准确率比传统聚类算法有较大的提升.
3 结语在没有任何先验知识的条件下进行说话人聚类是语音分析的一个难点.本文将MFCC和LPCC两个特征融合, 利用AE-SOM网络学习深度的特征, 实现了说话人数的判定和聚类中心的选取.该算法不仅用多特征融合完善了说话人信息, 而且弥补了k-means算法需要提前给定k值、对初始聚类中心的选取依赖性极强的缺陷.与传统的说话人聚类算法相比, 改进的算法聚类准确率更高.
参考文献
| [1] | 史小元, 景新幸, 曾敏, 等. 基于改进PNCC和i-vector的说话人识别鲁棒性[J]. 计算机工程与设计, 2017(4): 1071-1075. (Shi Xiao-yuan, Jing Xin-xing, Zeng Min, et al. Robustness of speaker recognition based on improved PNCC and i-vector[J]. Computer Engineering and Design, 2017(4): 1071-1075.) |
| [2] | 郑艳, 高爽. 基于自适应门限的分形维数语音端点检测[J]. 东北大学学报(自然科学版), 2020, 41(1): 7-11. (Zheng Yan, Gao Shuang. Speech endpoint detection based on fractal dimension with adaptive threshold[J]. Journal of Northeastern University (Natural Science), 2020, 41(1): 7-11.) |
| [3] | Huang Z, Siniscalchi S M, Lee C H. A unified approach to transfer learning of deep neural networks with applications to speaker adaptation in automatic speech recognition[J]. Neurocomputing, 2016, 218: 448-459. DOI:10.1016/j.neucom.2016.09.018 |
| [4] | Kanagasundaram A. Speaker verification using i-vector features[D]. Brisbane: Queensland University of Technology, 2014. |
| [5] | Milton A, Roy S S, Selvi S T. SVM scheme for speech emotion recognition using MFCC feature[J]. International Journal of Computer Applications, 2014, 69(9): 34-39. |
| [6] | Schuller B, Burkhardt F. Learning with synthesized speech for automatic emotion recognition[C]// Proceedings of the IEEE International Conference on Acoustics Speech & Signal Processing. Dallas, 2010: 18-20. |
| [7] | Atasever U H. A novel unsupervised change detection approach based on reconstruction independent component analysis and ABC-Kmeans clustering for environmental monitoring[J]. Environmental Monitoring and Assessment, 2019, 191: 447. DOI:10.1007/s10661-019-7591-0 |
| [8] | Arthur D, Vassilvitskii S. K-means++: the advantages of carefull seeding[C]// Proceedings of the Eighteenth Annual ACM-SIAM Symposium on Discrete Algorithms. New Orleans, 2007: 1027-1035. |
| [9] | Jain A K. Data clustering: 50 years beyond K-means[J]. Pattern Recognition Letters, 2010, 31(8): 651-666. DOI:10.1016/j.patrec.2009.09.011 |
| [10] | 邵明强, 徐志京. 基于改进MFCC特征的语音识别算法[J]. 微型机与应用, 2017(21): 52-54. (Shao Ming-qiang, Xu Zhi-jing. A speech recognition algorithm based on improved MFCC[J]. Microcomputer & Its Applications, 2017(21): 52-54.) |
| [11] | Vergin R, O′Shaughnessy D, Gupta V. Compensated Mel frequency cepstrum coefficients[C]//IEEE International Conference on Acoustics. Atlanta, 1996: 323-326. |
| [12] | Likitha M S, Gupta S R R, Hasitha K, et al. Speech based human emotion recognition using MFCC[C]// 2017 International Conference on Wireless Communications, Signal Processing and Networking(WiSPNET). Chennai, 2017: 222-224. |
| [13] | Dahake P P, Shaw K, Malathi P. Speaker dependent speech emotion recognition using MFCC and support vector machine[C]// 2016 International Conference on Automatic Control and Dynamic Optimization Techniques(ICACDOT). Pune, 2016: 67-68. |
| [14] | Mansour A, Lachiri Z. A comparative study in emotional speaker recognition in noisy environment[C]// IEEE/ACS International Conference on Computer Systems & Applications. Hammamet, 2017: 980-986. |
| [15] | 史水平, 李世作. 线性预测编码(LPC)技术及其在音频文件上的应用[J]. 现代电子技术, 2004, 27(4): 21-23. (Shi Shui-ping, Li Shi-zuo. LPC technique and its application in audio file[J]. Modern Electronic Technique, 2004, 27(4): 21-23.) |
| [16] | Hinton G, Salakhutdinov R. Reducing the dimensionality of data with neural networks[J]. Science, 2006, 313(5786): 504-507. DOI:10.1126/science.1127647 |
| [17] | Zhang C, Li X, Li W, et al. A novel i-vector framework using multiple features and PCA for speaker recognition in short speech condition[C]// 2016 International Conference on Audio, Language and Image Processing(ICALIP). Shanghai, 2016: 499-503. |
| [18] | Kohonen T. Self-organized formation of topologically correct feature maps[J]. Biological Cybernetics, 1982, 43(1): 59-69. |
| [19] | Yang P, Wang D, Wei Z, et al. An outlier detection approach based on improved self-organizing feature map clustering algorithm[J]. IEEE Access, 2019, 7: 115914-115925. |
| [20] | Araujo A F R, Antonino V O, Guevara K L P. Self-organizing subspace clustering for high-dimensional and multi-view data[J]. Neural Networks, 2020, 130: 253-268. |
