由于语音通常受到背景噪声和环境干扰的影响,语音增强技术在过去几十年中深受关注。近年来,基于深度学习的语音增强方法在应对非平稳噪声方面表现突出,并可显著提高语音的可懂度。对双耳听力的研究表明,保留语音中的空间信息有助于人耳对噪声环境中语音的理解,然而,大部分语音增强方法的目标为单通道语音信号,不能保留原有的空间信息。
对此,中科院语言声学与内容理解重点实验室的孙兴伟与其导师李军锋研究员等人研究语音增强方法以及双耳信号空间信息保持,提出一种基于深度学习的保持空间信息的双耳语音增强方法,在语音增强的同时保留其空间信息,有助于提高人耳对语音的理解能力。相关研究成果近期发表于国际学术会议 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2019)。
本研究将双耳信号的左右通道组合为一个复数信号,将一个双通道增强问题转换为一个在复数域处理的单通道增强问题。随后研究人员提出一种复数域时频掩蔽方法,并训练一个复数神经网络对其进行估计,最终应用于单通道复数信号进行语音增强并重建双耳信号。
实验结果表明,基于复数神经网络的双耳语音增强方法将语音信号的信噪比提升超过10dB,并且能够保持语音原有的空间信息。
此双耳语音增强方法可应用于助听器等设备,帮助人耳理解语音。
本研究得到国家自然科学基金(11590770-4,11722437, 61650202,U1536117,61671442,11674352,11504406,61601453),国家重点研发计划(2016YFB0801203, 2016YFC0800503, 2017YFB1002803)和 新疆维吾尔自治区重大科技专项(2016A03007-1)资助。
图1 算法系统框图(图/中科院声学所)
关键词:
双耳语音增强;深度学习;空间信息
参考文献:
SUN Xingwei, XIA Risheng, LI Junfeng, YAN Yonghong. A Deep Learning Based Binaural Speech Enhancement Approach with Spatial Cues Preservation. ICASSP 2019, pp. 5766-5770. DOI: 10.1109/ICASSP.2019.8683589
论文链接:
https://ieeexplore.ieee.org/document/8683589
删除或更新信息,请邮件至freekaoyan#163.com(#换成@)
基于深度学习的空间信息保持的双耳语音增强方法
本站小编 Free考研/2020-05-27
相关话题/信号 信息
中科院水下航行器信息技术重点实验室第一届学术委员会第四次会议在北京召开
2019年6月25日,中科院水下航行器信息技术重点实验室第一届学术委员会第四次会议在北京召开。会议由学术委员会主席何友院士主持,侯朝焕院士、吴宏鑫院士等学术委员会委员及中科院军民融合办公室代表出席了会议。声学所科技发展部主任王强致欢迎词。 实验室主任鄢社锋研究员对实验室近一年来的工作进展进行总 ...中科院声学研究所 本站小编 Free考研 2020-05-27声场声信息国家重点实验室参加第13届ACM国际水下网络与系统会议
2018年12月3日至5日,第13届ACM国际水下网络与系统会议(The 13th ACM International Conference on Underwater Networks & Systems,WUWNet’18)在中国深圳举办,声场声信息国家重点实验室作为主办方之一参与了会议筹备工作 ...中科院声学研究所 本站小编 Free考研 2020-05-27中国科学院先进水下信息技术重点实验室正式挂牌成立
11月8日,中国科学院先进水下信息技术重点实验室成立大会在北京召开,中科院重大科技任务局综合技术处郭晓勇处长、信息海洋处李才兴处长,声学所王小民所长、张春华书记、马晓川副所长和李启虎院士,以及清华大学陆建华院士出席了成立大会。 王小民所长、张春华书记与中科院先进水下信息技术重点实验室学术委员会主任 ...中科院声学研究所 本站小编 Free考研 2020-05-27一种利用坐标旋转数字算法的基于特征空间的信号合成方法
声学所院水下航行器信息技术重点实验室助理研究员王雷欧及其同事提出了一种利用坐标旋转数字算法的基于特征空间的信号合成方法,该方法能够有效减少信号合成过程中的计算量。相关研究成果发表于第26届欧洲信号处理会议2018 26th European Signal Processing Conference ...中科院声学研究所 本站小编 Free考研 2020-05-27中科院水下航行器信息技术重点实验室参加2018日本海洋大会
2018日本海洋大会(OCEANS’18 MTS/IEEE Kobe /Techno-Ocean 2018)于5月28日至31日在日本神户举办,大会主题为“海洋星球——这是我们的家”。声学所院水下航行器信息技术重点实验室郝程鹏研究员、吴永清研究员、陈栋副研究员、徐立军副研究员、闫晟副研究员、徐达助理 ...中科院声学研究所 本站小编 Free考研 2020-05-27中国生物信息学学科发展暨地方生物信息学会创立和组织建设研讨会成功举办
2019年11月16日,主题为《共谋发展,引领未来》的中国生物信息学学科发展暨地方生物信息学学会创立和组织建设研讨会于中国科学院遗传与发育生物学研究所成功举办。会议由中科院遗传发育所王秀杰研究员主持,来自全国生物信息学领域的近70位代表参会。 研讨会由孙之荣教授致开幕词。孙之荣教授首先介绍了生物信 ...中科院遗传与发育生物学研究所 本站小编 Free考研 2020-05-26独脚金内酯和Karrikin信号转导分子机制取得新进展
独脚金内酯(Strigolactone, SL)是一种新型植物激素,调控分枝、株高、下胚轴和中胚轴伸长、叶片形状、花青素积累、根系形态等诸多生长发育过程,对其信号途径的研究具有重要的科学意义和应用价值。Karrikin(KAR)是一类存在于植物燃烧形成的烟雾中的信号分子,能调控种子萌发和幼苗发育,对 ...中科院遗传与发育生物学研究所 本站小编 Free考研 2020-05-26储成才研究员应邀在Current Opinion in Plant Biology撰写植物氮信号调控网络综述文章
氮是植物需求量最大的矿质营养元素,农业生产中以氮肥为主的化肥投入对提高粮食产量、保障粮食安全起到了至关重要的作用。但是,氮肥的超量施用导致植物氮肥利用效率低下,引起包括温室气体排放、水体富营养化在内的诸多环境问题。由于土壤中氮源的种类及含量高度可变,植物在长期进化过程中形成了响应外界氮素营养条件,且 ...中科院遗传与发育生物学研究所 本站小编 Free考研 2020-05-26傅向东研究组在赤霉素信号传导新机制提高水稻氮肥利用效率研究上取得重要进展
上世纪60年代,以矮化育种为标志的“绿色革命”使水稻和小麦具有耐高肥、抗倒伏和高产的优良特性,但同时也存在氮肥利用效率低的缺点,其产量增加对化肥的依赖性高。持续大量的氮肥投入不仅增加种植成本,还导致环境污染。农业农村部公布2019年我国三大粮食作物的化肥利用率为39.2%,远低于世界平均水平,更远低 ...中科院遗传与发育生物学研究所 本站小编 Free考研 2020-05-26储成才研究组在水稻油菜素内酯信号调控机制研究上取得新进展
油菜素内酯 (简称BR) 是一类重要的植物激素,调控着水稻株高、叶夹角、籽粒大小等诸多重要农艺性状。近年来,BR信号传导研究进展迅速,但其精细调控机制还不清楚。 中国科学院遗传与发育生物学研究所植物基因组学国家重点实验室储成才研究组和中国农业科学院作物科学研究所童红宁研究组长期合作致力于BR调控水 ...中科院遗传与发育生物学研究所 本站小编 Free考研 2020-05-26