近年来,网络上音频的种类和数量呈现爆发式增长。相比语音和音乐,音频中的环境信息更加多样,受到了国内外研究者的广泛关注。
音频场景分类的目的是识别出录制音频的特定场景,从而使穿戴式设备、智能机器人感知周围的环境信息并做出相应反射。传统的音频分类任务大都使用短时特征,如梅尔频率倒谱系数等。然而,环境信息一般隐藏在不同时长的背景声中,因此提取多分辨率多尺度的特征是音频场景分类的关键。
近期,中国科学院语言声学与内容理解重点实验室博士生陈航艇及其导师张鹏远研究员等人提出了一种基于小波变换和深度卷积神经网络的场景识别新方法。相关研究成果已被Proceedings of the Annual Conference of the International Speech Communication Association(2018)收录。
研究人员提出的音频场景分类系统包括前端和后端两个模块。前端采用不同时长和频率分布的小波滤波器来提取小波谱图,此滤波器组可以同时捕捉到转瞬即逝的音频事件和长时的韵律节奏。后端的深度卷积神经网络结合小卷积核和池化操作,将“高维语义”从原始特征中抽象出来。
在相关场景数据集上的实验结果表明,使用小波谱图和深度卷积神经网络的音频场景识别表现明显优于传统的短时特征。相比短时特征,长时的小波谱图的时间分辨率较低,一定程度上降低了存储和计算的要求。
该研究为音频场景的分析提供了新的前后端架构,为环境声音的研究提供了新思路。
基于小波变换和深度卷积网络的场景识别系统(图/陈航艇)
关键词:音频场景识别;小波谱图;卷积神经网络
参考文献:
CHEN Hangting, ZHANG Pengyuan, BAI Haichuan, YUAN Qingsheng, BAO Xiuguo, YAN Yonghong. Deep Conventional Neural Network with Scalogram for Audio Scene Modeling. Proceedings of the Annual Conference of the International Speech Communication Association, INTERSPEECH, v 2018-September, p 3304-3308. DOI: 10.21437/Interspeech.2018-1524.
论文链接:https://www.isca-speech.org/archive/Interspeech_2018/pdfs/1524.pdf
删除或更新信息,请邮件至freekaoyan#163.com(#换成@)
基于小波谱图和深度卷积网络的音频场景识别新框架
本站小编 Free考研/2020-05-27
相关话题/环境 信息
中国科学院先进水下信息技术重点实验室正式挂牌成立
11月8日,中国科学院先进水下信息技术重点实验室成立大会在北京召开,中科院重大科技任务局综合技术处郭晓勇处长、信息海洋处李才兴处长,声学所王小民所长、张春华书记、马晓川副所长和李启虎院士,以及清华大学陆建华院士出席了成立大会。 王小民所长、张春华书记与中科院先进水下信息技术重点实验室学术委员会主任 ...中科院声学研究所 本站小编 Free考研 2020-05-27中科院水下航行器信息技术重点实验室参加2018日本海洋大会
2018日本海洋大会(OCEANS’18 MTS/IEEE Kobe /Techno-Ocean 2018)于5月28日至31日在日本神户举办,大会主题为“海洋星球——这是我们的家”。声学所院水下航行器信息技术重点实验室郝程鹏研究员、吴永清研究员、陈栋副研究员、徐立军副研究员、闫晟副研究员、徐达助理 ...中科院声学研究所 本站小编 Free考研 2020-05-27中国生物信息学学科发展暨地方生物信息学会创立和组织建设研讨会成功举办
2019年11月16日,主题为《共谋发展,引领未来》的中国生物信息学学科发展暨地方生物信息学学会创立和组织建设研讨会于中国科学院遗传与发育生物学研究所成功举办。会议由中科院遗传发育所王秀杰研究员主持,来自全国生物信息学领域的近70位代表参会。 研讨会由孙之荣教授致开幕词。孙之荣教授首先介绍了生物信 ...中科院遗传与发育生物学研究所 本站小编 Free考研 2020-05-26环境因素诱导的非人灵长类自闭症模型研究取得进展
自闭症谱系障碍(简称自闭症)儿童表现社会交流缺陷,刻板重复行为和狭隘的兴趣等行为学特征。流行病学研究表明大约1%的儿童表现为自闭症,但仅少部分具有明确的遗传学病因。哪些环境因素导致和如何导致自闭症是自闭症研究领域的重大科学问题。孕妇怀孕期间服用抗癫痫药如丙戊酸(VPA)等会增加儿童罹患认知障碍和自闭 ...中科院遗传与发育生物学研究所 本站小编 Free考研 2020-05-26微环境控释型生物材料新进展:以基质金属蛋白酶为靶点的心肌梗死响应性智能水凝胶可按需递送生物活性分子
心肌梗死(MI)是由冠状动脉闭塞缺血、缺氧所导致的不可逆的心肌损伤,是目前世界范围内心血管死亡和致残的主要原因。心脏缺血导致心肌细胞大量死亡,同时局部上调的基质金属蛋白酶(MMPs)降解心脏细胞外基质(ECM),降低组织力学性能,导致梗死区域心室壁逐渐变薄,整体扩张,加速心功能恶化。原位恢复梗死区域 ...中科院遗传与发育生物学研究所 本站小编 Free考研 2020-05-26戴建武研究组NSR发表综述总结其在脊髓损伤再生微环境重建的系列研究成果
脊髓损伤(Spinal cord injury, SCI)往往导致损伤平面以下的运动和感觉功能丧失。脊髓损伤修复是世界性医学难题。中国科学院遗传与发育生物学研究所戴建武领导的再生医学团队从事脊髓损伤再生修复与机理研究17年来,在脊髓损伤后再生微环境重建的研究中取得了重要研究进展,他们的研究成果最近以 ...中科院遗传与发育生物学研究所 本站小编 Free考研 2020-05-26Speakman研究组在饮食环境影响肥胖率研究中取得进展
美国人正在变得越来越胖,这已经是不争的事实,高肥胖率还会带来严重的并发症和昂贵的医疗费用。但什么是导致肥胖率激增的原因始终是争论的焦点。争论的原因是,体重增加是由于能量的摄入>能量支出导致的能量盈余引发的,而多种情况都有可能导致总能量的盈余。有些研究将能量盈余主要归咎于体能活动的减少,也有一些研究将 ...中科院遗传与发育生物学研究所 本站小编 Free考研 2020-05-26“信息高铁科技创新综合实验平台” 方案论证会正式召开
2019年11月13日下午,由中国科学院计算技术研究所、南京市麒麟科技创新园(生态科技城)开发建设管理委员会主办,中科院计算技术研究所南京移动通信与计算创新研究院(后文简称“南京创研院”)承办的“信息高铁科技创新综合实验平台”方案论证会在麒麟管委会召开。 中国工程院倪光南院士、北京科技大学隆克平教 ...中科院计算技术研究所 本站小编 Free考研 2020-05-26计算所智能信息处理重点实验室周少华研究员当选IEEE Fellow
计算所智能信息处理重点实验室MIRACLE研究组周少华研究员因在“医学影像分析和人脸识别”领域的贡献当选IEEE Fellow,任期从2020年1月1日开始。周少华研究员 IEEE全称是国际电子电气工程师学会,是国际上影响力最大的电子技术与信息科学领域学术组织,致力于推进科技创新,造福全人类。IE ...中科院计算技术研究所 本站小编 Free考研 2020-05-26计算所张文、庞亮博士获中国中文信息学会优秀博士学位论文奖
2019年10月10日,来自中国科学院计算技术研究所智能信息处理重点实验室的张文同学和来自网络数据科学与技术重点实验室的庞亮同学的博士学位论文《神经网络机器翻译模型、训练与解码的改进方法》、《面向文本大数据的深度匹配模型研究》分别以投票排名第一、第二的终审结果获得了中国中文信息学会的优秀博士学位论文 ...中科院计算技术研究所 本站小编 Free考研 2020-05-26