导师组一：

研究方向：

l 计算机视觉与机器学习

l 天地一体化网络

l 软件定义网络

l 视频压缩与图像处理

l 音频处理


合作单位

l 国家新闻出版广电总局

l 空间技术研究院

l 加拿大麦吉尔大学

l 中国三星电子

l 中兴通讯股份有限公司


导师组二：

北京邮电大学信息与通信工程学院的多媒体通信与模式识别实验室主要从事多媒体通信、图像与视频处理及模式识别等领域的理论和应用技术研究。在上述领域，特别是在多媒体通信、生物特征识别、图像和视频检索等方面，取得了一系列的研究成果，在国内以及国际上均有一定影响。现拥有教授1名、副教授2名，讲师1名，博士生10余名，硕士生50余名。实验室的研究方向包括视频内容分析与检索、智能监控、生物特征识别、物体识别以及网络舆情分析等方面。

实验室先后承担了国家自然科学基金、国家重大计划、863、国家计委、公安部和国防科工委等支持的重大科研项目，以及一系列与国内、外企业合作的项目。在IEEE Trans.、美国光学学报、PatternRecognition、电子学报、通信学报等国内、外刊物和国际会议上发表论文200余篇。所承担的国家自然科学基金项目结题均被评为“优秀”；承担的其他项目通过公安部、教育部等主管部门的正式鉴定，并获得部级科技进步奖；与企业合作的成果均已用于实际系统。

研究方向包括：

l 图像处理和识别（Image Processing andRecognition）

l 视频内容分析与检索（Video Analysis andRetrieval）

l 智能监控 (Intelligent VideoSurveillance )

l 跨媒体搜索(Cross-media Retrieval)

l 多媒体通信（Multimedia Communication）

l 网络舆情分析（Network Opinion Analysis）

网址：http://www.bupt-mcprl.net/


1 研究成果介绍
（1） 图像处理与识别

l人脸识别

人脸识别是利用计算机分析人脸图像，从中提取出有效的特征信息，用于进行身份“辨认” 。和其它生物特征相比，它的特征获取相对容易，不需要对象过多的主动配合，人们对于使用人脸来进行身份识别不会有抵触的情绪。识别的难点在于表情丰富、年龄增长、光照、成像角度、成像距离等的影响、发型和脸上饰物的变化、不同姿态，背景环境复杂。

我们所研制的人脸识别系统能够在较为复杂背景下，对静态图像和视频中的人脸进行实时自动检测，检测准确率高；针对照片、视频中人脸识别的不同应用，自行开发了多种的人脸识别算法，其中基于深度学习的实时人脸识别算法，在公开基准测试数据集LabeledFaces in the Wild（LFW）上准确率为99.2%。我们追求通过优化更贴近实际的真实场景图像，使之成为在真实情况下实用的人脸识别引擎。

人脸识别算法可以用于电视视频内容分析、相册自动分析、线上购物支付、海关、公安视频监控领域的人脸验证等。

l脑电波识别

脑电信号是记录脑神经系统的电活动信号, 蕴含着可以检测的认知信息。具有个体的唯一性，隐蔽性，不能被伪造或窃取，是具有独特优势的生物特征。如何有效进行活体、防恶意入侵和被胁迫状态检测，是生物特征识别系统在机密性要求高、恶意入侵可能性高、一般生物特征系统难以防范的敏感场所安全应用的最大瓶颈。脑电信号所具有的隐蔽性、不可窃取性、不可仿制性、不可胁迫性，可以弥补目前各种生物特征识别系统应用中的不足，为提高目前系统的安全性开创新的方向。我们针对脑电信号在身份识别中的应用进行了研究，研究成果已发表在ICPR、BTAS等著名国际会议上。

基于脑电信号的疲劳检测方法被认为准确度最高、最为客观的，我们使用便携式脑电采集仪器采集个体处于清醒状态和疲劳状态的脑电信号，对单电极脑电信号在疲劳检测中的应用展开了研究，实现的基于马氏距离的疲劳检测方法证实了个体脑电信号在疲劳和清醒状态下对数功率谱发生的变化，基于脑电信号频谱区分性的疲劳检测方法能有效检测出疲劳状态。

l 色情图像与色情视频过滤系统

我们开发的基于深度学习的色情图片与视频过滤系统支持多种图片格式和视频压缩格式，摆脱了人工特征设计的固有缺陷，通过深层网络自动学习稳定的视觉特征，融合高效的特征编码技术和快速的线性分类技术，可以实时处理视频文件。视频检测结合了音频等特征，可以按帧、镜头或场景定位色情部分。两种系统均可跨操作系统运行。

l 暴恐图像与视频过滤系统

随着网络视频的发展，互联网上非法传播的暴恐视频已经成为当前暴恐案件多发的重要诱因和影响社会稳定与安全的最大毒源。我们研制开发了一套精确高效的分布式暴恐图片与视频过滤系统。在规模化的暴恐数据集上（约2万个视频）的测试结果表明，系统的MAP超过98%，满足商用的需求。在NVIDIAGeForce GTX Titan图形处理器平台，识别1小时网络视频（码率460kbps左右），耗时约为40秒。可以在线添加或更新模型，以适应暴恐视频内容变化，对于可疑视频可以生成分析报告，便于人工校验。如下图所示，通过利用卷积神经元网络，重点关注高敏感语义概念，如爆炸，旗帜，伊斯兰装扮等辅助进行暴恐判断。

l 物体识别

我们在图像处理、模式识别和机器学习等方面有多年的研究经验，积累了大量的特征提取和对象识别的先进算法。在此基础上，能够根据实际需要迅速开发出针对各类特定应用的识别系统。

已经成功研制多种专用识别系统，典型的例子如下：

Ø 车牌识别

能够从静态图像或者视频图像中检测到车牌图像，并识别出车牌号；受光照、背景及噪声影响较小；整体车牌识别率在95%以上。

Ø 弹痕识别

该系统能够利用弹痕图像识别出从同一支非制式枪中射出的多发子弹。

（2） 视频内容分析与检索

我们在视音频内容分析和检索方面进行了深入的研究，提出了许多新颖高效的算法，在视频检索（VideoRetrieval）、语义视频搜索（Semantic Video Search，例如：查找多人聚集的视频）、高层概念检测（ConceptDetection，例如：爆炸、游行、标语等）、同源视频检测（Copy Detection）、视频监控中的异常事件检测（Event Detection）、视频摘要形成（VideoSummarization）等方面取得了一系列成果。

l视频结构分析系统

视频结构分析是进行视频分析、视频检索和物体识别等工作的基础。我们开发的视频结构分析系统能高效地将压缩视频边解压、边分解成序列－场景-镜头-关键帧的逻辑层次结构，实现视频的自动编目；此外，该系统还能利用图像对视频进行检索。

l 视频摘要系统

视频摘要指以概要的形式描述视频的主要内容。我们开发的视频摘要系统包括自动提取用视频关键帧描述的故事板（静态）和自动提取的动态的视频缩略（片花）两种。生成的片花长短允许用户自行选择。

l 基于内容的同源视频检索系统

同源视频检索也是当前视频分析中的一个研究热点，是一种新发展起来的数字音视频版权保护技术。所谓“同源”视频是指经拷贝或者二次编辑（例如亮度变化、旋转、缩放、剪切、画中画、添加字幕、多次压缩等）而产生的视频。同源视频检测无需像数字水印那样事先在视频中插入任何信息，而是直接通过检测视频内容本身来确定被试视频是否复制了版权视频的全部或一部分。我们开发的系统结合了视频和音频两种特征，有很高的准确率。

l 电视节目异态检测系统

我们开发的视频异态检测系统能够快速、准确地对电视节目流中出现的黑场、彩条、图像静止、马赛克、无伴音、台标丢失等异态情况进行监测和报告。

l 指定目标的查询系统

该系统可以根据给出的一个图片、视频关键帧、或者一个句子（诸如“带红帽子的男孩在打棒球”或“3个人坐在一起”等语句），然后在大量视频资料中查找出目标的视频。基于此项技术开发的嫌疑人查找系统，在一幅图像中标出嫌疑人并给出衣物特征（如颜色、纹理等）后，可以从大量监控视频记录中搜索到该人。

（3） 智能监控

我们的研究主要集中在对人和车辆的行为检测两个方面，其中包括：人的检测与跟踪、人的特定动作的识别、大型公共场合中特定异常事件检测、车辆速度和轨迹检测等方面，包括：

Ø 监控摄像头质量评测：镜头被移动、镜头被遮挡、图像变模糊等异常情况进行实时检测报警；

Ø 警戒线跨越：划定区域或警戒线，检测进入或者离开的人，并给出其运动轨迹；

Ø 物体移失或被盗：划定监视区域，检测物体消失、或被破坏；

Ø 物体遗留：遗留物品、非法张贴、非法涂写、非法安装设备等行为；

Ø 打架和暴力事件检测；

Ø 监控区域内的人员徘徊：检测有人在一定区域内徘徊，社区内特定的区域是不能徘徊探视的，可以事先在监控系统中设定不能徘徊的区域，一旦检测出有人在设定区域内徘徊，及时报警，防患于未然。

Ø 人群聚集及人群密度估计，防范监控区域内多人长时间停留、徘徊，多人聚集等事件的发生，能够对大型治安事件进行预警。

Ø 社区异常事件智能视频监控服务，基于社区内视频监控传感器网络数据和智能视频监控系统，为安保部门提供社区安全服务。具体事件包括：有人突然摔倒在地事件检测、有人倒地不起事件检测、打架斗殴事件检测、特定区域人员徘徊事件检测、破坏公共设施事件检测、小区绿地侵入事件检测等。

居家老人安全状况智能视频监测服务：基于房间内视频监控传感器数据和社区智能视频监控系统，向外出的家人及社区管理部门报告老年人出现意外事故情况，为居民提供居家老年人安全服务。