唐诗洋 , 疏学明 , 胡俊 , 吴津津 , 申世飞
清华大学 工程物理系, 北京 100084

收稿日期：2017-10-26
基金项目：国家自然科学基金资助项目（71774094）；“十二五”国家科技支撑计划项目（2015BAK12B03）
作者简介：唐诗洋(1989—), 男, 博士研究生
通信作者：疏学明, 高级工程师, E-mail:shuxm@tsinghua.edu.cn

摘要：近期在世界各地发生的群体性事件、恐怖事件等社会安全事件对社会安全管理提出了新的挑战。在警力资源有限的情况下，如何有效处理这类重大突发事件就成为公共安全研究的一个重要课题。针对现存的安全问题，基于线上-线下多源信息联合监控方案，该文提出一种基于E-V融合的信息融合系统，该系统同时采集手机信号数据（E数据）和监控摄像头数据（V数据），并通过数据融合从两方面获取人的位置与身份信息。通过实验室测试，结果表明：该系统能够在少数人情况下完成视频的人物位置信息、手机MAC（media access control）地址、手机接收信号强度（receive signal strength，RSS）信息的融合，完成作为线上信息与线下信息结合点的功能。
关键词：数据融合社会安全WiFi信号视频分析
Online-offline associated surveillance system based on E-V fusion
TANG Shiyang, SHU Xueming, HU Jun, WU Jinjin, SHEN Shifei
Department of Engineering Physics, Tsinghua University, Beijing 100084, China


Abstract: Recent mass disturbances and terrorist attacks have presented new challenges for public management. Thus, more research is need on how to cope with serous public security incident with limited police forces. An novel online-offline public security incident surveillance system is described here with an E-V information fusion system. The system collects surveillance video data and cellphone data to identify human locations and IDs. Tests show that the system can combine human locations in videos, cellphone MAC addresses and cellphone RSS data in situations with few people by combing online and offline information.
Key words: data fusionsocial securityWiFi signalvideo analyze
近年来，各种社会安全突发事件给人们的生活带来了重大变化。2015年发生的11·13巴黎恐怖袭击事件导致超过100人死亡，震惊了国际社会；2017年8月13日，美国弗吉尼亚州发生了群体性暴动，导致该州进入紧急状态。这类重大社会安全事件均对经济与社会造成难以弥补的伤害。
然而，目前尚未有非常完整的社会安全自动监控技术，布控人员进行监控依然是最有效的方法。通过数据技术辅助社会安全管理成为一个研究热点。
在犯罪数据自动分析技术上，美国警务人员率先通过对犯罪地点时间数据进行统计学分析，得出了犯罪热点图等关键信息^[1]。国内同类研究包括于红志等^[2]通过改进的BP(back-propagation)神经网络进行犯罪预测；王雨晨等^[3]通过随机森林算法进行犯罪风险预测；马国富等^[4]研究机器学习算法预测服刑人员再犯危险性；刘莹等^[5]将文本分类技术应用于犯罪文本分类中。然而上述研究主要通过犯罪预测结果辅助警务人员工作，不具备监控的功能。
针对犯罪行为监测的数据研究有Dhaka等^[6]提出的基于对设备的存储信息和通信信息进行网络犯罪的检测；吕林涛等^[7]使用径向基函数(radial based function，RBF)神经网络识别金融交易中的洗钱行为；Khan等^[8]通过手机通话记录数据获得对象的社会关系网，从而对辅助犯罪调查；还有Weinstein等^[9]通过对各种多媒体数据进行内容分析，并根据对象社会网络进行分类，监测恐怖活动；李泽等^[10]通过神经网络模型对恐怖组织社会网络的变化进行分类，从而对恐怖事件进行监测与识别。除此之外，美国国家安全局通过对手机通信数据进行分析，通过机器学习方法对其分类从而识别用户是否为恐怖分子^[11]。
上述研究侧重于模型和算法的研究。在针对重大社会安全事件进行监控时，可能存在无法直接获得网络用户真实信息，重大事件数据量较少等问题。
本研究提出一种同时采集互联网线上信息和摄像头、传感器等线下信息，并与过去案例知识相结合的新类型监控系统。该系统更加侧重于对现场实时信息的采集，可以同时分析线上线下信息，完成对社会安全风险的监控。
1 线上-线下身份信息融合在对个人行为进行分析和判断之前，首先需要确定所采集的哪些数据属于某个人的行为。通常，身份证、手机号码等个人信息长期稳定不变。但对于有意引发大规模安全事件的人而言，他们可以使用多个经由他人身份信息注册的手机号或者使用不同人的账号在网上进行操作。
2017年6月1日生效的《中华人民共和国网络安全法》要求网络运营者在提供服务时应当要求用户提供真实信息。在具体操作上，由于目前手机号码的实名制登记工作基本完成，网络运营者往往通过手机验证的方法获得用户的真实信息。但如果犯罪分子通过非正规手段获取其他人已登记真实姓名的手机号码或者使用没有实名登记的国外手机号码时，线上操作者的真实身份就难以确定。
由此可知，确定手机号码与实际使用者之间的身份关系就变得非常重要。因此，本文提出一种低成本、消耗极少计算资源的视频-手机身份信息融合方法，可以在特定场所对场所内部人员信息进行身份信息的监测与融合。具体通过采集手机WiFi通信数据与监控摄像头视频数据，完成手机ID与视频中的人的融合。
2 系统概述身份信息融合系统分为两部分：1)布置在特定公共场所的摄像头以及WiFi上网信息采集系统；2)放置在固定场所的视频数据、WiFi数据、多源数据分析系统。
第1部分中的摄像头和WiFi系统主要布置在机场、银行、医院、政府单位等居民在生活当中必然前往并且很有可能长时间等待的场所。其中的摄像头将拍摄建筑物内部的信息，并通过图像处理技术识别出人的移动，同时也通过人脸识别技术获取人的身份数据。WiFi信息采集系统主要采集建筑内部人员在上网时的访问信息、信号强度信息以及MAC地址。
第2部分的主要功能包括从公共场所的摄像头、WiFi传感器、通信运营商、服务提供商获取在特定公共场所使用网络的用户信息，并通过各类信息，获取网络使用者的真实身份。最终将用户身份、手机MAC地址、手机号码3个信息结合为一个整体，为后续犯罪动态行为分析提供正确的处理数据。
现有的视频信息与无线电信息结合的研究有Teng等^[12]人提出的通过使用视频分析信息辅助无线定位，提高无线定位精度；Zhu等^[13]提出通过使用定向天线进行无线定位，并使用无线定位数据辅助视频跟踪；Li等^[14]提出通过视频分析减少人体对电磁波的阻挡，从而提高无线定位的精度。
上述研究普遍存在的不足之处主要在于：1)视频识别人的时候仅通过其外表识别个体，一个人换衣服后可能导致无法识别为同一个人；2)实验测试时选择较高的空间进行测试，不符合一般楼层高度情况。如果将摄像头按照一般楼层高度设置，基于视频的定位将增加非常大的难度。
3 E-V信息融合流程本研究通过室内实验验证视频-手机身份信息融合方案的可行性。实验主要验证该方案中的手机数据与视频中人物信息的融合这一关键内容。信息融合系统的工作流程如图 1所示。视频数据与WiFi数据需要分别进行采集和预处理，对预处理的数据进行基于人工神经网络算法的匹配，最终获取WiFi信号强度与视频中的人的位置之间的关系模型。

图 1 系统工作流程图

图选项

3.1 视频数据(V数据)采集与预处理视频数据的采集以及预处理将为最终的神经网络计算提供符合要求的信息。工作步骤如下：
步骤1??实验场地为清华大学刘卿楼1017。于实验室内按照常规监控摄像头高度设置视频录像机。
步骤2??启动录像机并先拍摄计算机上显示的在线标准时间，为后续数据处理提供视频中每一帧的时间。
步骤3??拍摄实验人员在实验中使用手机通过WiFi上网时在实验室内部的移动情况。
步骤4??对视频使用背景差分算法，获取前景移动人物，并计算出前景人物在视频中的中心坐标。同时，排除视频中其他干扰物体的监测结果。
步骤5??补充编写算法，补充实验人员在没有移动时，位置不变的坐标。
步骤6??根据实验前拍摄的标准时间和视频帧率，计算视频中每一帧的现实时间。
步骤7??将视频中的实验人员坐标与时间数据保存。
视频分析中的物体监测使用背景差分算法，该算法在视频中移动人物较少的场景下能有较好的识别能力。图 2为视频录像原始图，图 3为背景差分后的检测图。此次试验中，手动排除与实验无关的人员的移动，仅保留实验人员在视频中的位置监测结果。由于视频数据中并不会保存每一帧的时间点，因此需要根据视频拍摄时画面显示的标准时间和帧率，赋予每一帧相应的时间。数据最终保存为EXCEL格式。

图 2 实验室录像图

图选项

图 3 背景差分图

图选项

3.2 WiFi数据(E数据)采集与预处理基于对安全事件的处理需求，WiFi数据的采集同样需要在被采集者没有察觉的情况下完成，但不能采集严重侵犯个人隐私的数据。因此，本次实验将采用开源设备和软件对WiFi数据进行采集工作。流程如下：
步骤1??使用树莓派开发板与TL-WN722N无线网卡制作3台WiFi数据的采集器。采集器系统结构如图 4所示。

图 4 WiFi信号采集器系统结构

图选项

步骤2??在树莓派开发板的系统上安装Aircrack-ng组件，并开通Secure Shell (SSH)通道。
步骤3??使用一台笔记本电脑作为采集器的指挥端，创建WiFi网络，让3台采集器连接笔记本WiFi网络，笔记本通过ssh软件控制3台采集器的工作。
步骤4??在树莓派开发板上插入另一个无线网卡，设置无线连接配置，通过此无线网卡连接笔记本WiFi网络。
步骤5??将3台采集器分别放置在实验室一边的两个角落和另一边的中间，准备开始实验。
步骤6??在实验中采集实验人员通过手机与清华大学校园网连接时发送的WiFi信号，并保存在本地。
步骤7??从树莓派开发板中提取WiFi数据包，通过Wireshark软件筛选出实验人员手机发出的数据。
步骤8??使用EXCEL打开筛选后的数据，去除不需要的信息，保留数据的时间和采集器的接收信号强度。
WiFi信号采集器在采集信号的时候并不会对被采集者的手机通信产生影响，并且也不会采集加密通信数据。可以在不侵犯隐私的情况下，获取手机信号的强度数据和时间数据。
3.3 E-V数据的融合在实验时，录像机间将记录下实验人员在画面内部的移动，因此这个实验过程中都有实验人员的位置数据。但WiFi数据仅在按照用户操作或系统设置有需要的时候才进行传输，因此并非每一帧视频数据都有对应的WiFi数据。
在数据处理中，以WiFi数据时间为基础，寻找每一个有接收信号强度的WiFi数据对应时间的视频中的帧。将3个接收器的WiFi数据与对应视频帧中人的定位坐标组成一组数据；使用MATLAB软件中的神经网络工具箱建立网络模型，以WiFi接收器的信号强度数据为输入数据、视频帧中实验人员坐标为输出数据进行学习。模型为双层前馈神经网络，隐含层神经元数为100。数据中60%为训练数据，20%为验证数据，剩余20%为测试数据；进一步将WiFi接收信号强度进行差分计算，与视频帧中实验人员定位数据组成一组新的数据；基于新的数据进行神经网络模型的训练，模型为双层前馈神经网络，隐含层神经元数为100。数据中60%为训练数据，20%为验证数据，剩余20%为测试数据；计算输出结果与视频中人员位置的误差。
4 实验结果与讨论MATLAB计算运行的时间约为10 s。将从神经网络模型中获得的实验人员位置数据与视频帧中实验人员实际位置进行比较，统计所有输出数据误差的距离，结果如图 5和6所示。

图 5 基于原始数据的误差直方图

图选项

图 6 基于信号强度差数据的误差直方图

图选项

图 5为使用WiFi接收器原始接收信号强度数据进行计算时的误差直方图，图 6为使用WiFi接收器之间信号强度差作为输入信号时的误差直方图。
从以上两图可知，在训练集、验证集合测试集中的输出数据误差大部分小于100像素。考虑到实验人员在视频画面中已经占据了较大的面积，该误差对于人员识别的干扰较小。也就是通过前馈神经网络算法可以得出将采集信号强度信息转换为视频中人物位置信息的模型，在人较少或者人与人之间的间隔较大的时候，该系统可以清楚从WiFi信号数据中区分出不同MAC地址设备对应的在视频中的用户。并且在采用设定阈值排除显著误差数据等方法后，其精度可能获得更大的提升。
在线上-线下联合监控系统中，为了监控一个人的网上行为和现实行动，本系统将视频中的人物和所存在的上网设备MAC地址进行匹配。而最终的在视频中进行的身份识别将依赖于人脸识别技术。与前人的研究相比，常规楼层高度的监控视频数据使得基于视频的定位变得比较困难，但却足以通过使用人脸分析进行身份识别。直接将无线设备识别信息与视频画面中的人物信息相结合，省略了人员在空间中的二维坐标这一联结点。同时，本系统已经监测出了人物在视频中的位置，人脸识别和行为识别等其他视频分析技术可以方便地与本系统进行衔接。
考虑到大规模实施所需要的投入，本次实验设计着重关注了系统整体所需的成本。WiFi数据接收器主要由开源硬件和开源软件构成，有较高的信赖度和较低的成本；此次实验所使用的神经网络模型比较简单，一个摄像头的训练时间少于10 s，在离开MATLAB环境后，其计算时间可以更短，对于大量数据的处理不需要太多的计算资源投入；WiFi接收器的指挥系统可以在通用计算机上安装的软件通过无线通信完成，不需要专门的设备。如果使用更高精度的硬件、更复杂的模型或者专业化的设备，则数据转换时的误差可能再次降低。
通过本系统进行场景内多个人物数据与手机数据匹配时，可以简单地提取视频中人员的移动轨迹，并与神经网络模型的输出移动轨迹寻找最小误差的匹配方案，完成人物与手机信息的融合。但除此之外，可以引入一些统计学方法进一步提高数据融合的精度。
5 结论本文基于线上-线下联合监控研究思路，提出了一种将视频分析得出的人物信息与手机信息匹配的系统。该系统融合了现场视频人物数据与手机MAC地址信息，并可以通过监控特定手机的访问网络流量数据，将对个人监控内容扩大到网络上的行为。可以通过视频中的行动和网络上的行动进行联合数据采集和数据分析，更全面地判断一个人对社会安全作出危险活动的风险程度。该系统适合于对重点人的有针对性的监控。本文提出的系统已在较低的成本范围内实现监控所需的功能，但仍然可以通过软件、硬件、算法的改进而进一步提高匹配的精度。进一步与人脸识别、网络流量分析等技术结合后，该系统将逐步成为满足社会安全事件监测需求的监控和数据分析系统。

参考文献

[1]	吕雪梅. 美国预测警务中基于大数据的犯罪情报分析[J]. 情报杂志, 2015, 34(12): 16–20. Lü X M. Surveying the crime analysis in U.S. prediction policing from big data[J]. Journal of Intelligence, 2015, 34(12): 16–20. DOI:10.3969/j.issn.1002-1965.2015.12.004(in Chinese)
[2]	于红志, 刘凤鑫, 邹开其. 改进的模糊BP神经网络及在犯罪预测中的应用[J]. 辽宁工程技术大学学报(自然科学版), 2012, 31(2): 244–247. YU H Z, LIU F X, ZOU K Q. Improved fuzzy BP neural network and its application in crime prediction[J]. Journal of Liaoning Technical University (Natural Science), 2012, 31(2): 244–247. (in Chinese)
[3]	王雨晨, 过仲阳, 王媛媛. 基于随机森林的犯罪风险预测模型研究[J]. 华东师范大学学报(自然科学版), 2017(4): 89–96. WANG Y C, GUO Z Y, WANG Y Y. A forecasting model of crime risk based on random forest[J]. Journal of East China Normal University (Natural Science), 2017(4): 89–96. (in Chinese)
[4]	马国富, 王子贤, 马胜利. 机器学习模型在预测服刑人员再犯罪危险性中的效用分析[J]. 河北大学学报(自然科学版), 2017, 37(4): 426–433. MA G F, WANG Z X, MA S L. Analysis of the effectiveness of machine learning model in predicting the risk of inmates[J]. Journal of Hebei University (Natural Science Edition), 2017, 37(4): 426–433. (in Chinese)
[5]	刘莹, 王宁, 李保华, 等. 模糊语法方法在犯罪文本分类中的应用[J]. 计算机工程与设计, 2017, 38(7): 1965–1971. LIU Y, WANG N, LI B H, et al. Application of fuzzy grammar method in crime text classification[J]. Computer Engineering and Design, 2017, 38(7): 1965–1971. (in Chinese)
[6]	DHAKA P, JOHARI R. CRIB: Cyber crime investigation, data archival and analysis using big data tool[C]//Proceedings of 2016 International Conference on Computing, Communication and Automation. Noida, India: IEEE, 2016: 117-121.
[7]	吕林涛, 姬娜, 张九龙. 基于RBF神经网络的可疑交易监测模型[J]. 计算机工程与应用, 2010, 46(3): 207–210. Lü L T, JI N, ZHANG J L. Suspicious transaction detection model based on Radial Basis Function Neural Network[J]. Computer Engineering and Applications, 2010, 46(3): 207–210. (in Chinese)
[8]	KHAN S, ANSARI F, DHALVELKAR H A, et al. Criminal investigation using call data records (CDR) through big data technology[C]//Proceedings of 2017 International Conference on Nascent Technologies in Engineering. Navi Mumbai, India: IEEE, 2017: 1-5.
[9]	WEINSTEIN C, CAMPBELL W, DELANEY B, et al. Modeling and detection techniques for counter-terror social network analysis and intent recognition[C]//Proceedings of 2009 IEEE Aerospace Conference. Big Sky, USA: IEEE, 2009: 1-16.
[10]	李泽, 孙多勇, 李博. 基于社会网络与事件关联的恐怖事件监测与识别[J]. 科技导报, 2017, 35(9): 87–94. LI Z, SUN D Y, LI B. Terrorist events monitoring and identifying based on correlation between social networks and events[J]. Science & Technology Review, 2017, 35(9): 87–94. (in Chinese)
[11]	CURRIER C, GREENWALD G, FISHMAN A. U. S. Government designated prominent al Jazeera journalist as "member of Al Qaeda"[N/OL]. (2015G05G08)[2017G10G25]. https://theintercept.com/2015/05/08/u-s-government-designated-prominent-al-jazeera-journalist-al-qaeda-member-put-watch-list/.
[12]	TENG J, ZHANG B Y, ZHU J D, et al. EV-Loc:Integrating electronic and visual signals for accurate localization[J]. IEEE/ACM Transactions on Networking, 2014, 22(4): 1285–1296. DOI:10.1109/TNET.2013.2274283
[13]	ZHU J D, TENG J, XUAN D, et al. Effective visual tracking with electronic localization by directional antennas[C]//Proceedings of 2011 IEEE National Aerospace and Electronics Conference. Dayton, USA: IEEE, 2011: 95-100.
[14]	LI X F, TENG J, ZHAI Q, et al. EV-Human: Human localization via visual estimation of body electronic interference[C]//Proceedings of 2013 IEEE INFOCOM. Turin, Italy: IEEE, 2013: 500-504.