2012年,美国奥巴马政府将大数据战略上升为国家战略。2015年,我国“十三五”规划正式提出“实施国家大数据战略,推进数据资源开放共享”。大数据的战略重要性,不言而喻。在万物皆可数字化的时代,信息数据的增长是爆炸性的,国际数据公司(IDC)预测,2025年全球数据量将达到175泽字节(ZB,1泽字节相当于1万亿GB)。那么问题来了:如何从海量的数据中挖掘到有价值的信息并为我们所用呢?
作为国家战略的先行者,我校副校长、电子与信息工程学院教授蒋昌俊带领团队长期致力于大数据计算分析相关研究。历经十余年的持续深耕,蒋昌俊领衔完成的“网络大数据计算分析与安全可信关键技术及应用”项目交出了一份漂亮的答卷:团队以大数据勘探为核心,自主创新研发了数据勘探器、挖掘分析器、内容索引器以及安全与可信管理器,构建了网络大数据计算分析与安全可信关键技术体系,实现了大数据的高效采集处理与安全可控。
日前,该项目在上海市2019年度科学技术奖励大会上荣获技术发明一等奖。“项目成果已在金融、保险、贸易、电商、交通等十多个行业的500余家企事业单位得到成功应用。”蒋昌俊说。
蒋昌俊教授展示项目成果
“有人将大数据比喻为石油、黄金,一点都不为过。可以说,谁掌握了大数据,谁就掌握了未来,这是大数据的战略意义所在。”蒋昌俊说,“从另外一个角度看,大数据规模巨大,但价值密度较低,大数据的采集和处理与石油开采、沙里淘金也有相似之处。”
蒋昌俊介绍,现有技术实行海量采集,采集处理及开发利用的盲目性较高,难以经济高效地开采与利用大数据资源。“哪里有数据源?数据源的资源丰不丰富?储量有多少?成分如何?价值高不高?高效采集和处理数据,必须先搞清楚这些问题。”
受地质矿产勘探的启发,蒋昌俊团队发明了大数据资源勘探器,变海量采集为量化勘探,掌握资源状况与价值所在,实现优化采集,克服了大数据开发利用的盲目性,有效减少无用功。“比如要分析知识产权,首先,到哪里可以找到这样的数据?然后,数据库里的数据结构是怎样的?是文本、图像、视频还是音频?分别有多少?……这些都能通过大数据资源勘探器解决。”
勘探、采样,确定了“油田”位置,接下来的“钻井采油”也并不简单。“大数据是时刻变化的,不仅增长快,而且更新速度快。”蒋昌俊说,要从动态性高、实时性强的大数据中“提纯”出有价值的信息,偏重于静态全量计算的现有挖掘分析技术就out了。在数据勘探基础上,团队发明了集合特征优选、高效分类与自适应聚类的大数据挖掘分析器,变全量计算为增量计算,解决了大数据强时变、增量性的处理需求与难题。
“炼油加工”环节,要考虑的是如何组织管理挖掘到的数据才能更好地服务用户。“以往的搜索引擎,采用的是倒排索引,输入关键词,只出来与之相关的所有网页,但关键词与关键词之间不存在语义关联。这种用户体验并不太好,费时繁琐效率不高。”
为了解决这个问题,团队建立了大数据资源的索引网络模型,在国内较早提出了基于索引网络的探索式搜索技术,发明了内容索引器,变倒排索引为索引网络,变匹配搜索为探索搜索,实现了语义关联信息的有效推荐。“比如搜索同济大学,就会有关联推荐,像相关重点建设高校,或者同济大学的各个学科等等。”蒋昌俊说,“大数据时代,用户面对的是信息海洋,关联推荐是很有必要的。目前,各大搜索引擎网站同类技术已相当成熟,但我们的技术在相关性、新颖性、多样性等方面都优于谷歌。”
项目团队与阿贡实验室代表团交流研讨
有了成熟的大数据采集和处理技术,团队将应用接轨瞄准了大数据安全与保护。自2007年起,蒋昌俊带领团队与支付宝开展研发合作,建立了中国网络支付领域首个风险防控系统。团队通过采集和分析用户在系统中留下的“蛛丝马迹”,构建了基于用户行为习惯的行为纹理,在行为识别模型基础上建立了一套交易欺诈精准判定和瞬时识别机制,通过比对行为纹理,在线捕获数据,实时阻止欺诈交易。
“现实生活中,每个人的行为习惯会体现在一言一行中。网络上也一样,任何一个细小行为都会留下‘痕迹’,使用的设备、时长、频率……久而久之形成习惯。这种习惯如同指纹一样难以复制,具有比密码更复杂的特点,借助这些‘痕迹’,可以对网络交易支付用户进行瞬时精准识别。”蒋昌俊举例说,“比如某个用户平时网上购物主要是买书,如果用户名、密码被盗,突然出现短时频繁的游戏点卡交易,那么系统比对他平时的行为纹理,就能快速、准确判定交易是否可信,从而决定是放行还是报警。” 该项技术也因此荣获2016年国家科技进步二等奖和2017年中国专利优秀奖。
从静态身份认证到动态行为认证,变封闭式防御为开放式安全,蒋昌俊团队建立的综合行为认证与可信评估的大数据保护与开放安全体系,可以有效实施系统二次防控,对进入系统的用户进行行为纹理分析,若差异异常即进行重点跟踪与管控,从而阻止入侵与信息泄露,实现了网络大数据及系统平台的可信管理与安全保障。
据悉,项目成果还服务于党的十九大会议、上合组织青岛峰会、首届中国国际进口博览会等国家重大活动安全保障,获得“首届中国国际进口博览会网络安保突出贡献奖”。(魏丹)
删除或更新信息,请邮件至freekaoyan#163.com(#换成@)
上海市科学技术奖获奖成果⑨|大数据“炼金术”
本站小编 Free考研考试/2021-01-15
相关话题/数据 网络
国家海底科学观测网监测与数据中心建筑主体结构封顶
8月31日,由同济大学牵头建设的国家重大科技基础设施海底科学观测网建设传来喜讯,随着最后一方混凝土浇筑完成,海底科学观测网监测与数据中心工程已成功完成建筑主体结构封顶。国家海底科学观测网是我国海洋领域在建的唯一海底国家重大科技基础设施,主要建设内容包括东海海底观测子网、南海海底观测子网、监测与数据中 ...同济大学通知公告 本站小编 Free考研考试 2021-01-15从人工智能到大数据,从设计管理到情感体验……以“格·外”与“空[ ]格”为主题的2020设计创意学院毕业作品展开展
疫情背景下,同济大学设计创意学院迎来第一次非常态的毕业设计作品展。硕士作品线下展览于6月19日正式开幕,本科毕业设计优秀作品自6月22日起陆续通过线上对外展示。从人工智能到大数据,从设计管理到情感体验,从教育到医疗服务设计……以“格·外”为主题的硕士毕业设计作品展,鼓励同学突破学科边缘,打破常规。本 ...同济大学通知公告 本站小编 Free考研考试 2021-01-15同济大学院校研究数据分析系统入围泰晤士高等教育亚洲“年度技术创新奖”
6月3日,泰晤士高等教育举办亚洲直播会议,揭晓了“泰晤士高等教育亚洲大奖”的入围名单。同济大学入围该大奖“年度技术创新奖”。此奖项共有8所亚洲高校入围,其中2所来自中国大陆地区,分别为同济大学和清华大学。大奖的最终结果将于今年11月举行的线上峰会上揭晓。同济大学入围项目为学校开发的国内第一个院校研究 ...同济大学通知公告 本站小编 Free考研考试 2021-01-15大数据学院、大数据研究院成立五周年专题报告会举行
10月8日上午,复旦大学大数据学院、大数据研究院建院五周年专题报告会通过线上线下相结合的方式举行,中科院院士、复旦大学校长许宁生,中科院院士、复旦大学常务副校长金力,中科院院士、南开大学统计与数据科学学院院长马志明,中科院院士、西安数学与数学技术研究院院长徐宗本,中科院院士、国家基金委数理科学部主任 ...复旦大学通知公告 本站小编 Free考研考试 2021-01-102020年中国网络理政十大创新案例发布
12月28日,人民日报《民生周刊》杂志社、复旦发展研究院和复旦大学新闻学院共同发布了“2020年中国网络理政十大创新案例”,入选的十大创新案例分别是安徽马鞍山发布、成都温江市民之声、广西南宁武鸣区“壮乡红云”智慧党建平台、宁波鄞州178网络社会柔性治理、河南省政府网站统一技术平台、网上山东文联、随申 ...复旦大学通知公告 本站小编 Free考研考试 2021-01-10上海市科研领域大数据联合创新实验室授牌签约仪式在复旦大学举行
7月17日下午,上海市科研领域大数据联合创新实验室工作研讨会暨授牌签约仪式在复旦大学经世书局光华厅举行。复旦大学副校长陈志敏、市教委信息中心主任王明政和市经信委信息化推进处薛威等出席会议并致辞。实验室联合共建单位代表、上海市信用领域大数据联合创新实验室(以下简称“信用实验室”)代表,复旦大学大数据研 ...复旦大学通知公告 本站小编 Free考研考试 2021-01-10计算机科学技术学院李银胜团队参与复工复产大数据分析科研攻关
近日,复旦大学收到中国物流与采购联合会来信,向计算机科学技术学院参与复工复产大数据紧急科研攻关的师生表示感谢。新冠肺炎疫情发生以来,中国物流与采购联合会配合国务院办公厅电子政务办,牵头行业专家与会员单位组建大数据联合分析团队,开展复工复产大数据分析工作,取得了显著成效。计算机科学技术学院副教授李银胜 ...复旦大学通知公告 本站小编 Free考研考试 2021-01-10复旦大学数学科学学院林伟教授团队构建辨识因果网络的新型算法
因果关系是自然界现象之间最普遍和最基本的联系。在物理学、生命科学、地理学等各个自然科学领域乃至哲学、经济学等社会科学中,发现内蕴的因果关系、因果网络可以反映系统演化的核心互作机制,具有重要的科学意义。因此,如何在基于大规模数据,并且在复杂系统精确模型缺失的前提下,准确地辨识系统变量之间的因果关系和因 ...复旦大学通知公告 本站小编 Free考研考试 2021-01-10第二届“慧源共享”高校开放数据创新研究大赛在复旦大学正式启动
2020年4月23日上午,在第25个“世界读书日”来临之际,“慧源共享·数据悦读”第二届高校开放数据创新研究大赛开幕式以线上线下联动的方式在复旦大学举行。本次活动旨在发挥长三角地区区位优势,推进数据时代长三角地区产学研用一体化协同创新,激发高校师生发掘利用开放数据资源进行创新研究与应用,聚合各行业力 ...复旦大学通知公告 本站小编 Free考研考试 2021-01-10微电子学院陈琳团队实现仿人脑柔性神经网络的超低功耗信息传递
人脑可以高效地处理和完成各项任务,神经系统在这个过程中扮演着重要的角色。生物神经网络由神经元相互连接组成,神经系统将从感受器收集的信息传输到大脑,并将大脑的指令传达给各个组织单元,保证生命活动正常的进行。生物神经元通过突触前端释放神经递质,诱导突触后端离子浓度(例如Na+,Cl-,K+)与动作电位发 ...复旦大学通知公告 本站小编 Free考研考试 2021-01-10