之江杯全球人工智能大赛是由之江实验室承办,阿里巴巴集团赞助的大型国际性赛事。大赛共设置了四个赛题,分为技术挑战赛(视频描述生成)和创新赛(零样本目标检测,行人多目标跟踪,电商评论观点挖掘)两类赛题。此次大赛共吸引了全球1700多支队伍,共5000余名选手参加比赛。自今年7月17日开放报名起,历时三个多月,经初赛、复赛层层选拔,共有40支队伍入围决赛。
比赛的决赛包括现场答辩与现场PK环节。金琴副教授团队在比赛中,重点着眼于解决全面识别视频中的场景,对象和生成准确且自然的视频描述这两大难题。采用了多模态融合及语义概念增强的视频语义编码方式,来减少视频和自然语言表达之间的鸿沟。模型方面,使用了基于综合时序和语义的注意力机制辅助模型生成描述,并充分利用语言模型和视频-语义检索模型分别从流利度和内容相关性两个方面更有效的融合选择候选描述结果。该模型无论是在机器评分,还是专家现场打分上都表现出了明显的优势,最终成功夺得第一名。
潘云鹤院士和杭州市市委副书记张仲灿为四道赛题的一等奖团队代表颁奖。
