1(苏州大学计算机科学与技术学院 江苏苏州 215006);2(苏州大学应用技术学院 江苏苏州 215300);3(符号计算与知识工程教育部重点实验室(吉林大学) 长春 130012) (xlin2017@stu.suda.edu.cn)
出版日期: 2019-08-01基金资助:国家自然科学基金项目(61773272,61272258,61301299)；吉林大学符号计算与知识工程教育部重点实验室项目(93K172016K08)；江苏高校优势学科建设工程资助项目Scene Graph Generation Based on Shuffle Residual Context Information
Lin Xin1, Tian Xin1, Ji Yi1, Xu Yunlong2, Liu Chunping1,31(School of Computer Science and Technology, Soochow University, Suzhou, Jiangsu 215006);2(Applied Technology College of Soochow University, Suzhou, Jiangsu 215300);3(Key Laboratory of Symbol Computation and Knowledge Engineering (Jilin University), Ministry of Education, Changchun 130012)
Online: 2019-08-01摘要/Abstract
摘要： 场景图在视觉理解中有着很重要的作用.现有的场景图生成方法对于主语、宾语以及主宾语间的视觉关系进行研究.但是,人类通过空间关系上下文、语义上下文和目标之间的互动信息来进行关系的理解和推理.为了获得更好的全局上下文表示，同时减少数据集偏差的影响，提出了一个新的场景图生成框架RSSQ(residual shuffle sequence model).该框架由目标解码、残差置乱和位置嵌入3部分构成.残差置乱模块由随机置乱和残差连接的双向LSTM的基本结构叠加而成，利用迭代方式实现随机打乱双向LSTM的隐藏状态以减少数据集偏差影响，利用残差连接提取共享的全局上下文信息.在位置嵌入模块中，通过对目标的相对位置和面积比例的编码则可以增强目标对之间的空间关系.在数据集Visual Genome的3个不同层次子任务的实验中，证明了提出的RSSQ方法因全局上下文改善和空间关系增强，在Recall@50和Recall@100指标评价下，相对于现有方法能生成更好的场景图.
参考文献
相关文章 15
| [1] | 于畅, 王雅文, 林欢, 宫云战. 基于故障检测上下文的等价变异体识别算法[J]. 计算机研究与发展, 2021, 58(1): 83-97. |
| [2] | 王子晔, 苗夺谦, 赵才荣, 罗晟, 卫志华. 基于多粒度特征的行人跟踪检测结合算法[J]. 计算机研究与发展, 2020, 57(5): 996-1002. |
| [3] | 姚思雨, 赵天哲, 王瑞杰, 刘均. 规则引导的知识图谱联合嵌入方法[J]. 计算机研究与发展, 2020, 57(12): 2514-2522. |
| [4] | 章晓芳,周倩,梁斌,徐进. 一种自适应的多臂赌博机算法[J]. 计算机研究与发展, 2019, 56(3): 643-654. |
| [5] | 黄继鹏,史颖欢,高阳. 面向小目标的多尺度Faster-RCNN检测算法[J]. 计算机研究与发展, 2019, 56(2): 319-327. |
| [6] | 彭宇新，綦金玮，黄鑫. 多媒体内容理解的研究现状与展望[J]. 计算机研究与发展, 2019, 56(1): 183-208. |
| [7] | 谢娟英，侯琦，史颖欢，吕鹏，景丽萍，庄福振，张军平，谭晓阳，许升全. 蝴蝶种类自动识别研究[J]. 计算机研究与发展, 2018, 55(8): 1609-1618. |
| [8] | 王海艳, 肖亦康. 基于密度峰值聚类的动态群组发现方法[J]. 计算机研究与发展, 2018, 55(2): 391-399. |
| [9] | 柳培忠，汪鸿翔，骆炎民，杜永兆. 一种结合时空上下文的在线卷积网络跟踪算法[J]. 计算机研究与发展, 2018, 55(12): 2785-2793. |
| [10] | 杨倩,罗娟,刘畅. 基于上下文的VANET服务推荐中间件[J]. 计算机研究与发展, 2017, 54(9): 1992-2000. |
| [11] | 逄龙,苏小红,马培军,赵玲玲. 流敏感按需指针别名分析算法[J]. 计算机研究与发展, 2015, 52(7): 1620-1630. |
| [12] | 陈小康,许畅,江磊. Hybrid-Fixing:上下文一致性错误的正确修复[J]. 计算机研究与发展, 2015, 52(6): 1443-1451. |
| [13] | 陈耀东,李仁发. 一种层次化的联合识别模型[J]. 计算机研究与发展, 2015, 52(11): 2431-2440. |
| [14] | 朱常鹏 赵银亮 韩 博 曾庆花 刘淞佳. 以虚拟机为核心支持动态层绑定的方法[J]. 计算机研究与发展, 2014, 51(2): 429-444. |
| [15] | 陈耀东 李仁发. 一种面向目标检测的部件学习方法[J]. 计算机研究与发展, 2013, 50(9): 1902-1913. |
PDF全文下载地址:
https://crad.ict.ac.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=3990
