李祥攀¹,张彪¹,孙凤池²,刘杰³

¹(南开大学计算机学院 天津 300750);²(南开大学软件学院 天津 300750);³(南开大学人工智能学院 天津 300750) (xiangpan.li@qq.com)

出版日期: 2020-06-01


基金资助:国家自然科学基金项目(61873327)

Indoor Scene Understanding by Fusing Multi-View RGB-D Image Frames

Li Xiangpan¹, Zhang Biao¹, Sun Fengchi², Liu Jie³

¹(College of Computer Science, Nankai University, Tianjin 300750);²(College of Software, Nankai University, Tianjin 300750);³(College of Artificial Intelligence, Nankai University, Tianjin 300750)

Online: 2020-06-01


Supported by:This work was supported by the National Natural Science Foundation of China (61873327).

摘要/Abstract

摘要： 对于智能机器人来说，正确地理解环境是一项非常重要且充满挑战性的能力，从而成为机器人学领域一个关键问题.随着服务机器人进入家庭成为趋势，让机器人能够依靠自身搭载的传感器和场景理解算法，以自主、可靠的方式感知并理解其所处的环境，识别环境中的各类物体及其相互关系，并建立环境模型，成为自主完成任务和实现人-机器人智能交互的前提.在规模较大的室内空间中，由于机器人常用的RGB-D(RGB depth)视觉传感器(同时获取彩色图像和深度信息)视野有限，使之难以直接获取包含整个区域的单帧图像，但机器人能够运动到不同位置，采集多种视角的图像数据，这些数据总体上能够覆盖整个场景.在此背景下，提出了基于多视角RGB-D图像帧信息融合的室内场景理解算法，在单帧RGB-D图像上进行物体检测和物体关系提取，在多帧RGB-D图像上进行物体实例检测，同时构建对应整个场景的物体关系拓扑图模型.通过对RGB-D图像帧进行划分，提取图像单元的颜色直方图特征，并提出基于最长公共子序列的跨帧物体实例检测方法，确定多帧图像之间的物体对应关联，解决了RGB-D摄像机视角变化影响图像帧融合的问题.最后，在NYUv2(NYU depth dataset v2)数据集上验证了本文算法的有效性.

参考文献

相关文章 15

[1]	谭建豪, 张思远. 基于自适应空间正则化的视觉目标跟踪算法[J]. 计算机研究与发展, 2021, 58(2): 427-435.
[2]	王会勇, 唐士杰, 丁勇, 王玉珏, 李佳慧. 生物特征识别模板保护综述[J]. 计算机研究与发展, 2020, 57(5): 1003-1021.
[3]	贾颖霞, 郎丛妍, 冯松鹤. 基于类别相关的领域自适应交通图像语义分割方法[J]. 计算机研究与发展, 2020, 57(4): 876-887.
[4]	张宪, 史沧红, 李孝杰. 基于特征对抗对的视觉特征归因网络研究[J]. 计算机研究与发展, 2020, 57(3): 604-615.
[5]	王财勇, 孙哲南. 虹膜分割算法评价基准[J]. 计算机研究与发展, 2020, 57(2): 395-412.
[6]	戴臣超,王洪元,倪彤光,陈首兵. 基于深度卷积生成对抗网络和拓展近邻重排序的行人重识别[J]. 计算机研究与发展, 2019, 56(8): 1632-1641.
[7]	郭雨潇,陈雷霆,董悦. 单帧图像下的环境光遮蔽估计[J]. 计算机研究与发展, 2019, 56(2): 385-393.
[8]	张桂梅，郭黎娟，熊邦书，储珺. 基于多分辨率和自适应分数阶的Active Demons算法[J]. 计算机研究与发展, 2018, 55(12): 2753-2763.
[9]	范清兰,张云峰,包芳勋,沈晓红,姚勋祥,. 基于NSCT的区域自适应图像插值算法[J]. 计算机研究与发展, 2018, 55(3): 629-642.
[10]	丁宗元,王洪元,陈付华,倪彤光. 基于距离中心化与投影向量学习的行人重识别[J]. 计算机研究与发展, 2017, 54(8): 1785-1794.
[11]	张瑞茂,彭杰锋,吴恙,林倞. 融合语义知识的深度表达学习及在视觉理解中的应用[J]. 计算机研究与发展, 2017, 54(6): 1251-1266.
[12]	杜承垚,袁景凌,陈旻骋,李涛. GPU加速与L-ORB特征提取的全景视频实时拼接[J]. 计算机研究与发展, 2017, 54(6): 1316-1325.
[13]	张桂梅,徐继元,刘建新. 一种新的基于自适应分数阶的活动轮廓模型[J]. 计算机研究与发展, 2017, 54(5): 1045-1056.
[14]	朱快快,田青,陈松灿. 结合显性与隐性空间光滑的高效二维图像判别特征抽取[J]. 计算机研究与发展, 2017, 54(5): 1057-1066.
[15]	刘胜蓝,冯林,孙木鑫,刘洋. 分组排序多特征融合的图像检索方法[J]. 计算机研究与发展, 2017, 54(5): 1067-1076.

PDF全文下载地址:

https://crad.ict.ac.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=4197