删除或更新信息,请邮件至freekaoyan#163.com(#换成@)

面向AR沙盘异地协同标绘的动作重构技术

本站小编 Free考研考试/2021-12-21

本文二维码信息
二维码(扫一下试试看!)
面向AR沙盘异地协同标绘的动作重构技术
A Motion Reconstruction Technology for Distributed Collaborative Plotting of AR Sand Table
投稿时间:2018-11-02
DOI:10.15918/j.tbit1001-0645.2018.431
中文关键词:协同标绘多人检测ResNet三维姿态估计动作重构
English Keywords:collaborative plottingmulti-person detectionResNet3D pose estimationmotion reconstruction
基金项目:“十三五”装备预研资助项目(61409230104,315100104,41401010203);中央高校基本科研业务费专项资金资助项目(30918012203);上海航天科技创新基金资助项目(SAST2019009)
作者单位E-mail
李维浩南京理工大学 自动化学院, 江苏, 南京 210094
姚世明南京理工大学 自动化学院, 江苏, 南京 210094
李蔚清南京理工大学 计算机科学与工程学院, 江苏, 南京 210094
苏智勇南京理工大学 自动化学院, 江苏, 南京 210094su@njust.edu.cn
摘要点击次数:611
全文下载次数:409
中文摘要:
为真实再现增强现实环境下全息沙盘异地协同标绘的交互过程,提出了一种基于视频的异地协同标绘动作重构技术.使用单目RGB相机采集作业人员的实时视频信息,基于YOLO实现多人检测,并确定作业人员在三维空间中的相对位置关系;基于改进的ResNet网络对检测到的每个作业人员进行关节点的三维位置预测;然后将估算出的本地作业人员的关节位置实时传送到异地,经过逆向运动学及低通滤波器的优化驱动虚拟化身的运动.实验结果表明,能够准确地再现异地作业人员的标绘动作,满足实际应用需求.
English Summary:
In order to realistically reproduce the interactive process of collaborative plotting of holographic electronic sand table under the augmented reality environment, a video-based distributed collaborative plotting reconstruction method was proposed. Firstly, the operators were tracked based on YOLO using a single RGB camera simultaneously to estimate the relative position of those people in 3D space. And an improved ResNet network was used to predict 3D joint positions for every operator. Then the estimated joint positions of the local operators were sent to other place to drive the avatar's movement in real time through low-pass filter and the method of inverse kinematics. The experiment results show that the proposed method can reproduce the operator's motion and meet the application requirements.
查看全文查看/发表评论下载PDF阅读器
相关话题/江苏 南京理工大学 自动化 技术 计算机科学