删除或更新信息,请邮件至freekaoyan#163.com(#换成@)

手语的视觉语义-结构化解析方法研究

本站小编 Free考研考试/2021-12-21

本文二维码信息
二维码(扫一下试试看!)
手语的视觉语义-结构化解析方法研究
Studies on Visual Semantic-Structural Parsing of Sign Languages
投稿时间:2018-10-20
DOI:10.15918/j.tbit1001-0645.2019.s1.027
中文关键词:手语视觉显著性语义超像素视觉焦点种子结构解析
English Keywords:sign languagevisual saliencysematic super pixelvisual focus seedsstructural parsing
基金项目:国家自然科学基金资助项目(21377102);国家科技支撑计划重点项目(2009BAK59B02-04);陕西省教育厅专项科研计划项目(18JK1156)
作者单位E-mail
杨全西安交通大学 生物医学信息工程教育部重点实验室, 西安 710049
西安文理学院 信息工程学院, 西安 710065
薛方西安交通大学 生物医学信息工程教育部重点实验室, 西安 710049
卢佳蕾西安交通大学 生物医学信息工程教育部重点实验室, 西安 710049
陈欣西安交通大学 生物医学信息工程教育部重点实验室, 西安 710049
西安文理学院 信息工程学院, 西安 710065
梁恒西安交通大学 生物医学信息工程教育部重点实验室, 西安 710049lheng@mail.xitu.edu.cn
摘要点击次数:3819
全文下载次数:276
中文摘要:
人类用视觉认知手语,是通过不变的结构来描述物体各部分及其关系,实现从整体到部分的拆解或各部分的重新组合.本文通过模拟听障人对手语的认知方式,先计算其视野中的视觉显著区域,再将注意力焦点种子集中于手部提高其有效性,将生成的语义超像素作为部分,再把部分映射为手指骨架或将手掌缩为一个关节点,而得到子手语集.按解剖结构拆解手语图像(状态),初步实现了对一组相似手语的视觉语义-结构化解析.
English Summary:
Sign languages are visually perceived, which describes the parts of an object and their relations based on the invariable structure. It is realized by disassembling the whole into parts and subsequently recombining them. In our research, the salient visual regions were firstly calculated in the views of the hearing-impaired person by simulating their cognitive mode about sign languages. Afterwards, the visual seeds of focus were concentrated on the hands to improve its effectiveness. Finally, we obtained the sub-sign language by making the generated semantic superpixels as the parts, which were mapped into the finger skeleton, or shrinking the palm to a node. By disassembling the images (states) of sign languages according to their anatomical structures, the visual semantic-structural parsing is preliminarily realized for a set of words of the similar sign language.
查看全文查看/发表评论下载PDF阅读器
相关话题/西安交通大学 生物医学 信息工程 视觉 结构