一种基于滑动窗口分割的连续中国手语识别系统

王鑫炎¹,王青山¹,马晓迪¹,刘鹏²,戴海鹏³

1. 合肥工业大学 数学学院
2. 杭州电子科技大学 计算机学院
3. 南京大学 计算机科学与技术学院

收稿日期:2021-01-02修回日期:2021-03-25出版日期:2021-10-28发布日期:2021-09-06
通讯作者:王青山E-mail:qswang@hfut.edu.cn

A Split Sliding Window-Based Continuous Chinese Sign Language Recognition System

Received:2021-01-02Revised:2021-03-25Online:2021-10-28Published:2021-09-06
Contact:Qing-Shan WANG E-mail:qswang@hfut.edu.cn

摘要/Abstract

摘要： 听力障碍者在全世界残疾人群体中占有较大的比重. 他们能通过手语与健全人交流,但因手语不被大众所掌握,导致彼此交流存在较大障碍. 为此提出了一种基于滑动窗口分割( SSW)的连续中国手语识别系统来实现手语自动识别. SSW 系统将通过滑动窗口选取出来的手语信号平均分割,依次删去其中一组数据,从而得到新的数据,输入手语识别神经网络进行训练,得出单个手语单词手势预测值,最后运用基于阈值的多投票策略对识别出的预测值进行判断,得出识别结果. SSW 系统在对 20 名志愿者采集的 30 条手语语句上进行训练,结果显示,所提SSW 系统自动识别手语的平均准确率在测试集上达到 83. 9% ,较长短期记忆网络模型提高了 16.7% .

中图分类号:
TP183

引用本文

王鑫炎 王青山 马晓迪 刘鹏 戴海鹏. 一种基于滑动窗口分割的连续中国手语识别系统[J]. 北京邮电大学学报, 2021, 44(05): 48-54.





PDF全文下载地址:

https://journal.bupt.edu.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=4829