删除或更新信息,请邮件至freekaoyan#163.com(#换成@)

基于双流多关系GCNs的骨架动作识别方法

本站小编 Free考研考试/2021-12-15

刘芳1,2, 乔建忠1, 代钦3, 石祥滨2
1. 东北大学 计算机科学与工程学院, 辽宁 沈阳 110169;
2. 沈阳航空航天大学 计算机学院, 辽宁 沈阳 110136;
3. 沈阳工程学院 信息学院, 辽宁 沈阳 110136
收稿日期:2020-09-18
基金项目:辽宁省自然科学基金资助项目(2019-MS-254, 20180550337);辽宁省教育厅科研项目(JYT2020050, JL-2019);中央引导地方科技发展专项资金资助项目(2021JH6/10500127)。
作者简介:刘芳(1981-), 女, 辽宁鞍山人, 东北大学博士研究生, 沈阳航空航天大学讲师;
乔建忠(1964-), 男, 辽宁葫芦岛人, 东北大学教授, 博士生导师;
石祥滨(1963-), 男, 辽宁大连人, 沈阳航空航天大学教授。

摘要:基于图卷积网络(graph convolutional networks,GCNs)的骨架动作识别方法只能对关节点间的单一关系进行建模, 缺少描述多种关系的能力.借鉴知识图谱描述实体之间不同关系的思想, 提出一种基于关节点流和肢体流的双流多关系GCNs人体骨架动作识别方法, 对图结点间的自然连接关系、对称关系和全局关系进行建模, 各种特征在网络中同步传输并有效融合.运动的全身协作过程中, 每个部位的交互范围有限且依赖于具体动作, 提出基于Non-local机制的topK全局邻接关系自适应计算方法, 为每个结点动态选择交互强度较大的前K个结点作为全局关系邻接点.实验结果表明, 所提出的双流多关系网络在Kinetics和NTU-RGB+D数据集上取得了较好的动作识别效果.
关键词:动作识别骨架图卷积网络多关系topK
Skeleton-based Action Recognition Method with Two-Stream Multi-relational GCNs
LIU Fang1,2, QIAO Jian-zhong1, DAI Qin3, SHI Xiang-bin2
1. School of Computer Science & Engineering, Northeastern University, Shenyang 110169, China;
2. School of Computer Science, Shenyang Aerospace University, Shenyang 110136, China;
3. College of Information, Shenyang Institute of Engineering, Shenyang 110136, China
Corresponding author: QIAO Jian-zhong. E-mail:qiaojianzhong@mail.neu.edu.cn.

Abstract: The interaction of human body parts in motion is diverse, but the existing skeleton-based action recognition methods with GCNs(graph convolutional networks) can only model a single relationship between joints. The idea of knowledge graphs was used to describe the different relationships between entities and a two-stream multi-relational GCNs action recognition method was proposed based on joints and body parts, by which the models of the natural connection relationship, symmetric relationship, and global relationship among nodes were established. The features of each relationship were synchronously transmitted and effectively fused in the network. In the process of global cooperation of human body parts, the interaction range of each part was limited and depends on specific actions. An adaptive topK global adjacency relationship calculation method was proposed based on Non-local algorithm, in which the nodes with the topK interaction strength were selected dynamically as the adjacent nodes for each node. The experimental results show that the proposed two-stream multi-relational network achieves good action accuracy on the Kinetics dataset and the NTU-RGB+D dataset.
Key words: action recognitionskeletonGCNs(graph convolutional networks)multi-relationtopK
动作识别在视频监控、人机交互、智能家居、老年人/儿童看护和医疗看护等应用领域中都具有非常重要的作用, 是目前国内外业界和学术界的热点研究问题[1-2].动作识别可以采用多种不同模态的数据, 如RGB视频和图像、光流数据和骨架数据等[1-2].与其他模态的数据相比, 人体骨架序列由关节点在运动过程中的轨迹表示, 可以反映出人体细微的时空运动状态变化, 在动作识别问题上具有天然的优势.
人体骨架可以抽象为两种组成元素——关节点和骨骼, 关节点连接相邻的骨骼.因此, 可以把骨架简化为图, 图中的结点和边分别对应关节点和骨骼.循环神经网络(recurrent neural networks, RNNs)或者卷积神经网络(convolutional neural networks, CNNs)在处理骨架数据时通常将其转换为向量序列[3]或者2D网格[4], 导致了人体结构信息的丢失.图卷积网络(graph convolutional networks,GCNs)[2, 5-7]将卷积操作应用到非欧式的图结构数据中, 比较适合对基于骨架数据的动作识别问题进行建模.因此, 本文研究基于GCNs的骨架数据动作识别问题.
采用GCNs处理骨架数据的关键是关节点图结构的定义.目前基于GCNs的骨架动作识别方法大多采用人体骨骼自然连接作为关节点的图结构[2].实际上, 在人体运动过程中, 除了相邻部位, 非相邻部位之间同样存在运动交互.例如, 对称肢体的协作和全身肢体的交互等.对于走、跑这类动作, 肢体间的自然连接和对称连接主导运动; 对于吃东西、切菜这类动作, 肢体间的全局协作和对称连接主导运动.相邻肢体的关联运动和非相邻肢体的协作分别从微观和宏观上决定动作, 进行动作识别需要合理区分并描述人体关节点之间的不同协作关系.但是, 现有的基于GCNs的动作识别方法只能处理关节点之间的单关系[2].部分算法描述了关节点之间的多种关系, 但表示不同关系的邻接矩阵被累加到一起, 导致各种关系无法区分[5].Gao等[8]在GCNs和知识图谱的基础上提出了双流zero-shot动作识别网络.文献[9]采用关系图卷积网络来处理多关系社交网络数据.Ye等[10]提出了解决实体对齐任务的向量化关系图卷积网络.这些算法提出了不同应用下的多关系GCNs模型, 但是不能直接用于基于骨架的动作识别.一部分算法采用关节点之间的全连接图描述全局关系[5-6].人体运动是全身大部分肢体互相协作的过程, 但是每个部位的交互范围是有限的, 并且同一部位在不同动作下的协作对象是不同的.因此, 采用全连接图定义关节点的全局关系不够准确.除了关节点之外, 人体肢体同样是完成运动的重要组成部分.文献[5-6]采用双流网络对关节点流和肢体流建模, 双流融合后动作识别精度有一定提升.文献[1, 8]分别采用双流网络对不同模态的数据进行融合以提升模型精度.由于双流网络在动作识别中的有效性, 本文采用双流架构对骨架数据建模.
本文完成了以下工作:①借鉴知识图谱描述实体间不同关系的思想[9-11]提出多关系图卷积模块对关节点间的自然连接、对称和全局等关系进行建模, 详细刻画人体运动模式; ②提出一种基于Non-local机制[12]的topK全局关系计算模型, 动态计算不同动作下每个结点在网络每一层中的全局邻接关系; ③采用关节点图和肢体图进行动作识别, 提出一种基于双流多关系图卷积网络(two-stream multi-relational graph convolutional networks, 2S-MRGCNs)的人体骨架动作识别方法.
1 双流多关系图卷积动作识别网络人体运动是一个复杂的过程, 运动过程中, 肢体间的交互关系是多样化的.但是ST-GCN[2]等动作识别模型只能描述图结点之间的单一关系.文献[9]提出了一种多关系图卷积网络, 该网络可以对知识图谱中实体之间的不同关系进行建模.受该算法的启发, 本文提出一种基于知识图谱的双流多关系图卷积动作识别网络2S-MRGCNs.
1.1 双流网络架构人体运动是肢体之间相互协作并随着时间动态演变的过程, 除了关节点, 肢体的运动数据同样包含重要的信息.因此, 本文采用双流网络对关节点信息和肢体信息同时建模, 其结构图如图 1所示.
图 1(Fig. 1)
图 1 2S-MRGCNs的架构图Fig.1 The architecture of 2S-MRGCNs

图 1描述了2S-MRGCNs网络的基本框架.第一流的输入为人体关节点序列, 由各帧的人体关节点坐标构成; 第二流的输入为肢体序列, 由每一帧的肢体序列构成, 肢体信息由该部位的大小和方向表示, 根据肢体两端的关节点坐标计算.关节点流和肢体流的网络结构相同.该网络的主体结构由多关系图卷积(MRGCN)模块堆叠而成, 与ST-GCN网络类似, 共包括9个多关系图卷积层.最后对双流网络的分类结果进行加权融合, 融合权重根据实验确定.MRGCN模块的结构如图 1右侧所示.本文描述了关节点之间的自然连接、对称和全局三种连接关系, 每种连接关系有各自的图结构, 连接关系可以根据实际应用增加或减少.每个MRGCN模块采用三种图结构分别对前一层的输入特征进行图卷积运算, 并融合三种关系的特征作为这一层的输出, 第一层的输入为原始关节点和肢体序列.全局邻接关系结构图采用topK模块动态计算.
1.2 人体结构图的构建为了在动作识别中保留并有效利用骨架图中的人体结构信息, 本文在ST-GCN网络的基础上, 采用无向网组织人体关节点数据和肢体数据.
定义无向网G=(V, E, W, R).其中V为结点集, V=(vti|t=1, …, T, i=1, …, N), vti表示节点特征, t为帧的编号, T表示视频片段中帧的数量, i为每一帧中图结点的编号, N表示人体结构图中结点的数量, 结点集中包含了骨架序列在空间和时间上的所有结点[2]; E是边集合, 包含两个子集, 分别为空间上的边集合Es={vti, r, vtj}以及时间上的边集合Et={vti, r, v(t+l)i}, r表示边上的关系; W是边上的权值矩阵, 表示结点之间在动作过程中的交互强度, 通过学习获得; 关系集R={ro|o=1, …, U}, 表示图结点之间的交互关系, 可以根据实际情况定义.
本文为人体结构图(包括关节点图和肢体图)中的结点之间定义了三种交互关系, 分别为自然连接关系p, 对称关系s和全局关系g.自然连接关系表示的是图结点的物理连接, 用于描述运动过程中相邻肢体之间的局部关联运动.对称关系和全局关系用于描述非相邻肢体的全局协同运动, 是对自然连接关系的有效补充.
1) 自然连接关系是决定运动最基本、最关键的结构.本文采用邻接矩阵ApRN×N描述人体结构图中结点间的自然连接关系, Ap根据人体物理结构图 2定义, 以关节点图为例.图 2a图 2b分别为Kinetics[13]和NTU-RGB+D[3]数据集中的自然连接结构图.
图 2(Fig. 2)
图 2 人体自然连接关系图Fig.2 The natural connection relation of human body (a)—Kinetics; (b)—NTU-RGB+D.

2) 对称关系根据人体物理结构的对称性定义, 对对称关系单独建模可以直接获取对称肢体在运动中的协作信息, 提升运动特征的表示能力.本文采用邻接矩阵AsRN×N描述人体结构图的对称结构.
3) 全局关系描述运动过程中全身肢体的协作, 最简单的方法是将全局关系定义为所有结点的全连接图, 但是该方法对邻接关系的定义过于粗糙.本文根据运动过程中关节点(肢体)之间的交互强度自适应地为每个图结点选择最可能存在交互的K个邻接点.
1.3 基于Non-local的topK全局邻接关系自适应算法采用全连接图定义全局关系可以简单、充分地描述人体在运动过程中肢体间的全局协作.虽然人体运动涉及全身大部分的肢体, 但是单一肢体不能同时和所有部位交互, 并且在运动的不同阶段同一肢体的交互对象可能是动态变化的.这种全局统一的邻接关系定义方式会降低特征对不同类别动作的区分能力.因此, 本文提出一种topK全局邻接关系计算方法(简称topK模块).
topK模块首先计算全局关系下所有结点在运动过程中的交互强度, Non-local机制恰好可以解决这个问题.本文借鉴Non-local的思想计算给定输入下各个结点之间的关联强度, 然后对每个结点与其他结点的交互强度由大到小进行排序, 并选择前K个结点作为当前状态下该结点的邻接点.初始, 全局关系定义为所有结点的全连接图, 全局关系邻接矩阵由AgRN×N表示, 通过topK模块之后全局关系邻接矩阵表示为AgtopK.
对视频中的任意帧, 在网络中的任意层, 结点i与其他结点的交互强度向量为Si=(si1, si2, …, siN).交互强度的计算及K个邻接点的选择算法如式(1)所示:
(1)
其中:θφ为1×1卷积操作, 任意两个结点的交互强度根据该层的输入特征计算; ftopK(·)是一个排序函数, 返回值为排序后向量中前K个结点的索引, K值通过实验确定.topK模块的结构图如图 3所示, M为视频的数量, C为channel数量, B是batch size.
图 3(Fig. 3)
图 3 topK模块结构图Fig.3 The architecture of topK module

Ii表示任意结点i在当前层的交互强度前K个邻结点的索引, 则通过topK模块后, 图G在当前层的全局交互关系邻接矩阵如式(2)所示:
(2)
本文所提出的2S-MRGCNs网络是多层次的, 不同层包含不同的语义信息.为了详细描述不同类别动作在运动过程中的交互关系, topK模块可以插入到网络的每一层中, 计算结点在当前状态的全局邻接关系.
1.4 基于知识图谱的多关系图卷积模块人体运动包括相邻肢体的联合运动和非相邻肢体的协同运动, 这两种运动是同步的, 如果能显式描述这两种运动, 并保证这些信息在网络中同步传输、融合互补, 可以更精确描述动作.然而, 现有的算法在进行基于骨架的动作识别时并没有区分这些运动关系.因此, 本文提出一种多关系图卷积(MRGCN)模块, 对人体在运动过程中肢体部位所表现出来的不同关系进行联合建模.
MRGCN模块借鉴了知识图谱描述实体之间多关系的思想, 基础网络采用图卷积网络.该模块可以直接插入到基础网络中, 结构图如图 4所示.图 4中的S-GCN模块为ST-GCN网络中的空间图卷积模块.从图中可以看出, 在空间维度上任意单帧t中, 图通过任意MRGCN模块之后的输出如式(3)所示:
图 4(Fig. 4)
图 4 MRGCN模块结构图Fig.4 The architecture of MRGCN module

(3)
其中: foutr(G)表示图中各个结点在关系r上的输出; N×1维向量αr表示各个结点在关系r上的权重.结点vti在MRGCN模块下的输出为该结点在不同关系r下的输出结果的加权之和.αr采用attention机制计算, 如式(4)所示:
(4)
其中:wGr是权重参数矩阵; br是偏置向量.
参考ST-GCN, 在给定结点之间的连接关系r后, 可得出图G中任意结点在给定输入fin(vti)后通过S-GCN模块的输出foutr(vti)为
(5)
其中: Br(vti)表示结点vti在关系r下的邻接点, 每个结点都有自回路, 结点的邻接点定义在其1-hop邻域范围内; wr是类似于传统卷积操作中的权重函数, 函数的值与邻接点与输入结点的相对空间位置有关, 本文采用ST-GCN[2]中的空间位置划分策略对邻接点集合中的结点进行分类, ltir(vtj)是关系r下结点vtj的空间位置类别标签.按照结点与重心点(脖子所在结点)的相对位置, 邻接点集合中的结点分为结点本身、向心结点和离心结点.Mr(vti, vtj)为边{vti, r, vtj}的权重, 表示关系r下该边连接的两个结点在运动过程中的连接强度, 通过学习获得.Ztir(vtj)=|{vtk|ltir(vtk)=ltir(vtj)}|为归一化项.
时间维度上采用与文献[2]相同的方法, 时间窗口大小为9.为了详尽描述动作在时间上的动态变化情况, 时间上各帧进行融合时, 同样采用了attention机制.
2 实验本文在两个大型动作识别数据集Kinetics[13]和NTU-RGB+D[3]上对所提出的动作识别网络进行验证.Kinetics是目前为止最大的无约束动作识别数据集, NTU-RGB+D是目前最大的室内动作识别数据集.
2.1 数据集和实验设置Kinetics:Kinetics是一个大型的动作识别数据集, 该数据集包含30 000个视频动作片段、400个动作类别[13].数据是原始的视频, 没有提供骨架数据, 本文采用OpenPose工具集提取的人体姿态数据作为输入数据.每个人体包含18个关节点, 在多人视频中保留了两个人的姿态数据.在实验过程中训练集和验证集分别包含240 000个视频片段和20 000个视频片段.测试在验证集上进行, 采用ImageNet数据集上常用的top-1和top-5分类准确率对算法的性能进行评估.
NTU-RGB+D:NTU-RGB+D数据集中包括56 000个视频片段, 共60个动作类别[3].每个动作由三个高度相同水平角度不同的摄像机拍摄.数据集提供了由Kinect深度传感器获取的关节点3D坐标, 每个人体包含25个关节点.数据集的作者推荐了2个基准数据集:1) cross-subject(X-Sub)基准集, 包括40 320个训练视频和16 560个测试视频.训练数据来同一组表演者, 测试集中的数据来自剩余的表演者.2) cross-view(X-View)基准集, 包括37 920个训练视频和18 960个测试视频.训练视频中的片段包括拍摄角度2和拍摄角度3, 测试集中的数据全部来自视角1的相机.采用top-1准确率对动作识别算法进行评价.
实验都基于PyTorch深度学习框架, 采用一块TESLA T4 GPU, 显存16 GB.Kinetics数据集的batch size为32, NTU-RGB+D的batch size为16, 损失函数为交叉熵.
2.2 模型性能测试分别对本文所提出的MRGCN模块、topK模块和双流多关系GCNs网络的性能进行测试.为了方便比较, 所有的实验均在NTU-RGB+D数据集中的X-View基准集上进行, batch size统一设置为16.
2.2.1 MRGCN模块首先测试多关系模块MRGCN的性能.分别测试了自然连接关系p, 自然连接关系p+对称关系s, 自然连接关系p+全局关系g以及自然连接关系p+对称关系s+全局关系g的动作识别精度.全局关系采用结点的全连接图.只测试了关节点流的精度.实验结果如表 1所示.
表 1(Table 1)
表 1 不同关系下MRGCN模块的动作识别精度Table 1 The recognition accuracy of MRGCN module with different connection relations
模型 准确率(top-1)/%
MRGCN/p 89.75
MRGCN/p+s 89.83
MRGCN/p+g 88.88
MRGCN/p+s+g 90.58


表 1 不同关系下MRGCN模块的动作识别精度 Table 1 The recognition accuracy of MRGCN module with different connection relations

表 1中可以看出, MRGCN/p+s+g模块取得了最好的动作识别准确率, 说明该多关系模块可以详尽描述动作.模块MRGCN/p+g的动作识别结果稍差, 原因可能是采用全连结图定义了全局关系, 描述不够精细, 但是从总体上说该多关系模块比单关系更适合描述动作.
2.2.2 topK模块本文主要贡献之一是全局关系下的邻接点自适应选择算法.实验采用结点之间的自然连接关系和全局关系, 只测试了关节点流的动作识别精度.不同K值下该模块的性能测试结果如表 2所示.从表中可以看出, 不同的全局邻接关系确实影响了动作识别的精度, 加入topK模块后动作识别精度有较大的提升, 当K值为8~10时, top-1精度相对较高, 说明K值在这一范围内时全局关系更加合理.根据实验结果, 本文在后续实验中将NTU-RGB+D数据集中的K值设定为8, Kinetics数据集按相似比例设为6.
表 2(Table 2)
表 2 不同K值下topK模块的动作识别精度Table 2 The recognition accuracy of topK module with different K
K 准确率(top-1)/%
25 88.88
20 89.41
15 89.16
10 89.44
8 89.60
5 88.74


表 2 不同K值下topK模块的动作识别精度 Table 2 The recognition accuracy of topK module with different K

2.2.3 双流多关系GCNs网络本文的另一个贡献是对关节点流JS-MRGCNs和肢体流BS-MRGCNs数据的自适应融合.融合时, 直接对识别结果进行加权, 权值根据实验动态确定.实验结果如表 3图 5所示.从表 3可以看出, 双流网络的数据融合之后动作识别精度有较大的提升.图 5表明融合权重对识别结果有一定的影响, 当双流的权重取值相近时, 融合效果最好.本文后续实验为双流数据设置相同权值.
表 3(Table 3)
表 3 双流多关系网络的动作识别精度Table 3 The recognition accuracy of two-stream network
模型 准确率(top-1)/%
JS-MRGCNs 90.92
BS-MRGCNs 91.43
2S-MRGCNs 94.1


表 3 双流多关系网络的动作识别精度 Table 3 The recognition accuracy of two-stream network

图 5(Fig. 5)
图 5 不同融合权重下的2S-MRGCNs动作识别结果Fig.5 The results of different weights of 2S-MRGCNs

2.3 与主流基于GCNs的骨架动作识别算法的比较分别在数据集Kinetics和NTU-RGB+D上将所提出的2S-MRGCNs动作识别模型与主流的骨架动作识别算法进行了比较.实验结果如表 4表 5所示.分别将本文的2S-MRGCNs模型与基于RNNs的算法[3, 14]、基于CNNs的算法[15-17]和基于GCNs的算法[2, 5-6, 18]进行了比较.在Kinetics数据集上, 本文的2S-MRGCNs模型取得了比较理想的效果.在NTU-RGB+D数据集上, 本文模型动作识别准确率优于大部分的算法, 在X-Sub基准集上与SLnL-rFA相近, 在X-View基准集上与SLnL-rFA和2s-AGCN的结果相近.
表 4(Table 4)
表 4 Kinetics数据集上的识别精度Table 4 The recognition accuracies on Kinetics dataset
模型 准确率(top-1)/% 准确率(top-5)/%
Deep LSTM[3] 16.4 35.3
TCN[15] 20.3 40.0
ST-GCN[2] 30.7 52.8
Js-AGCN[5] 35.1 57.1
Bs-AGCN[5] 33.3 55.7
2s-AGCN[5] 36.1 58.7
SLnL-rFA[6] 36.6 59.1
2S-MRGCNs 36.8 59.7


表 4 Kinetics数据集上的识别精度 Table 4 The recognition accuracies on Kinetics dataset

表 5(Table 5)
表 5 NTU-RGB+D数据集的识别精度(top-1)Table 5 The recognition accuracies on NTU-RGB+D dataset(top-1) ?
%
模型 X-Sub X-View
Deep LSTM[3] 60.7 67.3
Ind-RNN[14] 81.8 88.0
TCN[15] 74.3 83.1
CNN+Motion+Trans[16] 83.2 89.3
3scale ResNet152[17] 85.0 92.3
ST-GCN[2] 81.5 88.3
DPRL+GCNN[18] 83.5 89.8
SLnL-rFA[6] 89.1 94.9
2s-AGCN[5] 88.5 95.1
2S-MRGCNs 88.9 94.1


表 5 NTU-RGB+D数据集的识别精度(top-1) Table 5 The recognition accuracies on NTU-RGB+D dataset(top-1) ?

这两个算法分别采用不同的策略对关节点坐标进行预处理获得了相对坐标, 对于Kinect摄像头获得的关节点坐标这种预处理策略比较有效.实验结果表明了本文所提出的2S-MRGCNs模型在基于骨架数据的动作识别上的有效性.
3 结语人体运动是一个复杂的过程, 单一的自然连接关系对动作的描述不够详尽.本文借鉴了知识图谱描述实体之间的不同关系的思想, 提出了一种双流多关系GCNs的人体骨架动作识别模型2S-MRGCNs, 分别对骨架数据的自然连接关系、对称关系和全局关系进行建模.为了精确描述全局关系, 采用Non-local机制动态计算网络每一层中所有结点之间的交互强度, 根据交互强度为每个结点动态选择K个全局邻接点.关节点流和肢体流分别描述了运动的不同方面, 本文提出双流多关系GCNs网络对二者分别进行建模以加强特征对动作的表示能力.在两个数据集上的实验结果表明, 2S-MRGCNs网络可以有效描述人体在运动过程中的不同交互行为, 精确描述全局关系, 具有较好的动作识别精度.
参考文献
[1] Wang L, Koniusz P, Huynh D.Hallucinating IDT descriptors and I3D optical flow features for action recognition with CNNs[C]//2019 IEEE International Conference on Computer Vision.Seoul, 2019: 8697-8707.
[2] Yan S, Xiong Y, Lin D.Spatial temporal graph convolutional networks for skeleton-based action recognition[C]//Thirty-Second AAAI Conference on Artificial Intelligence.New Orleans, 2018: 7444-7452.
[3] Shahroudy A, Liu J, Ng T, et al.NTU RGB+D: a large scale dataset for 3D human activity analysis[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas, 2016: 1010-1019.
[4] Ke Q, Bennamoun M, An S, et al.A new representation of skeleton sequences for 3D action recognition[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition.Honolulu, 2017: 4570-4579.
[5] Shi L, Zhang Y, Cheng J, et al.Two-stream adaptive graph convolutional networks for skeleton-based action recognition[C]//2019 IEEE Conference on Computer Vision and Pattern Recognition.Long Beach, 2019: 12026-12035.
[6] Hu G, Cui B, Yu S.Skeleton-based action recognition with synchronous local and non-local spatio-temporal learning and frequency attention[C]//2019 IEEE International Conference on Multimedia and Expo.Shanghai, 2019: 1216-1221.
[7] Zhang P, Lan C, Zeng W, et al.Semantics-guided neural networks for efficient skeleton-based human action recognition[C]//2020 IEEE Conference on Computer Vision and Pattern Recognition.Seattle, 2020: 1109-1118.
[8] Gao J, Zhang T, Xu C.I know the relationships: zero-shot action recognition via two-stream graph convolutional networks and knowledge graphs[C]//The Thirty-Third AAAI Conference on Artificial Intelligence.Honolulu, 2019: 8303-8311.
[9] Schlichtkrull M S, Kipf T N, Bloem P, et al.Modeling relational data with graph convolutional networks[C]//The Semantic Web 15th International Conference.Heraklion, 2018: 593-607.
[10] Ye R, Li X, Fang Y, et al.A vectorized relational graph convolutional network for multi-relational network alignment[C]//28th International Joint Conference on Artificial Intelligence.Macao, 2019: 4135-4141.
[11] Vashishth S, Sanyal S, Nitin V, et al.Composition based multi-relational graph convolutional networks[C/OL]//8th International Conference on Learning Representations.[2020-12-21].https: //arxiv.org/pdf/1911.03082.pdf.
[12] Wang X, Girshick R B, Gupta A, et al.Non-local neural networks[C]//2018 IEEE Conference on Computer Vision and Pattern Recognition.Salt Lake City: IEEE Computer Society, 2018: 7794-7803.
[13] Kay W, Carreira J, Simonyan K, et al.The Kinetics human action video dataset[J/OL].Computing Research Repository.[2020-12-21].https: //arxiv.org/pdf/1705.06950.pdf.
[14] Li S, Li W, Cook C, et al.Independently recurrent neural network (INDRNN): building a longer and deeper RNN[C]//2018 IEEE Conference on Computer Vision and Pattern Recognition.Salt Lake City: IEEE Computer Society, 2018: 5457-5466.
[15] Kim T S, Reiter A.Interpretable 3D human action analysis with temporal convolutional networks[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops.Honolulu, 2017: 1623-1631.
[16] Li C, Zhong Q, Xie D, et al.Skeleton-based action recognition with convolutional neural networks[C]//2017 IEEE International Conference on Multimedia and Expo Workshops.Hong Kong, 2017: 597-600.
[17] Li B, Dai Y, Cheng X, et al.Skeleton based action recognition using translation-scale invariant image mapping and multi-scale deep CNN[C]//2017 IEEE International Conference on Multimedia and Expo Workshops.Hong Kong, 2017: 601-604.
[18] Tang Y, Tian Y, Lu J, et al.Deepprogressive reinforcement learning for skeleton-based action recognition[C]//2018 IEEE Conference on Computer Vision and Pattern Recognition.Salt Lake City: IEEE Computer Society, 2018: 18-22.

相关话题/骨架 动作 关系 方法

  • 领限时大额优惠券,享本站正版考研考试资料!
    大额优惠券
    优惠券领取后72小时内有效,10万种最新考研考试考证类电子打印资料任你选。涵盖全国500余所院校考研专业课、200多种职业资格考试、1100多种经典教材,产品类型包含电子书、题库、全套资料以及视频,无论您是考研复习、考证刷题,还是考前冲刺等,不同类型的产品可满足您学习上的不同需求。 ...
    本站小编 Free壹佰分学习网 2022-09-19
  • 基于无人机点云数据的露天采场矿车提取方法
    毛亚纯1,伏雨文1,曹旺1,赵占国21.东北大学资源与土木工程学院,辽宁沈阳110819;2.中国黄金集团,北京100000收稿日期:2020-10-21基金项目:国家重点研发计划项目(2016YFC0801602)。作者简介:毛亚纯(1966-),男,辽宁本溪人,东北大学教授,博士生导师;赵占国( ...
    本站小编 Free考研考试 2021-12-15
  • 基于点云的TBM隧道成型质量检测方法及应用
    夏毅敏1,2,郭子泺1,2,邓朝辉3,龙斌41.中南大学高性能复杂制造国家重点实验室,湖南长沙410083;2.中南大学机电工程学院,湖南长沙410083;3.中铁第四勘察设计院集团有限公司,湖北武汉430063;4.中国铁建重工集团股份有限公司,湖南长沙410100收稿日期:2020-07-07基 ...
    本站小编 Free考研考试 2021-12-15
  • 基于迁移学习的轴承剩余使用寿命预测方法
    王新刚,韩凯忠,王超,李林东北大学机械工程与自动化学院,辽宁沈阳110819收稿日期:2020-10-26基金项目:中央高校基本科研业务费专项资金资助项目(N2023023);北京卫星环境工程研究所CAST-BISEE项目(CAST-BISEE2019-019);河北省自然科学基金资助项目(E202 ...
    本站小编 Free考研考试 2021-12-15
  • 基于改进二阶循环平稳解卷积的轴承故障检测方法
    罗忠1,2,徐迪1,2,李雷1,2,马辉1,21.东北大学机械工程与自动化学院,辽宁沈阳110819;2.东北大学航空动力装备振动及控制教育部重点实验室,辽宁沈阳110819收稿日期:2020-10-13基金项目:国家自然科学基金资助项目(11872148,U1908217);中央高校基本科研业务费 ...
    本站小编 Free考研考试 2021-12-15
  • 基于采煤机截割路径的动态三维地质模型构建方法
    李娟莉1,2,姜朔1,2,谢嘉成1,2,3,孙梦祯1,21.太原理工大学机械与运载工程学院,山西太原030024;2.煤矿综采装备山西省重点实验室,山西太原030024;3.太重煤机有限公司博士后科研工作站,山西太原030024收稿日期:2020-09-15基金项目:国家自然科学基金资助项目(520 ...
    本站小编 Free考研考试 2021-12-15
  • 基于迁移学习的贝叶斯网络参数学习方法
    王姝1,关展旭1,王晶1,孙晓辉21.东北大学信息科学与工程学院,辽宁沈阳110819;2.大连天籁安全风险管理技术有限公司,辽宁大连116021收稿日期:2020-09-06基金项目:国家自然科学基金资助项目(61973057);矿冶过程自动控制技术国家(北京市)重点实验室开放课题(BGRIMM- ...
    本站小编 Free考研考试 2021-12-15
  • 基于模拟退火粒子群算法的MIT图像重建方法
    杨丹1,2,3,芦甜1,2,郭文欣1,王旭11.东北大学信息科学与工程学院,辽宁沈阳110819;2.东北大学辽宁省红外光电材料及微纳器件重点实验室,辽宁沈阳110819;3.东北大学智能工业数据解析与优化教育部重点实验室,辽宁沈阳110819收稿日期:2020-09-11基金项目:国家自然科学基金 ...
    本站小编 Free考研考试 2021-12-15
  • 基于分形理论的辽宁城市群人地关系特征时空演变
    王雨枫1,曹洪军1,21.中国海洋大学环境科学与工程学院,山东青岛266100;2.中国海洋大学管理学院/管理创新与环境战略研究中心,山东青岛266100收稿日期:2020-05-20基金项目:国家自然科学基金资助项目(71603142);山东省社会科学规划研究项目(19CXSXJ05)。作者简介: ...
    本站小编 Free考研考试 2021-12-15
  • 基于校正分布差异的标定迁移方法研究
    赵煜辉,芦鹏程,刘晓东,齐天舒东北大学秦皇岛分校计算机与通信工程学院,河北秦皇岛066000收稿日期:2020-09-09基金项目:国家自然科学基金青年基金资助项目(61601104)。作者简介:赵煜辉(1971-),男,河北秦皇岛人,东北大学秦皇岛分校教授。摘要:针对近红外光谱数据的维度高、特征之 ...
    本站小编 Free考研考试 2021-12-15
  • 基于模型融合的低照度环境下车道线检测方法
    顾德英,王娜,李文超,陈龙东北大学秦皇岛分校控制工程学院,河北秦皇岛066004收稿日期:2020-08-18基金项目:河北省自然科学基金资助项目(F2019501044)。作者简介:顾德英(1964-),男,辽宁新民人,东北大学秦皇岛分校教授。摘要:针对低照度环境下车道线检测准确率低和稳定性差的问 ...
    本站小编 Free考研考试 2021-12-15