强茂山 , 张东成 , 江汉臣
清华大学 水沙科学与水利水电工程国家重点实验室, 项目管理与建设技术研究所, 北京 100084

收稿日期：2017-03-17
基金项目：国家自然科学基金资助项目（51479100）；水沙科学与水利水电工程国家重点实验室开放课题基金（2015-KY-5）
作者简介：强茂山(1957-), 男, 教授。E-mail:qiangms@tsinghua.edu.cn


摘要：对建筑工人施工行为的自动化识别是建设施工质量安全以及工作效率实时管理的核心方法，需要建筑、信息、管理等多领域交叉集成。该文以钢筋工为例，利用加速度传感器在工地现场采集钢筋工施工过程中手腕处运动的加速度数据，将钢筋工的所有行为分为3类。从加速度数据中提取特征值，应用分类器进行机器学习实验并进行精度对比，得出最佳分类器和最佳特征值。实验结果表明：最佳特征值与数据片段长度有关；在一定范围内，数据片段越长，识别精度越高；识别精度最高达到了85.9%，与以往研究相比，对工人行为的分类更细致且达到的精度更高。该研究为工程现场典型工种的动作识别提供了方法，为建筑工人行为的自动化实时监控、施工质量安全和效率管理奠定了基础。
关键词：加速度传感器钢筋工机器学习行为识别
Recognizing construction worker activities based on accelerometers
QIANG Maoshan, ZHANG Dongcheng, JIANG Hanchen
Institute of Project Management and Construction Technology, State Key Laboratory of Hydroscience and Engineering, Tsinghua University, Beijing 100084, China


Abstract: Automatic recognition of construction worker activities is key to real-time management of construction quality, safety and efficiency. An effective system requires the integration of many areas such as construction, information and management. Taking steel benders as an example, acceleration data from the wrists of steel benders was collected using accelerometers during the construction process. All activities were divided into three categories. The features were extracted from the acceleration data. Then classifiers were used to conduct machine learning with different features. The accuracies of different classifiers were compared to find the best classifiers and features. Tests demonstrate that the best features are related to the data segment length. Within a certain range, longer data segments give better recognition accuracy. This method gives more detailed classifications of the steel benders' activities with a recognition accuracy rate of 85.9% that is higher than previous methods. It provides a method for recognition of typical worker activities on site, and establishes a foundation for automated, real-time monitoring of construction workers to improve the quality, safety and efficiency of construction management.
Key words: accelerometersteel bendermachine learningactivity recognition
质量安全和效率管理是建设施工管理中的核心问题，细粒度的工人行为数据是实现有效管理的基础。因此，如何高效地对施工过程中的工人行为进行实时监控是****和应用界关注的基础问题。传统的监控方法通常基于人工监督或视频摄像，存在成本高、范围小、难以精确到个人、数据处理困难等问题。近年来，加速度传感器在行为识别方面的应用为解决这一问题提供了思路。
运动健康领域是利用加速度传感器进行行为识别的主要研究和应用领域。Mathie等^[1]在实验室条件下, 利用安装在腰部的三轴加速度传感器对普通人日常的休息和运动行为如散步、起立、坐下等，进行识别研究。P?rkk?等^[2]研究了不同类型的传感器，研究的行为包括平躺、划船、步行、坐与站、骑自行车、跑步等，证明了加速度传感器是行为识别研究中信息量最丰富且最精确的传感器。王昌喜^[3]使用了分别固定在上肢前臂以及上肢后臂的2个三轴加速度传感器，对乒乓球运动中的3种常见行为，即正抽、反抽和扣杀进行了分类识别研究。
在工业领域，应用加速度传感器进行行为识别的案例较少。Zappi等^[4]研究了轿车生产流水线上的10种关键行为，包括检查车门、检查引擎盖和行李箱、检查方向盘、在笔记本电脑上记录等。Koskim?ki等^[5]使用了加速度传感器和回转仪(角速度传感器)对生产流水线上的行为进行识别，比如锤、拧、用扳手等，总体识别精度达到了88.2%。
在工程建设领域，建筑工人的工作行为有较高重复率，使用加速度传感器进行行为识别具有可行性。2011年，Joshua等^[6]将加速度传感器应用在工程建设领域的人体行为识别研究中，将加速度传感器绑在石匠的腰部，在可控的环境下对石匠的工作行为，比如获取和抹砂浆、获取和堆砌砖块、填补关节等，进行了分类识别研究。2013年，Joshua等^[7]在施工现场环境下进行了行为识别的研究，将加速度传感器佩戴在实验者的手腕上和腰部，对钢筋工和木工的工作行为进行了分类识别，该研究将工人在工地现场的所有行为分为有效行为、有贡献行为和无效行为3类，最后得到的识别精度为85.10%。
从国内外的研究现状来看，将加速度传感器应用于人体行为识别的研究已经比较普遍，但目前大部分研究尚处于实验室条件下，现实环境条件下的研究较少。而且，在工程建设领域仅有初步探索，Joshua等^[6-7]的施工现场行为识别研究粒度较粗，只区分了动作有无效果，无法识别具体行为，而较细粒度的行为识别挑战性更大，需要区分相似的施工动作，其应用前景也更加广泛。本文以钢筋工为建筑工人的典型代表，对其施工过程的行为识别方法进行了研究，与已有研究相比，对工人行为进行了更细粒度的分类，并得到了更高的识别精度，为实现建筑工人行为实时监控打下了基础。
本文利用可佩戴的三轴加速度传感器，在工地现场的条件下对钢筋工的行为识别进行了探索，得出了一套初步的方法。根据已有研究及实地观察，这套方法可进一步拓展，为其他工种行为识别提供借鉴。研究的主要内容包含以下3点：1)对钢筋工工作时的所有行为进行合理的分类；2)根据行为分类选取合适的数据片段长度；3)选取最佳分类器方法和最佳特征值。
1 数据采集1.1 加速度传感器的选择与设定本文实验采用可佩戴的无线三轴加速度传感器，质量约19 g，量程为+8 g，精度为0.001 g(如图 1所示)。由于人体常见行为的频率均在20 Hz以下，因此设定加速度传感器的采样频率为30 Hz，即在实验过程中每秒采集30个包含x、y、z轴3个方向加速度值的数据样本点。

图 1 可佩戴式三轴加速度传感器

图选项

实验过程中采集的加速度数据首先存储在传感器中，之后通过USB接口导入计算机中进行处理。该无线加速度传感器小巧轻便、易于佩戴，整个实验过程不会对工人的正常工作造成影响，保证了所采集加速度数据的真实性和可靠性。
1.2 现场数据采集本文选取钢筋工作为建筑工人的典型代表，探讨其行为识别方法。选择了2个工地进行钢筋工行为的加速度数据采集，分别是湖南长沙的一栋在建高层建筑顶层、以及北京市海淀区清华附中的一座在建体育馆。
根据已有经验，本文将加速度传感器佩戴在钢筋工的左、右手腕上以采集加速度数据，按照个人的工作习惯分别记录为惯用手和非惯用手。采集过程中，工人按照平常的习惯和流程进行工作。同时，研究者同步拍摄视频以记录工人相应时段的工作行为。图 2为拍摄的施工现场工作场景。

图 2 现场工作场景

图选项

实验中采集了5名熟练钢筋工工作时的加速度数据，录制了总时长约2 h的视频。
2 数据预处理2.1 数据标注为构建机器学习实验的训练集和测试集，首先需要对钢筋工在工地的所有行为进行合理分类，并对加速度数据进行标注。
2.1.1 钢筋工行为分类参考已有研究的分类方法，并通过工地现场对钢筋工行为的观察，将钢筋工在工地现场的所有行为分成如下3大类。
1) 取摆钢筋：包括取钢筋(从身边取钢筋或者从附近的钢筋放置点搬运钢筋等)、摆钢筋(将钢筋调整至合适的位置)、弯钢筋(将直钢筋作弯曲处理)。这类动作的幅度较大但频率较低。
2) 绑钢筋：包括绑扎钢筋(使用相应工具)、调整钢筋位置(在绑扎过程中用工具对钢筋位置进行细微调整)、整理钢丝(在绑扎过程中对用于绑扎的钢丝进行整理)。这类动作的幅度较小但频率较高。
3) 无效行为：包括在工作过程中除了上述两类有效行为后的所有动作，如等待、无目的性行走、休息、找工具、取工具、检查、测量和标记、得到指示、给出指示等。这类动作的幅度和频率都不高。
2.1.2 加速度数据标注在工地现场采集数据后，将加速度数据通过USB接口传输到计算机中，并用相应软件导出。导出的加速度数据文件带有时间戳，对照相应时段对工人行为拍摄的视频，可以标注出对应的工人行为。
2.2 数据切片数据标注后，将加速度的时间序列切成长度相同的片段，而后对各数据片段进行特征值提取和行为分类识别的实验。
数据片段长度的选择是研究中的关键问题之一。如果切片过长，可能浪费大量数据，而且会降低行为识别的效率；如果切片过短，则可能没有包含该种行为足够的体态特征，不利于分类精度。
由于后期特征值提取需使用快速傅里叶变换(fast Fourier transformation, FFT)，所以数据片段样本点的数量必须是2的乘方。结合现场对工人行为的观察，采取一个数据片段包含32个样本点(1.07 s)、64个样本点(2.13 s)和128个样本点(4.27 s)的3种片段长度进行切片，分别进行机器学习分类实验。
为了对“取摆钢筋” “绑钢筋”和“无效行为”3种行为的加速度特征形成直观的了解和对比，针对3种不同行为，本文选取时长为30 s的加速度序列绘制三轴加速度数据散点图，如图 3所示。

图 3 三轴加速度散点图

图选项

从散点图可以较为直观地看出，非惯用手和惯用手之间、各种行为之间的加速度存在可区分的差异。例如，各种行为惯用手的加速度数据分布范围较大，且变化幅度较大，而非惯用手的加速度分布相对则比较集中；取摆钢筋时的加速度变化幅度比绑钢筋时小；无效行为的加速度变化幅度比其他两类有效行为(取摆钢筋和绑钢筋)小。
3 机器学习分类实验3.1 特征值提取对数据进行标注和切片后，即可提取特征值。数据片段的特征值分为时域特征值和频域特征值两类。为选取最佳特征值，本文首先参考了大量已有文献，经分析后提取出其中常用的、识别能力较强的特征值，然后结合工地现状进行调整，再针对工人行为自定义了新型特征值，构成本文特征值体系。最后，本文针对该特征值体系运用机器学习方法进行对比实验。
3.1.1 时域特征值提取时域特征值是对原始加速度数据较为直接的描述，本文提取的时域特征值包括：平均值、标准差、相关系数、峰值、deta、水平均值、竖直均值、水平标准差、竖直标准差。
1) 平均值。
平均值反映了各个数据片段加速度值的整体大小^{[2-3, 5-7, 8-9]}。从x、y、z轴的加速度数据中分别提取，包含惯用手、非惯用手共6个轴向的平均值。
2) 标准差。
标准差反映了各个数据片段加速度值的波动情况^{[2-3, 5-7, 8-9]}。从x、y、z轴的加速度数据中分别提取，包含惯用手、非惯用手共6个轴向的标准差。
3) 相关系数。
相关系数将任意2个轴的加速度变化情况联系起来，为涉及多平面运动的行为分类提供了有价值的信息^{[5-7, 8-9]}。从惯用手、非惯用手的加速度数据中分别提取3个，总共6个相关系数。
4) 峰值。
峰值是某个数据片段中加速度大小的最大值，反映了各个数据片段加速度值的变化范围^{[3, 5-6, 9]}。从x、y、z轴的加速度数据中分别提取，包含惯用手、非惯用手共6个轴向的峰值。
5) deta。
deta是三轴加速度矢量的平方和与重力加速度平方的差值。
由于加速度传感器在静止时测量的是反向的重力加速度^[10]，因此本文将deta作为一种新型特征值。工人静止时，deta为零；工作时，手腕处运动越剧烈deta值越大，即deta反映了手腕处运动加速度的震荡程度。
6) 水平均值、竖直均值。
在原始的三轴加速度数据中，剔除反向的重力加速度在三轴的分量，可以得到水平方向和竖直方向的真实加速度大小^[11]，进而提取出水平均值和竖直均值，并将其作为新型特征值。
7) 水平标准差、竖直标准差。
在原始的三轴加速度数据中，剔除反向的重力加速度在三轴的分量，得到水平方向和竖直方向的加速度大小，进而提取出水平标准差和竖直标准差，并将其作为新型特征值。
3.1.2 频域特征值提取本文通过FFT运算，将时域范围内的加速度传感器数据转化到频域范围内，提取的频域特征值包括：FFT、能量和各项FFT系数。
1) FFT。
FFT指的是FFT运算后所得第1个分量的幅度，即频率为零的直流分量^{[2, 7, 9]}。因为直流分量与反向重力加速度在各轴的分量相关，所以FFT反映了工人进行相应行为时的姿势。
2) 能量。
根据工地现场的观察，钢筋工手腕运动的频率一般不会超过5 Hz^{[2-3, 5-7, 9-10]}，因此本文定义的能量计算方法为：数据片段进行FFT运算后，对0~5 Hz范围内的分量幅度平方和取平均。它反映了工人进行各种行为时的能量消耗。
3) 各项FFT系数。
各项FFT系数指的是FFT运算后各分量的幅度，是不同频率下工人运动时的能量体现^{[2, 7, 8-9]}。在机器学习分类实验中，本文主要是对低频(0~5 Hz)的FFT系数进行实验。
3.2 分类器模型本文选取了3种分类器方法进行机器学习和行为分类实验，分别是支持向量机(support vector machine, SVM)、BP神经网络(back propagation neural network)和决策树(decision tree)。这3种分类器在行为识别的研究中运用均较为广泛，且分类识别能力较强。
支持向量机的优势在于处理非线性、小样本以及高维模式的识别问题，且运算速度较快^[12]。BP神经网络是目前在人工神经网络中研究和应用都较为成熟的模型。它可以通过误差逆传播训练出精度最高的模型。决策树是一个树状结构，采用一系列规则对数据进行分类^[8]。其优势在于运算速度较快、分类精度较高，而且具有较为直观的可解释性。
3.3 分类实验过程机器学习实验的过程为：在训练集上，根据提取出的加速度特征值和真实的行为分类，应用各种分类器方法进行训练得出相应模型；而后针对测试集应用该模型进行行为分类，并将分类结果和真实的工人行为进行对比得出分类精度。具体执行时，采用10折交叉验证法^[9]，将所有数据分成10份，轮流将其中的9份用于训练，1份用于测试，最终将得到的10次分类精度的平均值作为对该方法的精度估计。
根据上述过程，本文分别对比了各种分类器模型和各种特征值组合的识别能力，得出了最佳的分类器和特征值。
识别精度是考量该方法是否可行的唯一标准，因此本文以达到最高识别精度作为选取最佳特征值的原则。在实验过程中分别将特征值加入模型进行机器学习，如对精度有贡献则保留，无贡献则舍去。实验得到的精度对比结果如表 1所示，最终A6组实验得到了最高的分类精度。由于篇幅限制，表 1中仅列出了实验中关键筛选步骤的精度对比结果。
表 1 数据片段包含128个样本点(4.27 s)时的分类精度结果

实验序号	平均值	标准差	相关系数	峰值 (惯用手)	水平均值	水平标准差	deta	FFT0			FFT1			FFT2		能量	支持向量机(SVM) /%	BP神经网络 /%	决策树 /%
								惯用	非惯		惯用	非惯		惯用	非惯
A1	√	√															81.8	76.9	71.9
A2	√	√	√														83.9	75.6	72.6
A3	√	√	√	√													81.7	73.8	73.9
A4	√	√	√		√	√											82.7	76.6	72.8
A5	√	√	√				√										84.1	77.3	73.3
A6	√	√	√				√	√	√								85.9	72.8	73.6
A7	√	√	√				√	√	√		√	√					83.1	70.1	72.9
A8	√	√	√				√	√	√		√						84.9	68.3	72.8
A9	√	√	√				√	√	√							√	85.2	66.3	73.9
注：“√”表示选取该特征值；“惯用”和“非惯”分别表示惯用手和非惯用手；FFT1和FFT2分别表示FFT运算后的第1、2个分量的幅度。

表选项






4 结果与讨论4.1 实验结果4.1.1 数据片段长度为4.27 s通过分类实验进行精度对比，可得出：
1) 支持向量机的分类识别能力优于其他2种分类器；
2) 最佳的一组特征值选项为平均值、标准差、相关系数(惯用手)、deta、FFT，识别精度为85.9%。
4.1.2 数据片段长度为2.13 s通过分类实验进行精度对比，可得出：
1) 支持向量机的分类识别能力优于其他2种分类器；
2) 最佳的一组特征值选项为平均值、标准差、相关系数(非惯用手)、峰值(惯用手)、水平均值、水平标准差、FFT，识别精度为84.0%。
4.1.3 数据片段长度为1.07 s通过分类实验进行精度对比，可得出：
1) 支持向量机的分类识别能力优于其他2种分类器；
2) 最佳的一组特征值选项为平均值、标准差、峰值(惯用手)、水平均值、水平标准差、FFT，识别精度为83.9%。
4.2 分析讨论4.2.1 最优分类算法及参数配置综合上述实验结果，可得出：
1) 支持向量机的识别能力优于BP神经网络和决策树。
2) 最佳的特征值与选取的数据片段长度有关(如表 2所示)。
表 2 最佳特征值对比表

数据片段长度	最佳特征值
128个样本点(4.27 s)	平均值、标准差、相关系数、deta、FFT
64个样本点 (2.13 s)	平均值、标准差、相关系数、峰值(惯用手)、水平均值、水平标准差、FFT
32个样本点 (1.07 s)	平均值、标准差、峰值(惯用手)、水平均值、水平标准差、FFT

表选项






数据片段较长时，相关系数的识别能力较高，且占主导地位。因此，当数据片段包含128个样本点(4.27 s)时，峰值(惯用手)、水平均值、水平标准差未入选最佳特征值。
而在数据片段较短时，相关系数的识别能力较低，因此在片段包含64个样本点(2.13 s)和32个样本点(1.07 s)时，峰值(惯用手)、水平均值、水平标准差在识别中发挥了更重要的作用。
3) 数据片段长度为128个样本点的识别能力(85.9%)优于64个样本点(84.0%)和32个样本点(83.9%)，但相差不大；而64个样本点和32个样本点的识别精度则非常接近。因此，在之后的探索中，有望采用较短的数据片段达到较高的实验精度，从而提高投入应用时实时监控工人行为的效率。
4.2.2 误差分析以数据片段包含128个样本点(4.27 s)为例，表 3是分类结果的混淆矩阵。其中，召回率指的是识别成功的片段数占该类片段真实数目的比例，准确率指的是识别成功的片段数占被识别成该类的片段总数的比例。
表 3 数据片段包含128个样本点(4.27 s)时的混淆矩阵

	取摆钢筋	绑钢筋	无效行为	召回率/%
取摆钢筋	227	14	13	89.3
绑钢筋	13	167	4	90.7
无效行为	16	25	124	75.1
准确率/%	88.7	81.1	87.9

表选项






通过对混淆矩阵进行分析，可以得出：
1) 有效行为的识别率较高，不容易被识别成无效行为。
从混淆矩阵可以看出，在254个取摆钢筋片段里，仅13个被识别成了无效行为；在184个绑钢筋片段里，仅4个被识别成无效行为。
如果仅将工人行为分成有效行为(包括取摆钢筋和绑钢筋)和无效行为两类，即不考虑取摆钢筋和绑钢筋之间的混淆，则有效行为识别率(召回率)可以达到：(254+184-13-4)/(254+184)=96.1%。而Joshua等^[6-7]的研究中有效行为的识别率只有93.6%。
2) 相对而言，无效行为容易被识别成有效行为。
由于钢筋工进行无效行为时，仍可能涉及与有效行为类似的手部动作，所以无效行为的识别率(召回率)相对较低，最终达到75.1%。而Joshua等^[6-7]的研究中无效行为识别率只有53.6%。
3) 总体识别精度达85.9%，比已有研究的分类更细、精度(85.1%)更高。
剩余14.1%的行为未能识别的主要原因为各类行为的手部动作存在相似度，而机器学习的依据为手部运动的加速度特征，必然存在部分的行为分类误判，但本文方法的识别精度较前人研究已有较大提高。
本文关注行为的实际效果，将已有研究中的有贡献行为和无效行为均归类为无效行为，而把有效行为细分为取摆钢筋和绑钢筋。在行为分类更细致的情况下，实验结果仍达到了85.9%的识别精度，比已有研究的精度(85.1%)更高。
5 结论本文采用三轴加速度传感器，以钢筋绑扎工种为例，在工地现场的条件下对其施工行为进行了识别。通过对比支持向量机、BP神经网络和决策树3种分类器，以及各类特征值的分类效果，得出了以下初步结论: 1)支持向量机的分类识别能力最佳; 2)最佳特征值与数据片段长度有关, 一定范围内，数据片段越长，识别精度越高; 3)钢筋工行为识别精度达到了85.9%，比已有研究分类更细且精度更高，证明了本文方法有效。

参考文献

[1]	Mathie M J, Coster A C F, Lovell N H, et al. Detection of daily physical activities using a triaxial accelerometer[J]. Medical and Biological Engineering and Computing, 2003, 41(3): 296–301. DOI:10.1007/BF02348434
[2]	P?rkk? J, Ermes M, Korpip?? P, et al. Activity classification using realistic data from wearable sensors[J]. Information Technology in Biomedicine, IEEE Transactions on, 2006, 10(1): 119–128. DOI:10.1109/TITB.2005.856863
[3]	王昌喜. 基于加速度信息的上肢动作识别系统设计及动作质量评价方法的研究[D]. 合肥: 中国科学技术大学, 2010. WANG Changxi. Design of Recognition System and Study of Quality Evaluation for Upper Limb Movement Based on Acceleration[D]. Hefei:University of Science and Technology of China, 2010. (in Chinese) http://cdmd.cnki.com.cn/Article/CDMD-10358-2010211001.htm
[4]	Zappi P, Stiefmeier T, Farella E, et al. Activity recognition from on-body sensors by classifier fusion:Sensor scalability and robustness[C]//3rd International Conference on Intelligent Sensors, Sensor Networks and Information, 2007. Melbourne, Australia:IEEE, 2007:281-286.
[5]	Koskim?ki H, Huikari V, Siirtola P, et al. Activity recognition using a wrist-worn inertial measurement unit:A case study for industrial assembly lines[C]//17th Mediterranean Conference on Control and Automation, 2009. Thessaloniki, Greece:IEEE, 2009:401-405.
[6]	Joshua L, Varghese K. Accelerometer-based activity recognition in construction[J]. Journal of Computing in Civil Engineering, 2011, 25(5): 370–379. DOI:10.1061/(ASCE)CP.1943-5487.0000097
[7]	Joshua L, Varghese K. Automated recognition of construction labour activity using accelerometers in field situations[J]. International Journal of Productivity and Performance Management, 2013, 63(7): 841–862.
[8]	薛洋. 基于单个加速度传感器的人体运动模式识别[D]. 广州: 华南理工大学, 2011. XUE Yang. Human Motion Patterns Recognition Based on Single Triaxial Accelerometer[D]. Guangzhou:South China University of Technology, 2011. (in Chinese) http://cdmd.cnki.com.cn/Article/CDMD-10561-1011188711.htm
[9]	Joshua L, Varghese K. Selection of accelerometer location on bricklayers using decision trees[J]. Computer-Aided Civil and Infrastructure Engineering, 2013, 28(5): 372–388. DOI:10.1111/mice.12002
[10]	汪仲伟. 基于智能手机中传感器的用户理解[D]. 合肥: 中国科学技术大学, 2014. WANG Zhongwei. The Understand of User Based on Sensors Build-in Smart Phones[D]. Hefei:University of Science and Technology of China, 2014. (in Chinese) http://cdmd.cnki.com.cn/Article/CDMD-10358-1014299753.htm
[11]	Mizell D. Using gravity to estimate accelerometer orientation[C]//Proceedings of the 7th IEEE International Symposium on Wearable Computers (ISWC 2003). Washington DC, USA:IEEE, 2003:252-253.
[12]	杨殿阁, 何长伟, 李满, 等. 基于支持向量机的汽车转向与换道行为识别[J]. 清华大学学报(自然科学版), 2015, 55(10): 1093–1097. YANG Diange, HE Changwei, LI Man, et al. Vehicle steering and lane-changing behavior recognition based on a support vector machine[J]. J Tsinghua Univ (Sci & Technol), 2015, 55(10): 1093–1097. (in Chinese)