, 唐志泉4 1. 湖南大学 土木工程学院, 湖南 长沙 410082;
2. 湖南大学 工程结构损伤诊断湖南省重点实验室, 湖南 长沙 410082;
3. 湖南农业大学 水利与土木工程学院, 湖南 长沙 410128;
4. 湖南大学 信息科学与工程学院, 湖南 长沙 410082
收稿日期：2021-04-26
基金项目：国家自然科学基金资助项目(51878264); 湖南省交通运输厅科技进步与创新项目(201912); 长沙市科技计划项目(kq1801010)。
作者简介：方亮(1981-)，女，湖南益阳人，湖南大学博士研究生，湖南农业大学讲师;
周云(1979-)，男，湖南长沙人，湖南大学教授，博士生导师.。
摘要：通过实验研究提出一种基于残差网络(ResNet)的锈蚀钢筋分类方法, 为开发锈蚀钢筋现场准确定量评价方法提供新思路和技术参考.以1 478根直径12 mm和14 mm, 锈蚀率1.45%~56.10%的钢筋为研究对象, 利用工业相机在实验室条件下拍摄图像, 结合数据增强技术, 共获得23 648张样本图像, 并根据锈蚀率确定11类标签.基于深度卷积神经网络搭建ResNet结构, 并利用Adam算法进行迭代优化, 通过对比不同数据集的实验结果评估分类准确率和训练轮数.为验证所提方法的适用性, 将不同直径钢筋的样本图像组合成6种数据集进行训练与测试.研究表明, 经过100次迭代训练, 针对6种数据集的钢筋锈蚀程度分类准确率均在93.2%以上, 最高达98.8%.该方法支持混合直径的锈蚀钢筋高精度分类, 具有良好的实际应用性.
关键词：锈蚀钢筋锈蚀率深度卷积神经网络图像分类残差网络
Image Classification of Corroded Steel Reinforcement Based on Optimized Residual Network
FANG Liang1,2,3, ZHOU Yun1,2
, TANG Zhi-quan4 1. College of Civil Engineering, Hunan University, Changsha 410082, China;
2. Hunan Provincial Key Lab on Damage Diagnosis for Engineering Structures, Hunan University, Changsha 410082, China;
3. College of Water Resource & Civil Engineering, Hunan Agricultural University, Changsha 410128, China;
4. College of Computer Science and Electronic Engineering, Hunan University, Changsha 410082, China
Corresponding author: ZHOU Yun, E-mail: zhouyun05@hnu.edu.cn.
Abstract: A classification method for corroded steel reinforcements based on the residual network(ResNet) was proposed, and a new scheme and technical reference for further realizing accurate quantitative evaluation on corrosion ratio of steel reinforcement on-site was provided. A total of 1 478 steel reinforcements with diameters of 12 mm and 14 mm and corrosion ratio of 1.45%~56.10% are taken as the experimental objects. The images of steel reinforcements are taken by industrial cameras under laboratory conditions, and the total of 23 648 sample images are acquired by using the data enhancement techniques. Then, 11 kinds of sample image labels are determined according to the corrosion ratios. The ResNet structure is built based on the deep convolutional neural network, and the Adam algorithm is used for iterative optimization. The classification accuracy and training rounds are evaluated by comparing the experimental results of different data sets. To verify the applicability of the proposed method, 6 data sets are formed from sample images of different diameter of steel reinforcements for the training and testing. The experimental research shows that after 100 rounds of iterative training, the classification accuracy of corrosion degree of steel reinforcements for 6 kinds of data sets are more than 93.2%, and the highest is 98.8%. It also indicates that the proposed method supports the high-precision classification of corrosion reinforcement with mixed diameters, and has good practical applicability.
Key words: corroded steel reinforcementcorrosion ratiodeep convolutional neural network(CNN)image classificationresidual network(ResNet)
钢筋锈蚀是混凝土结构中长期存在的一种病害, 它严重影响工程结构的受力性能, 缩短结构的使用寿命, 并造成巨大的经济浪费和严重的环境污染.据中国科学院“我国腐蚀状况及控制战略研究”重大咨询项目的研究结果, 我国2014年的腐蚀成本高达2.1万亿元, 相当于当年GDP的3.34%[1].建立钢筋混凝土结构锈蚀危机预警机制以及耐久性评估系统[2], 一直是工程界致力解决的问题之一.在传统的锈蚀钢筋检测方法中, 直接观测法[3]主要是凿去局部保护层并暴露出钢筋后, 结合人工目测法评估锈蚀程度, 工作效率低, 主观性大; 常用的物理或电化学无损检测方法, 诸如: 声发射法、红外热成像法、半电池电位法等, 易受环境因素干扰产生误差, 多用于钢筋锈蚀的定性评价[4].近年来, 基于人工智能(AI)的深度学习理论及机器视觉技术在土木工程领域的应用取得了长足的发展[5], 为解决混凝土结构锈蚀损伤诊断提供了新途径.许多研究人员在工程调查和试验研究基础上, 利用混凝土保护层锈胀裂缝宽度与钢筋锈蚀程度之间的相关性, 对钢筋锈蚀进行定量评估[3].冷艳玲等[6]建立了根据锈胀裂缝宽度预测钢筋锈蚀率的BP神经网络模型, 将锈胀裂缝宽度作为输入层代入模型中, 得到了较理想的钢筋锈蚀率预测结果.刘斌云等[7]利用人工蜂群算法(artificial bee colony, ABC)优化的BP神经网络模型, 通过锈胀裂缝宽度, 对构件锈蚀程度进行预测, 并与实验数据进行对比, 结果良好.甘海龙等[8]进行了基于神经网络技术, 预测锈胀开裂后混凝土中钢筋锈蚀量的研究, 认为锈胀开裂后, 混凝土中的钢筋锈蚀量与钢筋直径的相关性最高.
随着深度卷积神经网络(convolutional neural networks, CNNs)被开发用于计算机视觉中的图像分类和目标检测[9-10], 该技术被迅速且广泛地用于结构损伤检测及量化评估.为了提高CNNs的学习能力, 优化网络结构, 降低计算难度, Szegedy等[11]提出了一个22层的深度GoogLeNet模型, 该网络由多个Inception模块级联而成, 包括4个提取多尺度特征的分支, 提高了网络对多尺度性的适应性, 并且进行合理降维, 降低了计算的复杂程度.Inception网络已经迭代到第四代, 检测能力得到进一步提高.增加网络深度可以在较少的迭代次数下收敛得到更好的结果, 并进一步提高网络的泛化能力.但是, 网络加深会引起梯度爆炸和梯度消失, 从而导致网络退化和训练错误.He等[12]提出的残差网络(residual network，ResNet), 解决了深层网络的梯度退化问题, 使构建超深层网络成为可能.其核心思想是通过将低层的特征恒等映射到高层结构中, 缓解了增加层数带来的梯度消失问题, 从而使深层网络极快地收敛并且保持高准确率.Cha等[13]提出了一种基于区域-卷积神经网络(R-CNN)的结构视觉检测方法, 对包括钢筋锈蚀在内的5种结构损伤进行有效分类和检测.童晶等[2]利用数字图像相关(digital image correlation, DIC)技术, 研究了氯盐环境中, 通电加速锈蚀条件下, 钢筋混凝土梁表面广义主应变场的时变演化规律, 为量化表征钢筋混凝土结构的锈胀开裂全过程提供了依据.王达磊等[14]将图像分割方法与机器学习相结合, 对不同腐蚀程度的钢结构进行分类, 得到了较合理的结果.
总结已有研究可以发现, 基于深度学习的结构锈蚀损伤检测技术, 主要在钢结构中快速发展并取得了许多有益成果.对于钢筋混凝土结构锈蚀损伤检测, 尤其是在现场环境下直接对钢筋的锈蚀程度进行定量评价, 还有许多技术空白.本研究针对钢筋表面锈蚀分布随机性很强的特点, 在直接观测法的基础上, 利用计算机视觉技术, 对不同锈蚀率的钢筋进行分类检测.考虑到锈蚀钢筋图像特征不易提取, 进行细粒度图像分类难度较大, 本次采用一种Adam算法优化的残差网络模型, 以直径12 mm和直径14 mm的锈蚀钢筋作为研究对象, 结合图像增强技术, 进行锈蚀钢筋表面特征学习, 最终实现按钢筋锈蚀率的分类识别.通过对比实验, 验证所提方法具有训练和识别速度快、识别率较高、易于实现等优点.本研究目前尚在实验室模拟条件下完成, 但作为利用深度学习方法解决工程实际问题的一种探索性研究, 为进一步开发原位检测中钢筋锈蚀程度的准确定量评价方法, 提供了实验依据和数据支持.
1 试验样本采集1.1 试验材料为模拟实际工程情况, 本研究所用的锈蚀钢筋试件, 取自氯盐环境中通电加速锈蚀的钢筋混凝土板构件.钢筋混凝土板的设计和制作参照《混凝土结构设计规范》(GB50010—2010)[15]之规定.板内配置HRB500级(d=14 mm)和HRB400级(d=12 mm)两种钢筋, 并连接电源正极, 外置不锈钢棒连接电源负极.通电过程中定时喷洒NaCl溶液保持潮湿, 并通过调节可变阻维持电流密度基本恒定在(0.15±0.02)mA/cm2.通电加速锈蚀方案及现场照片见图 1.通电加速锈蚀试验过程详见文献[16].完成通电加速锈蚀以及相关力学性能测试后, 将锈蚀钢筋从钢筋混凝土板中取出(图 2), 并切割成10~15 cm长的试件.为获得准确钢筋锈蚀量数据, 避免因锈蚀产物堆积对钢筋锈蚀程度评价的影响, 采用稀盐酸清洗配合钢丝刷打磨的方法, 祛除钢筋表面的残余混凝土和锈蚀产物.对除锈后的钢筋试件逐个进行称重, 按公式(1)计算其质量损失率即钢筋锈蚀率.
图 1(Fig. 1)
 | 图 1 钢筋混凝土板通电加速锈蚀实验Fig.1 Accelerated corrosion test of reinforced concrete (a)—试验方案；(b)—试验现场照片. |
图 2(Fig. 2)
 | 图 2 锈蚀钢筋Fig.2 Corroded steel reinforcement |
 | (1) |
1.2 图像采集工程中, 采用直接法检测混凝土结构内钢筋锈蚀状况时, 根据《混凝土结构现场检测技术标准》(GB/T50784—2013)[17]规定, 先剔除混凝土保护层, 暴露出待观测钢筋的部分表面, 再清除锈蚀钢筋表面锈蚀产物, 然后对钢筋锈蚀情况进行综合分析判定(图 3).本次试验进行图像采集时, 为模拟实际工作情况, 每次拍摄除锈后的钢筋的部分表面.
图 3(Fig. 3)
 | 图 3 工程现场锈蚀钢筋照片Fig.3 Photos of corroded steel bars in-site |
钢筋试件的图像采集系统如图 4所示.采用白色遮光板搭建采集箱, 正面设出入口; 箱内底部正中为带凹槽的样品台, 用于放置待拍摄的钢筋试件; XG-U300C型工业相机安装于样品台正上方, 镜头距离钢筋试件中心150 mm; 采集箱内侧四壁同一水平位置上安装LED灯条, 形成四边形光源, 照射角为90°; 工业相机最高分辨率2 048×1 536, 像素尺寸为2.0 μm×2.0 μm, 其传感器类型为逐行扫描CMOS, 传感器光学尺寸为1/2″, 拍摄背景选择对比度大的白色; 图像处理硬件环境: Intel Core i7 8750H CPU, NVIDIA GTX 1050Ti.
图 4(Fig. 4)
 | 图 4 图像采集方案Fig.4 Image acquisition scheme |
为全面反映锈蚀钢筋表面特征, 拍摄钢筋试件时, 以钢筋试件的2根纵肋位于同一水平面时为基准, 每拍摄1张照片, 将试件沿纵轴顺时针旋转90°.每根钢筋试件共拍摄4张照片, 分别为S1, S2, S3和S4面.由于拍摄的原始高光谱图像的分辨率较大, 为去除无钢筋的背景图像, 将像素为2 048×1 536的钢筋照片, 固定裁切成像素为1 910×450的图片.两种直径的锈蚀钢筋试件的图片示例如图 5所示.
图 5(Fig. 5)
 | 图 5 钢筋试件(S1到S4面)图片示例Fig.5 Example of image(S1toS4 sides)of corroded steel reinforcement |
2 试验方法2.1 钢筋分类通过加速锈蚀试验, 本次研究共获得锈蚀钢筋试件1 478根, 其中直径14 mm的HRB500级钢筋试件484根, 直径12 mm的HRB400级钢筋试件994根.钢筋试件的锈蚀率为1.45%~56.10%.
考虑实际工程中大量既有结构中钢筋可能的锈蚀程度, 以及钢筋锈蚀程度现场定量评价的精度需求, 本文按锈蚀率将不同锈蚀程度的钢筋试件分成11类.其中锈蚀率区间[0, 30%)均等的分成10类, 区间宽度为3%;而锈蚀率区间[30%, 100%)单独归为1类.给每个锈蚀类别定义一个标签, 共11个标签, 分别是: 第Ⅰ类[0%, 3%)、第Ⅱ类[3%, 6%)、第Ⅲ类[6%, 9%)、第Ⅳ类[9%, 12%)、第Ⅴ类[12%, 15%)、第Ⅵ类[15%, 18%)、第Ⅶ类[18%, 21%)、第Ⅷ类[21%, 24%)、第Ⅸ类[24%, 27%)、第Ⅹ类[27%, 30%)和第Ⅺ类[30%, 100%).不同类别的锈蚀钢筋试件的数量如图 6所示.
图 6(Fig. 6)
 | 图 6 锈蚀钢筋的分类与数量Fig.6 Classification and quantity of corroded steel reinforcements |
2.2 数据预处理本次实验将采用残差网络模型进行学习和检测.试验前, 需要针对采集到的钢筋图片进行拼接和压缩预处理.具体做法是将同一根钢筋试件相邻两个面的图片, 沿高度方向拼接成一张像素为1 910×900的图片, 然后压缩成像素为955×450的图片.经过预处理后的一张图片即成为本次试验的一个图像数据样本, 且图像数据样本的分类方法与钢筋试件的一致.以锈蚀率5.76%直径12 mm的HRB400钢筋为例, 预处理后的图像数据样本详见图 7.采用该处理方式的原因: ①不同锈蚀程度的钢筋表面锈蚀坑洞分布是随机的, 仅凭借钢筋一个面的图像难以有效衡量整根钢筋锈蚀率, 最终使得网络检测效果低下.②直接观测法中, 凿开保护层后, 可观测到的钢筋表面范围一般约为180°, 部分位于构件边缘的钢筋可观测到的范围约为270°.因钢筋表面具有纵向条形和斜向月牙形两种肋纹, 使可观测的钢筋表面肋纹特征具有随机性.将图片进行两两拼接后获得的4种情况, 能最大限度地包括锈蚀钢筋可能呈现出的表面状态; ③卷积神经网络的卷积核是正方形的, 并且其在长和宽两个维度都进行步进式滑动卷积.单张长条形图片长宽比太大, 拼接后的图片可以增强目标在视野中所占比例, 以期让卷积核在两个维度都能方便地获得感兴趣区域(region of interest, ROI).
图 7(Fig. 7)
 | 图 7 图像预处理结果示例Fig.7 Example of image preprocessing (a)—S1-S2面; (b)—S2-S3面; (c)—S3-S4面; (d)—S1-S4面. |
2.3 数据增强采用残差网络进行钢筋锈蚀率识别在数据集上存在几个难点: 第一, 实际工程中, 钢筋的锈蚀率在[0, 100%)区间并非均匀分布, 这种样本的失衡容易导致训练失偏.第二, 残差网络属于有监督的深度卷积神经网络, 大量带标签的训练数据是建立分类模型的前提.而钢筋锈蚀标签的采集过程较繁琐, 且耗时较长, 难以采集到十分充足的训练数据.针对深度学习中普遍存在因数据量少导致无法训练出合格的深度识别模型的问题[18], 目前有效的解决方法是进行数据增强.数据增强的基本前提是卷积神经网络的平移不变性, 具体而言, 即CNNs对位移、视角、大小和光照等因素(或上述因素的组合)具有平移不变性[19].这种特性也是由卷积神经网络中的卷积操作和最大池化操作的特性决定的.运用数据增强技术可以成倍地增加训练数据量, 并增加样本的多样性, 进而提升模型的泛化能力.
本次所采用的数据增强方法包括对预处理后的数据进行: 水平翻转、垂直翻转和旋转变换, 并且在变换后的图片中引入轻微的噪声扰动.实际工程中拍摄的钢筋照片也可能带有许多的噪声, 这些噪声是许多随机的、离散的、孤立的像素, 会对人眼的图像信息分析产生干扰.图像的噪声十分复杂, 通常被认为是一个多维的随机过程, 往往可以借助概率分布函数和概率密度函数来描述.为了模拟真实工程中拍摄的图片, 也为了在数据增强中加入不确定性[20], 本次数据增强采用的是加入轻微高斯噪声.
高斯随机变量x的概率密度函数表达如公式(2)所示:
 | (2) |
添加高斯噪声是指将函数p(x)产生的均值为μ, 标准差为σ的高斯分布的样本, 分别添加到原始图片的R, G, B这三个基本颜色分量上, 其中x一般是以时间为种子的随机数.图 8展示的是直径12 mm锈蚀率5.76%的钢筋试件, S1-S2面图像数据增强后的结果.图 8a和图 8b是分别将图片沿水平方向和竖直方向翻转180°后添加高斯噪声, 图 8c是将图片沿水平方向翻转后再沿竖直方向翻转, 并添加高斯噪声.
图 8(Fig. 8)
 | 图 8 数据增强的样本图像示例Fig.8 Examples of sample images after data enhancement (a)—水平翻转+添加高斯噪声; (b)—垂直翻转+添加高斯噪声; (c)—旋转+添加高斯噪声. |
本次试验预处理后获得的原始图像数据样本共计5 912张, 其中: 直径12 mm钢筋试件的样本3 976张, 直径14 mm钢筋试件的样本1 936张.通过数据增强技术, 使数据量扩充到4倍.最终本次实验的数据集包含样本23 648张, 其中: 直径12 mm钢筋试件的样本15 904张; 直径14 mm钢筋试件的样本7 744张.
2.4 残差网络的结构和优化方法卷积神经网络学习和推测过程可以归纳为从带标签的数据中学习高维且抽象的特征, 并泛化到同类型的未知数据.视觉任务需要更加深层的网络提取更高维的特征.理论上, 深层网络的解空间包括了浅层网络的解空间.换言之, 网络层数越多就意味着能提取到的不同等级的特征越丰富, 也越能提取到抽象的语义信息.但是随着卷积网络层数的增加, 网络会出现梯度弥散或梯度爆炸和网络退化两个问题.这会使深层网络的训练效果比浅层网络的差, 也更难训练.实际上, 随着模型层级的增加, 模型的精准度会不断提升, 但是当层级增加到一定数量以后, 训练精准度会出现一个断崖式的下跌.
ResNet的思想是假设在一个模型中, 有一个网络层是最优网络层, 那么此层之后的网络层就是冗余层.如果这些冗余层能够完成输入和输出的恒等映射, 那么这些冗余层也会输出全局最优解.在网络训练的过程中会自适应地学习出哪些层是恒等层.至此, 神经网络的层数可以超越之前的约束, 达到几十层、上百层甚至千层, 为高级语义特征提取和分类提供了可行性.
如图 9所示, 残差网络中的恒等残差块中存在一个跳跃连接, 即每层的输出不是输入的映射, 而是映射和输入的叠加.假设需要的映射是H(x), 将叠加的非线性网络层拟合另一个残差映射F(x): = H(x)-x.那么需要的映射可以表示为F(x)+x.值得注意的是残差映射F(x)比需要的映射H(x)更容易优化.因为假设在恒等映射是最优的这种极端情况下, 残差网络只需要将残差映射F(x)的值设为“0”, 即不需要使用叠加的非线性网络层去拟合恒等映射.此外, 跳跃连接可以直接跳过一个或多个层, 而不需要引入额外的参数和计算.根据文献[12]的研究结果可知: ①深度残差网络易于优化, 与此同时, 简单叠加几层的相应网络, 会随着深度的增加出现较高的训练误差; ②深度残差网络由于深度大大增加, 较容易提升分类准确率, 效果比以前的网络好很多.值得注意的是, 文献[12]中identity块的堆叠层只有两层或三层, 实际上更多层也是可以的.
图 9(Fig. 9)
 | 图 9 两层恒等残差块示意图Fig.9 Two layers identity residual block |
本文使用ResNet50进行锈蚀率的识别, “50”是残差网络的层数.图 10显示ResNet50中每个恒等残差块中卷积核的排序是: 1×1, 3×3和1×1.第一层1×1的卷积核能减少输入特征的通道数, 最后一层1×1的卷积核能增加输出特征的通道数, 从而保证通过瓶颈层(bottleneck)前后的通道数一致, 并且减少中间层3×3的卷积核的计算量.ResNet50的网络结构如图 11所示, ResNet50首先对输入进行卷积计算, 之后使用设计好的4个残差块, 4个残差块依次叠加3, 4, 6, 3次, 最后进行全连接到11个浮点数上, 经过归一化形成11个类别各自的概率.
图 10(Fig. 10)
 | 图 10 ResNet50中三层恒等残差块示意图Fig.10 Three layers identity residual block for ResNet50 |
图 11(Fig. 11)
 | 图 11 ResNet50结构图Fig.11 Structure diagram of ResNet50 |
3 结果与分析将待训练与测试的图像数据样本组成一个数据集, 并如2.2节所述, 将数据集内的样本依照锈蚀率的大小分成11类, 并输入Adam算法优化过的ResNet50模型进行训练与测试.具体操作方法是将该数据集平分成5份, 每次挑选其中一份作为测试集, 其余作为训练集.如此无重复地挑选并测试5次, 使每个样本均作为测试集测试过一次.最后综合5次测试结果计算评价指标, 以评估方法的有效性.本次实验选择“分类准确率”作为评价指标, 该指标的计算方法如式(3)所示:
 | (3) |
训练模型时, 采用Adam算法对网络权重进行迭代优化.多次计算, 选择最优参数.设置初始学习率为0.000 1, 梯度及其平方的移动平均值的系数设置为默认值(0.9, 0.999), L2惩罚设置为0, 每次迭代计算的样本大小batch_size设置为32, 循环训练的次数设置为100次.随着迭代次数的增加, 计算并记录分类准确率和损失函数的趋势.本次实验, 分别对数据增强前后的样本形成的数据集, 以及两种钢筋图片混合前后的样本形成的数据集进行了训练, 并分析了实验结果.
本次研究的是一个多分类的问题, 选择交叉熵作为损失函数.损失函数用于估计模型的预测值与真实值之间的差异.它是一个非负的实值函数.训练模型的过程就是利用梯度下降优化算法不断迭代计算, 使损失函数越来越小.交叉熵损失函数通常用于分类问题, 尤其是使用神经网络进行分类时[21].公式(4)给出了多分类问题交叉熵损失函数的一般形式.
 | (4) |
3.1 Adam优化ResNet50模型Adam算法具有实现简单, 计算高效, 对内存需求少并且能自动调节学习率等优点, 因此本文采用Adam算法迭代优化ResNet50学习钢筋锈蚀率的分类.以数据增强后直径12 mm钢筋的图像样本构成的数据集(15 904张)为例, 将图片小批量送入模型学习, 对迭代过程的精度和损失函数的变化进行记录和趋势分析, 其结果如图 12所示.
图 12(Fig. 12)
 | 图 12 直径12 mm钢筋数据集迭代结果Fig.12 Iteration results of data set steel reinforcement with 12 mm diameter |
从图 12可以看出, 训练过程中, 损失函数总体呈下降趋势, 这表示通过每次小批量的学习, 模型的预测输出和真实值之间的偏差在降低; 迭代次数-准确率曲线随着迭代次数的增加上升, 这表明模型随着参数更新过程泛化能力得到提高, 从而能精确地对测试集中的锈蚀钢筋进行分类.同时, 观测到准确度曲线的曲率在变小, 最初的30次迭代准确度就已经提升了50%, 达到80%左右, 而最后的30次迭代准确度提升不到1%.这表明随着迭代次数增加, 准确度提升的难度变大, 模型越难学习到新的知识.最后30次的学习体现出模型得到充分的学习, 其实验结果能代表模型充分收敛后的分类表现.过多的训练次数并没有使得准确率大幅下降.虽然当迭代训练80次时, 针对测试集的分类准确率发生了波动, 此时模型错过全局最优解, 但是由于残差网络的结构特性, 训练很快得到纠正, 并没有出现网络退化的现象.最终当数据集迭代学习100次时, 测试集中分类准确率达到98.2%, 并且在数据集上收敛成功.
3.2 模型验证为了验证所提模型的有效性, 本次研究还设计了基于不同的深度学习模型对相同数据集的分类训练, 其结果如表 1所示.通过对比结果可知, 采用Adam优化的ResNet50的模型进行图像分类的准确率最高.
表 1(Table 1)
 表 1 基于不同模型的图像分类精度对比Table 1 Comparison of image classification accuracy based on different models
| 表 1 基于不同模型的图像分类精度对比 Table 1 Comparison of image classification accuracy based on different models |
本次试验共计23 648个图像数据样本, 根据样本中包含的钢筋直径类型和是否使用数据增强技术, 可以组合生成6个数据集, 如表 2所示.将这6个数据集先后放入Adam优化的ResNet50的网络中进行训练, 并保持超参一致, 最后以分类准确率、预测偏高率和预测偏低率作为评估标准.实验结果详见表 2.
表 2(Table 2)
表 2 锈蚀钢筋图像分类结果Table 2 Results of Image classification of corroded steel reinforcement
| 表 2 锈蚀钢筋图像分类结果 Table 2 Results of Image classification of corroded steel reinforcement |
首先验证框架中的数据增强对于模型学习和检测能力的提升.对比观察表 2数据增强前后的结果可知, 采用数据增强后的照片作为样本进行分类的准确率, 比采用数据增强前的原照片提升了5%左右.可见增加样本数量能提升模型学习钢筋锈蚀特征的能力, 进而提升检测效果.同时, 数据增强前的预测偏高率和预测偏低率大致相同, 并且数据增强后也能得到相同的结论, 说明数据增强并没有改变数据集中各类样本的分布, 不会导致模型失偏.
其次验证框架对于单一直径类型的锈蚀钢筋的分类能力.通过观察表 2可以发现, 采用数据增强技术后, 模型对于直径12或14 mm的锈蚀钢筋的分类准确率均保持在98%以上, 这说明本文提出的框架适应实际工程中的不同直径的锈蚀钢筋分类, 这一结果支撑本文框架的工程化.虽然直径12 mm钢筋的图像样本数量约是直径14 mm钢筋的两倍多, 但前者分类的准确率略低于后者.这一结果可能是因为直径14 mm的钢筋直径更大, 在照片中占据的像素点更多, 而与分类无关的背景所占的像素点更少.因此每一张照片蕴含的信息量更丰富, 使模型更能学习到锈蚀的高维特征.
最后, 验证一个框架同时分类多种直径的锈蚀钢筋的能力.如表 2所示, 对数据增强后包含两种钢筋直径图像样本的数据集, 模型的检测能力是最强的, 分类准确率达到98.8%.这一现象是由两种原因导致的: 第一, 深层网络和多尺寸数据集相互作用的结果.多尺寸的钢筋的锈蚀情况帮助了模型学习锈蚀的特征, 残差网络的深层网络和跳跃连接设计使得模型在足够多的训练轮次中学习到了这些混合的特征并没有导致网络退化.第二, 更多的样本量.两个尺寸样本集的叠加使得数据规模是两者之和, 更多的数据量理论上能训练泛化性能更好的模型.这一结论使本文框架能同时检测多种直径钢筋的锈蚀程度, 这将在实际工程中更有意义.
4 结论1) 本研究基于残差网络模型, 设计了应用于除锈钢筋表面形态图像数据的自动快速分类方法, 结合锈蚀钢筋质量损失率, 创新性地将钢筋表面形态图像分类与钢筋锈蚀率定量评价关联起来, 为帮助实现工程现场环境中, 钢筋锈蚀程度的定量评价提供了新思路和实验研究基础.
2) 本研究按钢筋锈蚀率不同共分为11类, 其中前10类涵盖锈蚀率区间[0, 30%), 每类区间宽度均为3%, 能较好地满足实际工程中钢筋锈蚀程度定量评价的精度要求.
3) 本研究通过优化残差网络模型、数据增强和参数调节等方法, 提高对锈蚀钢筋表面特征的学习能力, 进而改善分类准确率.实验结果表明, 本次所提方法, 对6类包含不同直径和锈蚀率的钢筋图像样本数据集, 11类的分类准确率均在93%以上, 最高可达98.8%，能较好地适应钢筋类型较复杂的实际情况.
参考文献
| [1] | Hou B R, Li X G, Ma X M, et al. The cost of corrosion in China[J]. Materials Degradation, 2017(4): 1-10. |
| [2] | 童晶, 金贤玉, 田野, 等. 基于DIC技术的锈蚀钢筋混凝土表面开裂[J]. 浙江大学学报(工学版), 2015, 49(2): 193-199, 217. (Tong Jing, Jin Xian-yu, Tian Ye, et al. Study on surface cracking of corroded reinforced concrete based on DIC method[J]. Journal of Zhejiang University(Engineering Science), 2015, 49(2): 193-199, 217.) |
| [3] | 陈海斌, 牛荻涛, 浦聿修. 应用人工神经网络技术评估混凝土中的钢筋锈蚀量[J]. 工业建筑, 1999, 29(2): 51-55. (Chen Hai-bin, Niu Di-tao, Pu Yu-xiu. Assessment on corrosive degree of reinforcement in concrete by artificial neural networks[J]. Industrial Construction, 1999, 29(2): 51-55.) |
| [4] | 伍明强. 建筑混凝土钢筋锈蚀原因及检测方法研究[J]. 建材世界, 2019, 40(1): 31-34. (Wu Ming-qiang. Research on reasons and detection methods of corrosion of building concrete reinforced bar[J]. The World of Building Materials, 2019, 40(1): 31-34.) |
| [5] | Hadi S, Rigoberto B. Emerging artificial intelligence methods in structural engineering[J]. Engineering Structures, 2018, 171: 170-189. DOI:10.1016/j.engstruct.2018.05.084 |
| [6] | 冷艳玲, 张劲泉, 毛燕. 混凝土结构钢筋锈蚀率BP神经网络预测模型[J]. 西部交通科技, 2010(5): 5-8, 15. (Leng Yan-ling, Zhang Jing-quan, Mao Yan. A model based on BP neural network used to predict corrosion in reinforced concret[J]. Western China Communications Science & Technology, 2010(5): 5-8, 15.) |
| [7] | 刘斌云, 王鑫, 万其微. 基于ABC-BP神经网络预测钢筋锈蚀程度[J]. 合成材料老化与应用, 2019, 48(5): 54-58. (Liu Bin-yun, Wang Xin, Wan Qi-wei. Predict corrosion degree of steel bars in reinforcing concrete based on ABC-BP neural network[J]. Synthetic Materials Aging and Application, 2019, 48(5): 54-58.) |
| [8] | 甘海龙, 郭容宽. 基于神经网络技术预测锈胀开裂后混凝土中钢筋锈蚀量[J]. 科技通报, 2019, 35(2): 144-149. (Gan Hai-long, Guo Rong-kuan. Prediction on corrosive degree of reinforcement concrete by neural network[J]. Bulletin of Science and Technology, 2019, 35(2): 144-149.) |
| [9] | Rawat W, Wang Z H. Deep convolutional neural networks for image classification: a comprehensive review[J]. Neural Computation, 2017, 29(9): 2352-2449. |
| [10] | 王洋, 刘积仁, 赵大哲, 等. 卷积神经网络在MRI图像诊断中的应用[J]. 东北大学学报(自然科学版), 2019, 40(2): 169-173. (Wang Yang, Liu Ji-ren, Zhao Da-zhe, et al. Application of convolutional neural networks in computer-aided diagnosis of MRI images[J]. Journal of Northeastern University(Natural Science), 2019, 40(2): 169-173.) |
| [11] | Szegedy C, Liu W, Jia Y, et al. Going deeper with convolutions[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Boston, 2015: 1-9. |
| [12] | He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Chongqing, 2016: 770-778. |
| [13] | Cha Y J, Choi W, Suh G, et al. Autonomous structural visual inspection using region-based deep learning for detecting multiple damage types[J]. Computer-Aided Civil and Infrastructure Engineering, 2018, 33: 731-747. |
| [14] | 王达磊, 彭博, 潘玥, 等. 基于深度神经网络的锈蚀图像分割与定量分析[J]. 华南理工大学学报(自然科学版), 2018, 46(12): 121-127, 146. (Wang Da-lei, Peng Bo, Pan Yue, et al. Segmentation and quantitative analysis of corrosion images based on deep neural networks[J]. Journal of South China University of Technology(Natural Science Edition), 2018, 46(12): 121-127, 146.) |
| [15] | 中华人民共和国国家标准. 混凝土结构设计规范: GB50010—2010[S]. 北京: 中国建筑工业出版社, 2015. (National Standards of the People′s Republic of China. Code for design of concrete structures: GB50010—2010 [S]. Beijing: China Architecture & Building Press, 2015. ) |
| [16] | 方亮, 周云, 易督航. 锈蚀HRB500钢筋混凝土板抗弯性能试验研究[J]. 湖南大学学报(自然科学版), 2020, 47(11): 84-94. (Fang Liang, Zhou Yun, Yi Du-hang. Research on flexural behavior of corroded reinforced concrete slabs with HRB500 bars[J]. Journal of Hunan University(Natural Sciences), 2020, 47(11): 84-94.) |
| [17] | 中华人民共和国国家标准. 混凝土结构现场检测技术标准: GB/T50784—2013[S]. 北京: 中国建筑工业出版社, 2013. (National Standards of the People′s Republic of China. Technical standard of in-site inspection of concrete structure: GB/T50784—2013 [S]. Beijing: China Architecture & Building Press, 2013. ) |
| [18] | LeCun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015, 521(7553): 436-444. |
| [19] | Zhang R. Making convolutional networks shift-invariant again[J]. arXiv preprint arXiv: 1904.11486, 2019. |
| [20] | ?roba L, Grman J, Ravas R. Impact of Gaussian noise and image filtering to detected corner points positions stability[C]//2017 11th International Conference on Measurement. Smolenice: IEEE, 2017: 123-126. |
| [21] | Murphy K P. Machine learning: a probabilistic perspective[M]. Cambridge: MIT Press, 2012. |
