摘要:深度神经网络作为机器学习领域的热门研究方向，在训练中容易出现梯度不稳定现象，是制约其发展的重要因素，控制和避免深度神经网络的梯度不稳定现象是深度神经网络的重要研究内容.分析了梯度不稳定现象的成因和影响，并综述了目前解决梯度不稳定现象的关键技术和主要方法.最后展望了梯度不稳定现象的未来研究方向.
Abstract:As a popular research direction in the field of machine learning, deep neural networks are prone to the phenomenon of unstable gradients in training, which has become an important element that restricts their development. How to avoid and control unstable gradients is an important research topic of deep neural networks. This paper analyzes the cause and effect of the unstable gradients, and reviews the main models and methods of solving the unstable gradients. Furthermore, the future research trends in the unstable gradients is discussed.
PDF全文下载地址:
http://jos.org.cn/jos/article/pdf/5561
删除或更新信息，请邮件至freekaoyan#163.com(#换成@)
深度神经网络训练中梯度不稳定现象研究综述
本站小编 Free考研考试/2022-01-02
相关话题/控制 梯度 神经网络 现象 深度
领限时大额优惠券,享本站正版考研考试资料!
优惠券领取后72小时内有效，10万种最新考研考试考证类电子打印资料任你选。涵盖全国500余所院校考研专业课、200多种职业资格考试、1100多种经典教材，产品类型包含电子书、题库、全套资料以及视频，无论您是考研复习、考证刷题，还是考前冲刺等，不同类型的产品可满足您学习上的不同需求。 ...考试优惠券 本站小编 Free壹佰分学习网 2022-09-19数据外补偿的深度网络超分辨率重建
摘要:单张图像超分辨率重建受到多对一映射的困扰.对于给定的低分辨率图像块，存在若干高分辨率图像块与之对应.基于学习的方法受此影响，学习到的逆映射规则只能预测这些高分辨率图像块的均值，从而产生视觉上模糊的超分辨率重建结果.为了弥补歧义性造成的高频细节损失，提出了一种基于深度网络、利用在线检索的数据进行 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于深度反卷积神经网络的图像超分辨率算法
摘要:图像超分辨率一直是底层视觉领域的研究热点，现有基于卷积神经网络的方法直接利用传统网络模型，未对图像超分辨率属于回归问题这一本质进行优化，其网络学习能力较弱，训练时间较长，重建图像的质量仍有提升空间.针对这些问题，提出了基于深度反卷积神经网络的图像超分辨率算法，该算法利用反卷积层对低分辨率图像进 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02图神经网络回归的人脸超分辨率重建
摘要:人脸超分辨率（super-resolution，简称SR）即将输入模糊的低分辨率（low-resolution，简称LR）人脸图像通过一系列算法处理得到较为清晰的高分辨率（high-resolution，简称HR）人脸图像的过程.相比自然图像，不同人脸图像的相同位置通常具有相似的结构.针对人脸 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02面向大规模图像分类的深度卷积神经网络优化
摘要:在图像分类任务中，为了获得更高的分类精度，需要对图像提取不同层次的特征信息.深度学习被越来越多地应用于大规模图像分类任务中.提出了一种基于深度卷积神经网络的、可应用于大规模图像分类的深度学习框架.该框架在经典的深度卷积神经网络AlexNet基础上，分别从网络框架和网络内部结构两个方面对网络进行 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于深度学习的图片中商品参数识别方法
摘要:计算机计算性能的提升使得深度学习成为了可能.作为计算机视觉领域的重要发展方向之一的目标检测也开始结合深度学习方法并广泛应用于各行各业.受限于网络的复杂度和检测算法的设计，目标检测的速度和精度成为一个trade-off.目前电商领域的飞速发展产生了大量包含商品参数的图片，使用传统方法难以有效地提 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02基于循环神经网络的数据库查询开销预测
摘要:在数据库负载管理、性能调优过程中，开销预测模型是提高其效率的关键技术.首先，由于数据库系统的复杂性和计算机资源的竞争，很难精确地估计不同操作的开销；其次，现有的研究大多没有真正预测查询的执行时间，而是预测了类似查询优化器中开销模型生成的开销；由于查询计划结构的复杂性，现有研究更多地使用了笼统的 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02深度网络模型压缩综述
摘要:深度网络近年来在计算机视觉任务上不断刷新传统模型的性能，已逐渐成为研究热点.深度模型尽管性能强大，然而由于参数数量庞大、存储和计算代价高，依然难以部署在受限的硬件平台上（如移动设备）.模型的参数在一定程度上能够表达其复杂性，相关研究表明，并不是所有的参数都在模型中发挥作用，部分参数作用有限、表 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02一种解决连续空间问题的真实在线自然梯度AC算法
摘要:策略梯度作为一种能够有效解决连续空间决策问题的方法得到了广泛研究，但由于在策略估计过程中存在较大方差，因此，基于策略梯度的方法往往受到样本利用率低、收敛速度慢等限制.针对该问题，在行动者-评论家（actor-critic，简称AC）算法框架下，提出了真实在线增量式自然梯度AC（trueonli ...中科院软件研究所 本站小编 Free考研考试 2022-01-02软件定义网络控制平面可扩展性研究进展
摘要:软件定义网络（software-definednetworking，简称SDN）遵循控制转发分离的设计原则，其控制平面采用集中的控制逻辑，在提供灵活、高效的网络控制的同时，也面临着严重的可扩展性问题.对SDN控制平面可扩展性相关工作进行了综述.首先，分析了控制平面可扩展性的影响因素并给出改善思 ...中科院软件研究所 本站小编 Free考研考试 2022-01-02阿尔山地区积雪深度微波遥感反演算法的改进与验证
摘要摘要:利用阿尔山地区多年实测雪深数据评估3种微波遥感雪深数据，即星载微波成像仪AMSR-E（AdvancedMicrowaveScanningRadiometerforEOS）和AMSR-2（AdvancedMicrowaveScanningRadiometer2）的积雪产品、国内****建立的 ...中科院大气物理研究所 本站小编 Free考研考试 2022-01-02
