删除或更新信息，请邮件至freekaoyan#163.com(#换成@)

王润琪 博士:IDARTS: Interactive Differentiable Architecture Search

本站小编 Free考研考试/2021-12-26


Academy of Mathematics and Systems Science, CAS
Colloquia & Seminars
Speaker: 王润琪 博士，北京航空航天大学
Inviter:
Title:
 IDARTS: Interactive Differentiable Architecture Search
Time & Venue:
 2021.12.13 20:00-21:00 内部讨论班
Abstract:
 可微结构搜索(DARTS)通过对体系结构和网络参数的端到端学习，提高了体系结构搜索的效率。然而，架构参数之间的内在耦合关系被忽略了，导致了优化不充分。其原因在于DARTS使用的梯度下降法忽略了参数之间的耦合关系，从而降低了优化效果。本次报告，我们将DARTS定义为一个双线性优化问题，并引入交互式可微结构搜索(IDARTS)来解决这个问题。我们首先开发了一个回溯反向传播过程，它可以对耦合参数解耦，并将结构参数在统一框架进行训练。回溯对不同参数的训练进行协调，充分挖掘它们之间的相互作用，优化训练。我们在CIFAR10和ImageNet数据集上进行了实验，证明了IDARTS方法的有效性:在不增加搜索成本的情况下，在ImageNet上实现了76.52%的Top1精度，而PC-DARTS仅实现了75.8%的精度。

相关话题/优化 博士 北京航空航天大学 实验 数据

Free考研考试FreeKaoYan.Com
欢迎来到Free考研考试，"为实现人生的Free而奋斗"

© 2020 FreeKaoYan! . All rights reserved.