删除或更新信息,请邮件至freekaoyan#163.com(#换成@)

凌青 教授:Variance-Reduced Stochastic Quasi-Newton Methods for Decentralized Learning

本站小编 Free考研考试/2021-12-26



Academy of Mathematics and Systems Science, CAS
Colloquia & Seminars

Speaker: 凌青 教授,中山大学
Inviter: 刘歆 研究员
Title:
Variance-Reduced Stochastic Quasi-Newton Methods for Decentralized Learning
Time & Venue:
2021.10.25 09:30-10:30 科技综合楼311教室
Abstract:
In this work, we investigate stochastic quasi-Newton methods for minimizing a finite sum of cost functions over a decentralized network. We develop a general algorithmic framework that incorporates stochastic quasi-Newton approximation with variance reduction so as to achieve fast convergence. At each time each node constructs a local, inexact quasi-Newton direction that asymptotically approaches the global, exact one. To be specific, (i) A local gradient approximation is constructed by using dynamic average consensus to track the average of variance-reduced local stochastic gradients over the entire network; (ii) A local Hessian inverse approximation is assumed to be positive definite with bounded eigenvalues, and we specify two fully decentralized stochastic quasi-Newton methods, damped regularized limited-memory DFP (Davidon-Fletcher-Powell) and damped limited-memory BFGS (Broyden-Fletcher-Goldfarb-Shanno), to locally construct such a Hessian inverse approximation without extra sampling or communication. Compared to the existing decentralized stochastic first-order methods, the proposed general framework introduces the second-order curvature information without incurring extra sampling or communication. With a fixed step size, we establish the conditions under which the proposed general framework linearly converges to an exact optimal solution.

相关话题/科技 中山大学 综合楼 教室

  • 领限时大额优惠券,享本站正版考研考试资料!
    大额优惠券
    优惠券领取后72小时内有效,10万种最新考研考试考证类电子打印资料任你选。涵盖全国500余所院校考研专业课、200多种职业资格考试、1100多种经典教材,产品类型包含电子书、题库、全套资料以及视频,无论您是考研复习、考证刷题,还是考前冲刺等,不同类型的产品可满足您学习上的不同需求。 ...
    本站小编 Free壹佰分学习网 2022-09-19
  • 北印学子在首届全国大学生等离子体科技创新竞赛中勇创佳绩
    11月27日,首届全国大学生等离子体科技创新竞赛决赛在常州举行,学校印刷与包装工程学院等离子体物理与材料科研团队选派的5支队伍全部获奖,分别获特等奖1项,一等奖1项,二等奖1项,三等奖2项,同时学校荣获“优秀组织奖”。北印学子在首届全国大学生等离子体科技创新竞赛中勇创佳绩本届竞赛由中国电工技术学会主 ...
    本站小编 Free考研考试 2021-12-26
  • 北京印刷学院大学科技园(文化创意产业园)举办投融资服务体系建设研讨会
    投融资服务工作是园区建设发展中的重要工作之一,为深入推动投融资服务工作开展,强化对企业资本对接方面的桥梁作用,11月26日下午,北京印刷学院大学科技园(文化创意产业园)举办投融资服务体系建设研讨会,为园区投融资服务体系建设发展建言献策,推动园区高质量发展。大兴区投资促进服务中心主任何丽、大兴区科委副 ...
    本站小编 Free考研考试 2021-12-26
  • 【研究生教育·学科建设·科技创新】北京联合大学张宝秀教授作学术讲座
    11月17日,科研创新能力提升系列讲座第四讲如期举办,北京联合大学张宝秀教授为学校师生带来题为《扎根京华大地,找准科研选题,服务政府决策——基于北京学研究基地的经验》的精彩讲座。全校近200名师生通过线上方式参加了本次讲座。讲座由科研处处长高振清教授、经济管理学院院长李治堂教授主持。张宝秀首先介绍了 ...
    本站小编 Free考研考试 2021-12-26
  • 【研究生教育·学科建设·科技创新】北京交通大学贾利民教授作学术报告
    11月13日,科研创新能力提升系列讲座第三讲顺利举办,北京交通大学贾利民教授为学校师生带来题为《“双碳”目标下绿色交通技术发展的历史、现状与未来》的精彩讲座。全校200余名师生通过线上方式聆听了本次讲座。讲座由科研处处长高振清主持。贾利民作《“双碳”目标下绿色交通技术发展的历史、现状与未来》讲座贾利 ...
    本站小编 Free考研考试 2021-12-26
  • 【研究生教育·学科建设·科技创新】北京理工大学张帆教授作学术报告
    11月11日,科研创新能力提升系列讲座第二讲如期举办,北京理工大学设计与艺术学院张帆教授为学校师生带来题为《设计美学视角下的北京城中轴线》的精彩讲座。全校近300名师生通过线上方式聆听了本次讲座。讲座由科研处处长高振清主持。张帆作《设计美学视角下的北京城中轴线》讲座张帆通过详实的历史资料,从北京城的 ...
    本站小编 Free考研考试 2021-12-26
  • 【研究生教育·学科建设·科技创新】中国出版集团有限公司于殿利作《学术创新 贵在方法》讲座
    为学习贯彻落实习近平总书记关于科技创新的重要论述,提升学校教师的科研能力与学术水平,营造热爱学术、乐于科研的氛围,学校在学科建设和科技创新能力提升工作会召开期间,筹划并举办了科研创新能力提升系列讲座。11月3日,中国出版集团有限公司党组成员、中国出版传媒股份有限公司董事、副总经理于殿利应邀为学校师生 ...
    本站小编 Free考研考试 2021-12-26
  • 印刷与包装工程学院与奥瑞金科技股份有限公司共商合作
    10月22日上午,奥瑞金科技股份有限公司副总经理陈玉飞一行到校与印刷与包装工程学院开展校企合作共建交流,学校党委书记高锦宏、学院领导班子、教师代表参加了本次座谈,双方围绕丰富校企合作内涵,加强资源共享,推进产学研一体化等方面深入交换意见。印包学院与奥瑞金科技股份有限公司举行交流合作座谈会高锦宏对奥瑞 ...
    本站小编 Free考研考试 2021-12-26
  • 机电工程学院与大兴区科委举办科技资源合作对接会
    7月13日下午,大兴区科学技术委员会、科研处、机电工程学院联合举办的科技资源合作对接会在学校学术交流中心举行。大兴区科学技术委员会副主任田兴华,机电工程学院党委书记续明进、院长杜艳平,12家参会企业主要负责人,以及机电工程学院的专业教师出席对接会。会议由科研处副处长付海燕主持。举办科技资源合作对接会 ...
    本站小编 Free考研考试 2021-12-26
  • 北京印刷学院大学科技园(文创园)举办投融资对接沙龙活动
    5月19日下午,由北京绿色印刷包装产业技术研究院(以下简称“绿研院”)、北京印刷学院大学科技园、北京印刷学院文化创意产业园、北京印刷学院毕格栖创客空间、首都科技条件平台北京印刷学院研发实验服务基地联合主办的北京印刷学院大学科技园(文创园)投融资对接沙龙活动在新创大厦学术交流中心第二会议室举行。该活动 ...
    本站小编 Free考研考试 2021-12-26
  • 青岛科技大学传媒学院执行院长一行到校交流
    4月26日下午,青岛科技大学传媒学院执行院长杨建华一行到校交流。学校新闻出版学院领导班子成员和部分教师参加了交流与座谈。座谈会由校长助理张养志主持。青岛科技大学传媒学院执行院长杨建华一行到校交流会上,学校新闻出版学院副院长李德升等介绍了学院办学成果和办学特色,并重点介绍了出版专业硕士的培养机制和斯特 ...
    本站小编 Free考研考试 2021-12-26