1（北京电子科技学院 北京 100070）；2（信息网络安全公安部重点实验室(公安部第三研究所) 上海 200031）；3（中国科学院网络测评技术重点实验室(中国科学院信息工程研究所) 北京 100093) (liubiao@besti.edu.cn)
出版日期: 2021-11-01基金资助:国家重点研发计划项目(2018YFB1004100)；信息网络安全公安部重点实验室(公安部第三研究所)开放基金资助课题(C18612)；中国科学院网络测评技术重点实验室(中国科学院信息工程研究所)项目(KFKT2019-004)A Byzantine-Robust Federated Learning Algorithm Based on Matrix Mapping
Liu Biao1, Zhang Fangjiao1, Wang Wenxin1, Xie Kang2, Zhang Jianyi1,31（Beijing Electronic Science and Technology Institute, Beijing 100070);2(Key Lab of Information Network Security of Ministry of Public Security (The Third Research Institute of Ministry of Public Security), Shanghai 200031);3(CAS Key Laboratory of Network Assessment Technology (Institute of Information Engineering, Chinese Academy of Sciences), Beijing 100093)
Online: 2021-11-01Supported by:This work was supported by the National Key Research and Development Program of China (2018YFB1004100), the Opening Project of Key Lab of Information Network Security of Ministry of Public Security (The Third Research Institute of Ministry of Public Security) (C18612), and the Project of CAS Key Laboratory of Network Assessment Technology (Institute of Information Engineering, Chinese Academy of Sciences) (KFKT2019-004).摘要/Abstract
摘要： 联邦学习(federated learning)由于参数服务器端只收集客户端模型而不接触客户端本地数据，从而更好地保护数据隐私.然而其基础聚合算法FedAvg容易受到拜占庭客户端攻击.针对此问题，很多研究提出了不同聚合算法，但这些聚合算法存在防守能力不足、模型假设不贴合实际等问题.因此，提出一种新型的拜占庭鲁棒聚合算法.与现有聚合算法不同，该算法侧重于检测Softmax层的概率分布.具体地，参数服务器在收集客户端模型之后，通过构造的矩阵去映射模型的更新部分来获取此模型的Softmax层概率分布，排除分布异常的客户端模型.实验结果表明：在不降低FedAvg精度的前提下，在阻碍收敛攻击中，将拜占庭容忍率从40%提高到45%，在后门攻击中实现对边缘后门攻击的防守.此外，根据目前最先进的自适应攻击框架，设计出专门针对该聚合算法的自适应攻击，并进行了实验评估，实验结果显示，该聚合算法可以防御至少30%的拜占庭客户端.
参考文献
相关文章 6
| [1] | 周纯毅, 陈大卫, 王尚, 付安民, 高艳松. 分布式深度学习隐私与安全攻击研究进展与挑战[J]. 计算机研究与发展, 2021, 58(5): 927-943. |
| [2] | 陈大卫, 付安民, 周纯毅, 陈珍珠. 基于生成式对抗网络的联邦学习后门攻击方案[J]. 计算机研究与发展, 2021, 58(11): 2364-2373. |
| [3] | 黄倩怡, 李志洋, 谢文涛, 张黔. 智能家居中的边缘计算[J]. 计算机研究与发展, 2020, 57(9): 1800-1809. |
| [4] | 刘俊旭, 孟小峰. 机器学习的隐私保护研究综述[J]. 计算机研究与发展, 2020, 57(2): 346-362. |
| [5] | 芦效峰, 廖钰盈, Pietro Lio, Pan Hui. 一种面向边缘计算的高效异步联邦学习机制[J]. 计算机研究与发展, 2020, 57(12): 2571-2582. |
| [6] | 董业, 侯炜, 陈小军, 曾帅. 基于秘密分享和梯度选择的高效安全联邦学习[J]. 计算机研究与发展, 2020, 57(10): 2241-2250. |
PDF全文下载地址:
https://crad.ict.ac.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=4525
