我校信息科学与工程学院联邦强化学习科研创新团队设计了一种利用知识蒸馏为人工智能物联网提供高效联邦学习的算法，有效提升数据异构场景下联邦学习模型训练效率。研究成果以“Efficient Federated Learning for AIoT Applications Using Knowledge Distillation”为题发表在SCI一区TOP期刊IEEE Internet of Things Journal，影响因子10.238。

为解决数据异构场景带来的“客户漂移”问题，提升复杂异构物联网场景下联邦学习模型的推理精度，课题组提出基于蒸馏的联邦学习算法，将知识蒸馏的概念引入到联邦学习中。在每轮模型训练时，将传统联邦学习与知识蒸馏相结合，在云端服务器和终端设备中同时传输软、硬标签用以模型训练，从而有效提升联邦学习训练效率。在此过程中辅以损失函数的动态调整策略，可以最大化的协调软、硬标签在训练各时段的贡献比例。在多种著名数据集上的综合实验结果表明，该方法能够在不引入大量通信开销的情况下，有效的提升联邦学习模型推理精度。

该成果是由枣庄学院、华东师范大学、美国休斯顿大学、澳大利亚悉尼科技大学共同完成，信息科学与工程学院教师刘天为文章第一作者。该研究工作得到了国家重点研发计划、国家自然科学基金等项目资助。

文章链接地址：https://ieeexplore.ieee.org/document/9987477/authors#authors