我院计算机应用技术专业2022级硕士生喻皓和高欣，在“认知计算与群智协同创新团队”负责人杨新教授指导下合作完成的三篇学术论文分别被CCF A类国际期刊IEEE Transactions on Knowledge and Data Engineering (IEEE TKDE)、CCF-A类国际学术会议The 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining Research Track (KDD2024)和The 41st IEEE/CVF Conference on Computer Vision and Pattern Recognition FedVision Workshop (CVPR 2024) 录用。

论文题目：Federated Continual Learning via Knowledge Fusion: A Survey

国际期刊：IEEE TKDE

学生作者：喻皓 高欣

通讯作者：杨新

合作单位：新加坡南洋理工大学、京东科技、西南交通大学

论文概述：数据隐私与数据孤岛是制约新一代可信人工智能发展的关键瓶颈问题之一。联邦学习（Federated Learning）的目标就是在保护数据隐私的条件下，多方合作训练可用的深度网络模型。而联邦持续学习（Federated Continual Learning）则是更具有实际应用价值的联邦学习，其一方面允许客户端从持续的任务流中不断累积知识，另一方面允许服务器不断聚合来自不同时空的异质知识。本文作为首篇FCL的综述文章，从知识融合与迁移的角度出发，探究联邦学习与持续学习的相似点，提出“联邦学习是空间上的持续学习，持续学习是时间上的联邦学习”这一深刻结论。随后从持续学习中的灾难性遗忘问题出发，提出了联邦持续学习的核心挑战是“时空灾难性遗忘”，并且首次提出时空知识保留度这一专门适用于联邦持续学习的衡量指标，目前已被数篇顶会论文采纳。接着，本文归纳总结了近年来的FCL文章，根据客户端之间的任务序列相似度将现有的FCL框架划分为同步FCL与异步FCL。在此基础上，本文从数据输入、模型参数和对应输出这三个层次上将现有研究所使用的知识表征形式与融合方式归纳总结为基于数据的融合（排练法和聚类）、基于模型的融合（正则化、注意力机制、参数分离和动态结构）、基于输出的融合（原型和知识蒸馏）。最后，本文展望了FCL未来发展趋势和研究方向。

期刊介绍：IEEE Transactions on Knowledge and Data Engineering是IEEE旗下专注知识发现和数据挖掘的高水平国际学术期刊，被中国计算机学会（CCF）推荐为数据库/数据挖掘/内容检索领域的A类国际期刊，影响因子为8.9。

论文题目：Personalized Federated Continual Learning via Multi-granularity Prompt

国际会议：KDD 2024

学生作者：喻皓 高欣

通讯作者：杨新

合作单位：微众银行、四川大学、京东科技、西南交通大学

论文概述：个性化联邦持续学习（Personalized Federated Continual Learning）是一种具备知识和数据共享能力、满足个性化需求的新型联邦学习范式，不仅需要从全局的时空视角持续地进行异质知识的融合，还需要根据每个客户端的本地需求进行模型与知识的个性化改造。本文首次尝试从符合人类认知“大范围优先“的视角出发，通过模仿人类渐进式多粒度认知过程，构建用于粗粒度知识迁移的全局提示和用于个性化表示的细粒度局部提示，解决了联邦持续学习的时空灾难性遗忘与个性化需求等问题。此外，本文开创性地将可学习的提示（Learnable Prompt）作为一种个性化联邦学习方案，其隐私性和高效性优于大量现有方法，还设计了选择性提示融合，以聚合和提炼来自不同客户端的粗粒度全局提示，实现了在粗粒度层次上的时空知识迁移，从而进一步提升泛化性能。

会议介绍：国际知识发现与数据挖掘大会 (ACM SIGKDD Conference on Knowledge Discovery and Data Mining，简称KDD)是由ACM数据挖掘及知识发现专委会主办的数据挖掘领域历史最悠久、规模最大的国际顶级学术会议，中国计算机学会（CCF）推荐A类国际会议，KDD 2024的Research Track录用率约为20%。

论文题目：FedProK: Trustworthy Federated Class-Incremental Learning via Prototypical Feature Knowledge Transfer

国际会议：CVPR2024（FedVision Workshop）

学生作者：高欣 喻皓

通讯作者：杨新

合作单位：微众银行、西南交通大学

论文概述：本文提出了可信联邦类增量学习框架，兼顾模型的持续可用性、隐私性和高效性三大指标。具体而言，持续可用性涵盖了传统持续学习的两个方面，即可塑性和稳定性，可塑性指模型适应新任务的能力，稳定性指模型保留旧任务知识的能力。隐私性是指可信的FCIL算法不应为了提升模型的持续可用性牺牲数据隐私，同时要能抵抗半诚实服务器和恶意参与方的各种攻击（如深度梯度泄露攻击、成员推断攻击和投毒攻击等）。高效性是指模型的通信成本和计算成本应该保持在可控可接受范围内。在可信联邦类增量学习框架下，本文提出了FedProK（Federated Prototypical Feature Knowledge Transfer），利用原型特征作为隐私保护的轻量型知识表征进行时空知识迁移。FedProK包括两个组成部分：（1）客户端上的特征转换机制，对新旧任务实现时间上的知识迁移；（2）服务器端上的原型知识融合机制，在客户端间实现空间上的知识迁移。本文在有相同任务流的同步FCIL和不同任务流的异步FCIL两中设置下进行了大量实验，证明了FedProK在可信联邦学习的三个方面优于其他最先进的FL和FCIL方法，验证了其在有选择性时空知识迁移方面的有效性。

会议介绍：国际计算机视觉与模式识别会议（IEEE/CVF Computer Vision and Pattern Recognition Conference，简称为CVPR），是由IEEE举办的计算机视觉和模式识别领域的顶级会议，在世界范围内每年召开一次，并被中国计算机学会（CCF）推荐为计算机学科领域A类国际会议。