科学研究

2023年11月10日-12日,由西南财经大学、微众银行、中国计算机学会、FATE开源社区主办,“数字经济与交叉科学创新研究院”财经科技集成创新平台(园区)、西南财经大学新葡萄8883官网-AMG-Apple App Store、新财经综合实验室和CCF成都分部共同承办的“可信联邦学习冬令营”在成都正式开营。

本次冬令营吸引了来自香港科技大学、清华大学、浙江大学、中国科学院大学、复旦大学、华中科技大学、中国石油大学、福州大学、山西大学、上海理工大学、四川大学、电子科技大学、西南交通大学、西南石油大学、西南大学和西南财经大学等十余所高校及微众银行、京东、中国联通等知名企业80余位可信联邦学习研究领域的专家导师和优秀本硕博学生积极参与。在为期三个月的冬令营中,来自全国各高校的学员们将结合自身研究背景和兴趣,在领域专家的指导下,围绕“可信联邦学习(TFL)”这一人工智能与隐私计算前沿领域展开研究实践,在可信联邦学习多目标优化、联邦大模型等多个研究方向上形成论文,于2024年2月开展研究成果评比,最终评选出优秀研究成果。

专家齐聚,启研究之智

在为期三天的开营培训阶段,加拿大工程院与皇家学院院士杨强教授、微众银行人工智能首席科学家范力欣、西南财经大学新葡萄8883官网-AMG-Apple App Store院长刘贵松、西南财经大学新葡萄8883官网-AMG-Apple App Store副院长杨新、西南交通大学新葡萄8883官网-AMG-Apple App Store副院长杨燕、清华大学智能产业研究院副教授刘洋等领域专家为学员们带来集中报告培训和指引,传授自身多年研究经验与实践方法,20余位知名高校与科研机构的教授组成导师团队,为学员进行全程研究指导。

西南财经大学党委常委、副校长桂富强在开幕致辞中表示,西南财经大学致力于发展财经科技创新,尤其是人工智能领域与金融的融合。希望同学们在学习与研究中“观人类的未来,也观自己的未来”。

图:桂富强 西南财经大学党委常委、副校长

加拿大工程院与皇家学院院士、微众银行首席人工智能官杨强在开幕致辞中指出,未来的世界是人和模型共存的世界,模型的制造、流通、管理是重要的议题。联邦学习符合人工智能的发展趋势,中国是联邦学习重要的发源地之一。希望同学们在此次冬令营中有所收获,未来成为联邦学习方向和AI领域的中坚力量。杨强教授围绕《可信联邦学习与联邦大模型》主题,为同学们分享了联邦学习相关理论框架、可信联邦学习与联邦大模型的前沿研究与应用等内容。

图:杨强 加拿大工程院与皇家学院院士、微众银行首席人工智能官

微众银行人工智能首席科学家范力欣做了《可信联邦多目标优化》主题报告,指出联邦学习不仅是一种技术,还是平衡性能、效率、安全等多方问题的系统性框架与解决方案。此外,范力欣博士还谈到了联邦学习中涉及的模型版权保护和激励机制等问题,鼓励财大同学结合交叉学科进行深入研究。

图:范力欣 微众银行人工智能首席科学家

清华大学智能产业研究院副教授、FATE开源社区学术专委会主席刘洋分享了《基于知识流动的联邦学习框架》,介绍了框架的基本概念和工作原理,并详细讲解如何在不泄露原始数据的情况下,提升效率以满足实际应用的需求。

图:刘洋 清华大学智能产业研究院副教授、FATE开源社区学术专委会主席

微众银行人工智能资深研究员康焱围绕“联邦大模型”的主题,分享了通过联邦迁移学习落地基础模型的现有研究工作的调研、归纳与分析。康焱博士指出,大型预训练的基础模型存在缺乏领域知识和知识容易过时等局限性,基于联邦迁移学习,可以将领域和行业知识融入基础模型,也可以迁移基础模型的通用知识助力领域模型的建立。

图:康焱 微众银行人工智能资深研究员

西南财经大学新葡萄8883官网-AMG-Apple App Store副院长杨新在《联邦持续学习》的主题报告中介绍了团队最新的研究成果,提出联邦持续学习是动态、现实的联邦学习,主要目标是服务器聚合时避免发生时空性灾难性遗忘。杨新教授希望推动建立起可信联邦学习在西南地区的学术社区,进一步促进联邦学习的整体发展。

图:杨新 西南财经大学新葡萄8883官网-AMG-Apple App Store副院长

四川大学讲师叶庆以《面向异构计算环境的去中心化联邦学习》为主题,分享了当前中心化联邦学习面临的一些挑战,尤其是异构计算环境对联邦学习性能的影响。对此,叶庆老师所在课题组以去中心架构为基础开展了通信优化、个性化联邦学习等相关方案研究,以应对联邦学习在异构计算环境中的挑战。

图:叶庆 四川大学讲师

华中科技大学助理教授张晓今分享了《联邦学习理论》相关内容,对联邦学习中攻防理论进行了深入介绍,提出了如何在分布式环境中平衡隐私和效用,并讨论了如何达到最优权衡,攻防双方是否可学习,如何设计最优防御策略等问题。

图:张晓今 华中科技大学助理教授

联通(上海)产业互联网有限公司技术总监刘泽雷以《联邦参与者贡献评估》为主题,介绍了“基于多方参与的贡献度评估”的数据价值量化方法,并且用案例具体阐述了相关方法如何在实际应用中更好地激励各参与者积极参与,更好地发挥数据价值,推动数据生态构建。

图:刘泽雷 联通(上海)产业互联网有限公司技术总监

中国石油大学(北京)副教授吕仲琪围绕《联邦推荐算法》,分享了关于联邦推荐相关算法的应用和研究进展。吕仲琪教授讲解了推荐系统对于数据共享、可信和隐私保护的需求,以及如何通过联邦学习提高推荐系统的可用性和安全性,探讨了联邦学习在推荐系统领域的后续研究方向。

图:吕仲琪 中国石油大学(北京)副教授

此外,来自电子科技大学的朱公溪分享了他参与7月开营的清华AIR可信联邦学习夏令营中的研究成果和感想与收获。

图:朱公溪 电子科技大学

集思广益,拓知识之源

在接下来的研究与实践阶段,学员们结合自身的研究背景和兴趣,在专家导师的指导下形成小组,确定研究主题,各研究小组的导师由联邦学习领域博士生担任,包括香港科技大学的杨柳、柴迪、耿栩、高大山、万晟、唐兴兴等,在2天时间内进行分组讨论,于11月12日进行了小组汇报与正式开题,并将在2024年2月形成论文,评选出优秀研究成果。

图:导师带领学员分组讨论

来自西南财经大学的博士留学生伟迪(Maitee)表示:“我来自老挝,此次冬令营活动让我有机会和各位老师、同学们一起交流idea(想法),希望以后能将联邦学习的相关研究带回老挝,有机会进行更多学术交流。”

图:小组开题汇报

来自西南交通大学的范欣怡表示:“在此次冬令营活动中收获了很多关于论文的想法,希望更多学长学姐、学弟学妹参与到夏令营、冬令营活动中来,一起交流,共同进步。”

图:小组开题汇报

本次可信联邦学习冬令营为众多学生提供了一个深入学习和探索联邦学习领域的交流平台,以促进人才培养,推动“产、学、研、用”跨领域合作与交流。期望未来有更多青年才俊加入人工智能与隐私计算事业,成为行业发展中坚力量。