联邦学习研究与应用趋势报告

sunnyhappy1983

研究报告内容

分享至：        







　　人工智能未来能否可持续发展面临两大困境。

　　一是数据困境。人工智能和机器学习算法具有对数据强依赖的特性。现实中，多数行业领域存在着数据有限且质量较差的问题，并且以碎片化的形式分散存在，不足以支撑人工智能技术的实现。同时，数据源之间存在着难以打破的壁垒。由于行业竞争、隐私安全、行政手续复杂等问题，数据还多是以孤岛形式存在的。此外，研究界和企业界目前的情况是收集数据的一方通常不是使用数据的一方。因此，将分散在各地、各机构的数据进行整合用于机器学习所需的成本非常巨大。

　　二是法律挑战。当前，重视数据隐私和安全已经成为世界性的趋势，各国都在不断地推出和加强完善对数据安全和隐私保护的相关法规。欧盟2018年正式施行《通用数据保护条例》（General DataProtection Regulation, GDPR）。在中国，全国信息安全标准委员会先后于2017年12月和2020年3月发布了两版《信息安全技术个人信息安全规范》（GB/T 35273-2017、GB/T 35273-2020），对个人信息收集、储存、使用做出了明确规定。此外，在2017年起实施的《中华人民共和国网络安全法》[7]和《中华人民共和国民法总则》[8]中也指出网络运营者不得泄露、篡改、毁坏其收集的个人信息，并且与第三方进行数据交易时需确保在合同中明确约定拟交易数据的范围和数据保护义务。

　　针对以上困境，“狭义”联邦机器学习的概念于2016年由谷歌研究人员首先提出，随后成为一个解决数据孤岛问题、满足隐私保护和数据安全的一个可行性解决方案[9]。联邦学习的特征是数据不出本地、各个参与者的身份和地位平等、它能够实现多个参与方在保护数据隐私、满足合法合规要求的前提下进行机器学习，协同地进行模型训练与结果预测，并且建模效果和将整个数据集放在一处建模的效果相同或相差不大（在各个数据的用户对齐（ user alignment ）或特征对齐（ featurealignment）的条件下），从而实现企业间的数据融合建模，解决数据孤岛问题。

　　“广义”联邦学习的概念，由香港科技大学杨强教授所领导的微众银行AI团队在2018年提出，将联邦学习扩展为机构和个人间的B2C模式和不同机构间B2B分布式联合建模架构，包括按样本、按特征分割以及异构多方建模，同时可以建立去中心协调器的Peer-to-Peer架构形式，其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与方或多计算结点之间开展高效率，安全、可靠的机器学习和模型使用。联邦学习同时包括鼓励多方持续参与合作生态的激励机制，建立正向激励的数据价值交易市场机制。

　　如上所述，根据孤岛数据的分布特点（用户与用户特征的重叠情况），联邦学习可以分为横向联邦学习、纵向联邦学习与联邦迁移学习[10]。

　　联邦学习能够成功的一个重要根基，在于与激励机制、隐私保护等技术的融合。联邦学习激励机制研究的是如何量化每个参与方对数据联邦带来的收益，公平地与参与者分享部分收益以此作为激励，从而实现数据联邦长期的可持续经营[11]。为了防止恶意攻击者通过模型反演等攻击手段复现原始数据，联邦学习通过与安全多方计算（Secure Multi-PartyComputation, MPC ）、同态加密（Homomorphic Encryption, HE）、差分隐私（ Differential Privacy, DP ）和可信执行环境（Trusted Execution Environment, TEE）等隐私计算技术相融合，进一步提升对数据的隐私保护。联邦学习与隐私计算技术的融合通常需要在模型精度、模型训练效率和数据安全性这三个维度之间进行权衡和取舍。如何能够在这三个维度上得到综合性的提升，是联邦学习的一个热点研究方向。

　　联邦学习作为未来AI发展的底层技术，它依靠安全可信的数据保护措施下连接数据孤岛的模式，将不断推动全球AI技术的创新与飞跃。随着联邦学习在更大范围和更多行业场景中的渗透及应用，它不仅能辅助人类的工作及生活，也将逐步改变人类的认知模式，促进全社会智能化水平提升，并以“合作共赢”的模式带动跨领域的企业级数据合作，有效降低技术应用的成本和门槛，催生基于联合建模的新业态，进而推动社会经济及发展[12]。

　　由于目前没有关于联邦学习技术发展的权威统计，本报告将主要回顾其从2016年诞生至2020年的技术发展趋势，作为学者们了解该技术进展的重要渠道。未来我们将定期进行该技术的阶段性回顾。