科学家突破联邦学习模型同构限制，让异构设备在隐私保护中学习

在当今高度互联的世界中，移动设备、智能家居和物联网产品正源源不断地产生海量数据，如果能将这些数据充分利用起来，毫无疑问能够为 AI 模型的训练带来更多有价值的养料。但这些数据往往分散在各个终端设备上，在保护隐私的前提下，有效利用这些分散数据训练人工智能模型是一个棘手的难题。

传统的联邦学习，比如联邦平均（FedAvg，Federated Averaging）算法，虽然允许多个设备在不共享原始数据的情况下训练模型，但通常假设所有参与者使用相同的模型架构——这一假设在现实世界中很少成立。

在实际部署中，边缘设备在计算能力、内存和网络条件方面差异很大。这种异构性使得要求所有设备训练单一、庞大的模型变得不切实际。

为了解决这一根本限制，三星电子研究员 Honggu Kang 及其合作者开发了生成模型辅助联邦学习（GeFL，Generative Model-Aided Federated Learning），这种新型联邦学习方法能使具有不同 AI 模型架构的设备能够从分散数据中协同学习。

日前，相关论文以《GeFL: 基于生成模型的通用联邦学习》（GeFL: Model-Agnostic Federated Learning with Generative Models）发表在预印本网站 arXiv 上 [1]。Honggu Kang 是第一作者。

图丨相关论文（来源：arXiv）

通过生成模型实现知识共享

GeFL 的技术核心在于，巧妙地利用一个联邦生成模型作为知识传递的桥梁。不同于强制每个客户端共享共同模型，GeFL 允许每个客户端训练自己的目标网络，同时为全局生成模型做出贡献。该生成模型以联邦方式使用各客户端的本地数据进行训练，然后生成合成样本——可以是原始图像或在增强版的中间特征表示——用于增强异构模型的训练。

图丨 GFL 的示意图（来源：arXiv）

Honggu Kang 对此解释道：“我们的框架由两个主要步骤组成。首先是生成知识聚合阶段，各个客户端使用本地数据训练生成模型。服务器收集并聚合这些模型参数，形成一个具有全局知识的生成模型，然后分享给所有客户端。”

在这一阶段，研究团队探索了多种生成模型架构，包括生成对抗网络（GAN，Generative Adversarial Network）、变分自编码器（VAE，Variational Autoencoder）和去噪扩散概率模型（DDPM，Denoising Diffusion Probabilistic Model）。每种模型都有其特点：GAN 能提供高质量、快速的样本生成但容易模式崩溃；VAE 提供多样化但质量较低的样本；DDPM 提供高质量、多样化的样本但计算开销大。

这些生成模型虽然架构不同，但在 GeFL 框架中扮演着相同的角色：它们学习捕捉分布在不同客户端上的数据特征，并通过生成合成样本来传递这些知识。通过联邦学习方式训练，这些模型能够整合来自不同设备的知识，而无需直接访问原始数据。

“第二阶段是目标网络训练和精炼。”Kang 继续解释道。“每个客户端使用全局生成模型产生的合成样本来增强其本地训练数据。具体来说，我们的算法会对随机标签条件下生成样本，将这些样本作为额外的训练数据，多个本地训练周期后，再用真实数据进行精炼。”

这种双阶段方法不仅支持设备根据自身能力定制模型，还通过捕捉更广泛的数据分布显著提升了模型性能。研究团队的理论分析表明，这种生成模型驱动的知识聚合方式能有效缓解个别客户端数据不足和过拟合问题。

在实验评估中，GeFL 在多个公共数据集上进行了测试，包括 MNIST、Fashion-MNIST 和 CIFAR10。结果显示，与基线方法 FedAvg 相比，在 MNIST 数据集上，GeFL 使用 FedDDPM（w=0）达到了 96.44% 的准确率，比 FedAvg 的 92.62% 提高了 3.82 个百分点。在 Fashion-MNIST 上，GeFL（FedDCGAN）达到 83.11%，超过 FedAvg 的 80.58%。在 CIFAR10 数据集上，GeFL（FedDDPM）达到 59.36%，而 FedAvg 仅为 55.65%。

（来源：arXiv）

“在评估性能时，我们发现一个有趣的现象，”Kang 分享道，“生成模型的初始距离和初始得分等传统指标与下游任务性能并没有明显相关性。这表明，评估生成模型在联邦学习中的作用需要一个更全面的视角，而不仅仅关注生成图像的质量。”

在研究过程中，该团队发现了一个关键问题。Kang 回忆说：“我们进行了一系列隐私评估后，发现了一个严重的问题。数据明确显示，我们的生成模型虽然强大，但也在合成新样本时保留了太多关于个别数据点的信息。这不仅令人惊讶，还成为了我们研究的一个重大转折点。”

这一发现促使团队重新思考方法。Kang 解释：“认识到保护隐私的重要性，我们决定开发一个增强框架，即特征级生成模型辅助联邦学习（GeFL-F，Feature-level Generative Model-Aided Federated Learning）。在 GeFL-F 中，我们不再生成原始图像，而是转向特征生成模型，这些模型生成的是更低分辨率、抽象的表示。”

增强隐私保护的特征级联邦学习

GeFL-F 的核心创新在于网络分解方法。它将目标网络拆分为两部分：共同特征提取器和特定于模型的头部。特征提取器是所有客户端共享的轻量级组件，通常由一个或几个卷积层组成，负责将原始图像转换为中间特征表示。这些特征表示比原始图像尺寸小得多，信息更为抽象，从而减轻了隐私泄露风险。

模型头部则是专门针对各种模型架构定制的，负责将特征映射到最终预测。这种分解策略允许客户端在共享部分知识的同时，保持模型架构的多样性。在实验中，对 MNIST 和 Fashion-MNIST，特征提取器输出 16×16 大小的特征图；对 CIFAR10 等更复杂的数据集，输出 8×8 特征图。这种设计在信息提取和隐私保护之间取得了良好平衡。

图丨 GFL-F 算法的示意图（来源：arXiv）

GeFL-F 的训练过程分为三个紧密相连的阶段。首先是预热阶段，专注于训练共同特征提取器。在这一阶段，服务器将当前特征提取器和头部参数分发给客户端，客户端使用本地数据训练完整模型，然后上传更新后的参数。服务器分别聚合特征提取器和头部参数，确保参数聚合的一致性。这一过程持续数轮通信，直至特征提取器收敛，为后续阶段奠定基础。

第二阶段是特征生成模型训练，这是 GeFL-F 的关键创新。客户端使用训练好的特征提取器处理本地数据，生成特征表示，然后在这些特征上训练生成模型。与原始 GeFL 不同，这些生成模型学习的是特征空间分布而非图像空间分布。由于特征维度远低于原始图像，生成模型更容易学习，所需参数量也大幅减少，提高了通信效率。

最后阶段是目标网络头部训练。客户端使用全局特征生成模型生成合成特征，基于这些合成特征训练网络头部。随后，客户端使用从本地数据提取的特征进一步优化头部。这种方法让客户端能够学习超出本地数据范围的知识，同时保持模型架构的多样性。

通过这种特征级生成方法，GeFL-F 显著增强了隐私保护能力。实验结果证明，在客户端数量增加的情况下，GeFL-F 显示出更强的鲁棒性，同时在隐私保护方面也有显著改善。通过测量平均最近邻距离（MND，Mean Nearest Neighbor Distance）比率，研究团队发现使用特征生成模型显著降低了记忆化问题。

“为了验证特征生成模型的隐私保护能力，我们尝试用模型反转技术从生成的特征重建原始图像。”Kang 表示，“结果显示，与 GeFL 相比，重建图像的质量显著下降，证实了我们的方法确实加强了隐私保护。”

值得注意的是，GeFL-F 不仅增强了隐私保护，还在资源效率方面展现出优势。特征级生成模型的参数量和计算成本都显著低于原始图像生成模型。这些改进使得该框架更适合资源受限的边缘设备，提高了实际部署的可行性。

（来源：arXiv）