Secure and Efficient One-Shot Federated Learning Based on Dataset Distillation

LI Jie; LIU Minyu; QIAO Dewen; LE Junqing; XIANG Tao

doi:10.13718/j.cnki.xdzk.2026.04.011

2026 Volume 48 Issue 4

Article Contents

Previous Article Next Article

LI Jie, LIU Minyu, QIAO Dewen, et al. Secure and Efficient One-Shot Federated Learning Based on Dataset Distillation[J]. Journal of Southwest University Natural Science Edition, 2026, 48(4): 156-166. doi: 10.13718/j.cnki.xdzk.2026.04.011

Citation:

LI Jie, LIU Minyu, QIAO Dewen, et al. Secure and Efficient One-Shot Federated Learning Based on Dataset Distillation[J]. Journal of Southwest University Natural Science Edition, 2026, 48(4): 156-166. doi: 10.13718/j.cnki.xdzk.2026.04.011

Secure and Efficient One-Shot Federated Learning Based on Dataset Distillation

1.
Smart City Business Division, CISDI Information Technology(Chongqing) Co., Ltd., Chongqing 404100, China
2.
College of Computer Science, Chongqing University, Chongqing 400044, China
3.
Bio-Med Informatics Research Centre, Army Medical University(Third Military Medical University), Xinqiao Hospital, Chongqing 400037, China

More Information

Corresponding author: LE Junqing ;
Received Date: 27/02/2026
Available Online: 20/04/2026
MSC: TP309;TP18

Abstract

Federated learning allows clients to train models locally and share only model parameters instead of raw data, enabling collaborative learning without exposing original data. However, frequent parameter exchanges still lead to high communication overhead. To address the above issues, a secure and efficient one-shot federated learning scheme was proposed based on dataset distillation and differential privacy techniques. In this scheme, the server only provided users with a description of the model structure for the learning task, without distributing the model parameters for training. Then, users generated low-dimensional synthetic data based on their local data and uploaded them to the server in a single interaction. This method replaced the traditional multi-round model parameter interactions, and significantly reduced the communication costs. To address the potential privacy leakage issue of synthetic data, a differential privacy mechanism was introduced during the synthetic data generation stage and an adaptive noise injection optimization strategy was designed to effectively mitigate model performance degradation while ensuring privacy protection. Subsequently, the server aggregated the synthetic data uploaded by users and performed centralized training to obtain a high-performance global model. Privacy analysis showed that the proposed scheme satisfied local differential privacy constraints and effectively resisted membership inference attacks. The experimental results showed that, compared with existing privacy-preserving federated learning methods, this scheme achieved better model accuracy in scenarios with non-independent and identically distributed data while significantly reducing communication overhead.
- dataset distillation,
- one-shot learning,
- federated learning,
- differential privacy

References

[1]	刘立伟, 傅超豪, 孙泽堃, 等. 数据要素流通全流程隐私关键技术: 现状、挑战与展望[J]. 软件学报, 2026, 37(1): 301-325. Google Scholar
[2]	KONECNY J, MCMAHAN H B, RAMAGE D. Federated Optimization: Distributed Optimization Beyond the Datacenter[PP/OL]. ArXiv(2015-11-11)[2026-02-10]. http://arxiv.org/abs/1511.03575. Google Scholar
[3]	KONECNY J, MCMAHAN H B, RAMAGE D, et al. Federated Optimization: Distributed Machine Learning for On-Device Intelligence[PP/OL]. ArXiv(2016-08-08)[2026-02-10]. https://arxiv.org/abs/1610.02527. Google Scholar
[4]	WANG Z B, SONG M K, ZHANG Z F, et al. Beyond Inferring Class Representatives: User-Level Privacy Leakage from Federated Learning[C] // IEEE Conference on Computer Communications. Paris, France: IEEE, 2019: 2512-2520. Google Scholar
[5]	LE J Q, ZHANG D, LEI X Y, et al. Privacy-Preserving Federated Learning with Malicious Clients and Honest-but-Curious Servers[J]. IEEE Transactions on Information Forensics and Security, 2023, 18: 4329-4344. doi: 10.1109/TIFS.2023.3295949 CrossRef Google Scholar
[6]	NASR M, SHOKRI R, HOUMANSADR A. Comprehensive Privacy Analysis of Deep Learning: Passive and Active White-Box Inference Attacks Against Centralized and Federated Learning[C] //2019 IEEE Symposium on Security and Privacy (SP). San Francisco, CA, USA: IEEE, 2019: 739-753. Google Scholar
[7]	王恺楠, 张玉会, 侯锐. 联邦学习中隐私攻击与防御综述[J]. 信息安全学报, 2025, 10(2): 219-230. Google Scholar
[8]	郭施帆, 缪祥华. 联邦学习中梯度反演攻击与防御研究综述[J]. 信息安全与通信保密, 2025(7): 55-65. Google Scholar
[9]	ZHU L, LIU Z, HAN S. Deep Leakage from Gradients[J]. Advances in Neural Information Processing Systems, 2019, 32: 8444-8454. Google Scholar
[10]	DWORK C. DifferentialPrivacy[C] //Automata, Languages and Programming. Berlin, Heidelberg: Springer, 2006: 1-12. Google Scholar
[11]	ABADI M, CHU A, GOODFELLOW I, et al. Deep Learning with Differential Privacy[C] //Proceedings of the 2016 ACM SIGSAC Conference on Computer and Communications Security. Vienna Austria. ACM, 2016: 308-318. Google Scholar
[12]	WEI K, LI J, DING M, et al. Federated Learning with Differential Privacy: Algorithms and Performance Analysis[J]. IEEE Transactions on Information Forensics and Security, 2020, 15: 3454-3469. doi: 10.1109/TIFS.2020.2988575 CrossRef Google Scholar
[13]	薛大暄, 杜宜霏, 陈红, 等. 基于差分隐私的通信高效联邦推荐方法[J/OL]. 软件学报, 1-23. [2026-02-15]. https://doi.org/10.13328/j.cnki.jos.007550. Google Scholar
[14]	WANG T, ZHU J Y, TORRALBA A, et al. Dataset Distillation[PP/OL]. ArXiv(2020-02-24)[2026-02-10]. https://arxiv.org/pdf/1811.10959. Google Scholar
[15]	ZHAO B, BILEN H. Dataset Condensation with Distribution Matching[C] //2023 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV). Waikoloa, HI, USA: IEEE, 2023: 6503-6512. Google Scholar
[16]	MCMAHAN H B, MOORE E, RAMAGE D, et al. Communication-Efficient Learning of Deep Networks from Decentralized Data[PP/OL]. ArXiv(2016-02-17)[2026-02-10]. https://arxiv.org/abs/1602.05629v3. Google Scholar
[17]	HU S Y, GOETZ J, MALIK K, et al. Fedsynth: Gradient Compression via Synthetic Data in Federated Learning[PP/OL]. ArXiv(2022-04-04)[2026-02-10]. https://arxiv.org/abs/2204.01273. Google Scholar
[18]	ZHOU Y L, PU G, MA X Y, et al. Distilled One-Shot Federated Learning[PP/OL]. ArXiv(2020-09-17)[2026-02-10]. https://arxiv.org/abs/2009.07999. Google Scholar
[19]	SONG R, LIU D, CHEN D Z, et al. Federated Learning via Decentralized Dataset Distillation in Resource-Constrained Edge Environments[C] //2023 International Joint Conference on Neural Networks (IJCNN). Gold Coast, Australia: IEEE, 2023: 1-10. Google Scholar
[20]	BONAWITZ K, IVANOV V, KREUTER B, et al. Practical Secure Aggregation for Privacy-Preserving Machine Learning[C] //Proceedings of the 2017 ACM SIGSAC Conference on Computer and Communications Security. Dallas, Texas, USA: ACM, 2017: 1175-1191. Google Scholar
[21]	ZHANG C L, LI S Y, XIA J Z, et al. BatchCrypt: Efficient Homomorphic Encryption for Cross-Silo Federated Learning[C] //USENIX Annual Technical Conference, 2020: 493-506. Google Scholar
[22]	李瑞芮, 郭瑞, 张应辉, 等. 基于多密钥同态加密的边缘联邦学习隐私保护方案[J/OL]. 计算机科学, 2026, 1-16. https://link.cnki.net/urlid/50.1075.TP.20250922.1402.020. Google Scholar
[23]	王玉画, 张沁楠, 邱望洁, 等. 自适应拜占庭鲁棒的差分隐私联邦学习[J]. 中国科学: 信息科学, 2025, 55(11): 2663-2682. Google Scholar
[24]	张淑芬, 汤本建, 田子坤, 等. 基于差分隐私的联邦学习研究综述[J]. 计算机应用, 2025, 45(10): 3221-3230. Google Scholar
[25]	CHEN D F, KERKOUCHE R, FRITZ M. Private Set Generation with Discriminative Information[C] //Proceedings of the 36th International Conference on Neural Information Processing Systems. New Orleans, LA, USA: ACM, 2022: 14678-14690. Google Scholar
[26]	ZHANG D, LE J Q, MU N K, et al. Privacy-Preserving Federated Learning Based on Dataset Condensation[J]. IEEE Transactions on Consumer Electronics, 2025, 71(1): 748-760. doi: 10.1109/TCE.2024.3510694 CrossRef Google Scholar
[27]	ZHENG T H, LI B C. Differentially Private Dataset Condensation[C] //Proceedings 2024 Workshop on AI Systems with Confidential COmputing. San Diego, CA, USA: Internet Society, 2024: 1-10. Google Scholar
[28]	XIONG Y H, WANG R C, CHENG M H, et al. FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning[C] //2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Vancouver, BC, Canada: IEEE, 2023: 16323-16332. Google Scholar
[29]	DWORK C, LEI J. Differential Privacy and Robust Statistics[C] //Proceedings of the Forty-First Annual ACM Symposium on Theory of Computing. Bethesda, MD, USA: ACM, 2009: 371-380. Google Scholar
[30]	LECUN Y, BOTTOU L, BENGIO Y, et al. Gradient-Based Learning Applied to Document Recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324. doi: 10.1109/5.726791 CrossRef Google Scholar
[31]	XIAO H, RASUL K, VOLLGRAF R. Fashion-MNIST: A Novel Image Dataset for Benchmarking Machine Learning Algorithms[PP/OL]. ArXiv(2017-08-25)[2026-02-10]. https://arxiv.org/abs/1708.07747. Google Scholar
[32]	KRIZHEVSKY A. Learning Multiple Layers of Features from Tiny Images[PP/OL]. Computer Science (2009-04-08)[2026-02-10]. https://www.semanticscholar.org/paper/Learning-Multiple-Layers-of-Features-from-Tiny-Krizhevsky/5d90f06bb70a0a3dced62413346235c02b1aa086. Google Scholar

Access History

通讯作者: 陈斌, bchen63@163.com

1.
沈阳化工大学材料科学与工程学院沈阳 110142

Figures(3) / Tables(4)

Export Citation

PDF

XML

Article Metrics

Article views(97) PDF downloads(11) Cited by(0)

Access History

Other Articles By Authors

on this site
- LI Jie
- LIU Minyu
- QIAO Dewen
- LE Junqing
- XIANG Tao
on Google Scholar
- LI Jie
- LIU Minyu
- QIAO Dewen
- LE Junqing
- XIANG Tao

HTML

开放科学（资源服务）标识码（OSID）：
随着智能终端的普及，数据驱动的机器学习模型在智能感知与决策支持等场景中发挥着重要作用。然而，数据通常分散存储在用户或设备侧，且包含敏感信息，直接共享这些数据易引发隐私泄露风险，形成数据孤岛问题，制约智能模型的发展^[1]。联邦学习(Federated Learning，FL)^[2-3]通过在本地训练模型、仅上传参数，实现了在不集中原始数据前提下的协同建模，在一定程度上缓解了数据孤岛与隐私风险。然而，传统联邦学习依赖多轮模型参数交互，深度模型参数规模庞大，带来显著通信开销，限制了其在资源受限设备上的部署。同时，上传的模型参数仍可能泄露敏感信息^[4-5]，攻击者可通过成员推理攻击^[6-7]或模型反演攻击^[8]恢复训练数据特征，对隐私构成威胁^[9]。

为增强隐私保护，已有研究引入多方安全计算、同态加密、可信执行环境及差分隐私(Differential Privacy，DP)^[10]等技术。其中，DP因具备严格的理论隐私保证和较高效率而被广泛采用。但现有方法多在梯度或参数层面注入噪声^[11-13]，在高维空间中往往需要较大噪声强度，导致模型性能下降。

为解决分布式学习场景中存在的通信低效和隐私泄露问题，引入数据集蒸馏^[14]的思想，提出基于合成数据的联邦学习方案。在该方案中，通过数据集蒸馏技术生成小规模的合成数据，并在联邦学习中替代高维模型参数进行服务器与用户之间的交互，可以显著降低联邦学习的通信开销。此外，不同于传统方法仅对模型参数进行一次性聚合，合成数据可在服务器端被重复用于多轮次的模型训练与更新，使得全局模型能够充分收敛并得到更优的性能。这一特性也为构建一次性交互联邦学习策略提供了可能，即每个用户仅需一次性上传其本地生成的合成数据即可实现协同训练。

然而，合成数据仍有可能泄露原始数据的分布信息，难以抵御成员推理攻击。为保障合成数据隐私安全，在基于分布匹配(Distribution Matching，DM)^[15]数据集蒸馏框架中引入差分隐私技术，并设计了一种新的自适应噪声注入策略，使合成数据在满足本地差分隐私要求的同时，在用于模型训练时仍能得到较高准确度。主要贡献如下：1) 提出了一种基于数据集蒸馏的一次性交互联邦学习框架，用户仅需一次性上传小规模的合成数据，服务器端即可基于该数据进行多轮次模型训练，以得到高准确度的全局模型。2) 不同于传统联邦学习依赖高维模型权重或梯度的多轮次交互进行模型更新，该方法在整个训练过程中仅涉及一次小规模的低维合成数据交互，从而有效避免了模型参数传输带来的高通信开销。3) 将差分隐私处理嵌入合成数据的生成阶段，有效降低全局敏感度，并提出自适应噪声注入策略，在满足本地差分隐私保护的同时保障较高的模型准确度。4) 从理论上证明了所提方案能满足本地差分隐私要求，并在满足Non-IID分布的基准数据集上进行了性能对比实验。实验结果表明，该方法在模型准确度和通信效率方面均优于其他隐私保护联邦学习方法。

1. 相关工作

1.1. 联邦学习方案

联邦学习可以在本地原始数据不出域的情况下，仅与服务器交换模型参数信息，实现分布式协同训练，已被广泛应用于隐私敏感的分布式学习场景。目前，学术界已提出了大量关于联邦学习的研究成果。其中，FedAvg算法^[16]是最经典的一种联邦架构，其通过增加本地训练轮次来减少通信频率，在一定程度上提升了通信效率。然而，该类方法仍依赖多轮模型参数交互，在大规模系统或资源受限环境中通信开销依然较高。

为进一步降低通信成本，研究者提出了一次性交互联邦学习范式，通常结合数据集蒸馏技术，使用户端仅需上传一次小规模合成数据即可完成全局模型训练或模型更新过程的重构。例如，FedSynth^[17]利用合成数据进行交互，随后基于合成数据恢复用户端模型更新并进行聚合；Zhou等^[18]提出了DOSFL方案，该方案基于本地真实数据集蒸馏得到合成数据，合成数据随后在服务器端聚合，并用于更新全局模型；Song等^[19]设计了FedD3方案，该方案通过在用户端采用Coreset-based或KIP-based的数据集蒸馏方法，将原始数据压缩为少量合成样本，并一次性上传给服务器，实现一次性交互联邦学习。尽管现有的一次性交互联邦学习在通信方面保持高效，但其对用户端模型的初始化一致性较为敏感，且蒸馏计算开销相对较高。

1.2. 隐私保护策略

在联邦学习的训练过程中，无论通过模型参数还是合成数据进行服务器与用户端之间的交互，都可能遭受诚实但好奇(honest-but-curious)服务器或恶意窃听者发起的成员推理攻击^[6-7]和模型反演攻击^[8]。为防御这些恶意攻击，现有研究引入了安全多方计算、同态加密和差分隐私等防御技术。其中，最具代表性的工作包括Bonawitz等^[20]提出的安全聚合机制，以及文献[21-22]中设计的基于同态加密的联邦学习方案，但这些方法通常存在较高的通信与计算开销。

相比之下，差分隐私因其严格的隐私理论保证和较低的计算复杂度，已被广泛应用于联邦学习的隐私保护。文献[23-24]提出在模型参数更新阶段注入DP噪声，以抵御隐私泄露，但该方法仍面临较高的通信开销，且添加的噪声会影响模型性能。为兼顾通信效率与隐私保护，近几年已有研究开始将DP引入数据集蒸馏过程，并通过合成数据交互来降低通信开销。例如，Chen等^[25]在合成数据的表示层添加DP噪声；PPFL-DC则利用DP-SGD方式更新合成数据所需的梯度^[26]；NDPDC基于DM方法在固定裁剪阈值下对合成数据进行DP保护^[27]；FedDM则在合成数据梯度中引入DP噪声，并通过多轮训练保障模型的较高准确度^[28]。

然而，上述方案通常采用固定差分噪声，或者对高维模型权重添加噪声，这在一定程度上降低了合成数据的可用性，并导致模型训练准确度下降。

2. 关键技术

2.1. 数据集蒸馏技术(DM)

基于分布匹配的数据集蒸馏(DM)^[15]方法的核心思想是通过对齐真实数据与合成数据在多种嵌入空间中的特征分布，以此生成能够有效替代原始数据的小规模合成数据集。在DM中，原始数据集T与待学习的合成数据S会分别经过一系列随机增强A(·，ω)，并在不同的嵌入空间ψ_∂(·)中进行特征提取。最小化两组特征分布之间的差异是该方案的优化目标，其优化目标的表示如下：

x_i是数据集T中的一个样本。通过在不同嵌入空间对原始数据与合成数据的分布进行对齐，DM方法能够逼近高维的特征分布，以提升合成数据的泛化能力，且在合成数据生成过程中无需进行传统数据集蒸馏(如DD^[14])的双层优化，因此该方法是一种高效的数据集蒸馏方法。

2.2. 差分隐私技术

定义1(差分隐私^[10])  设D为数据集，机制M：D→R，其中D为定义域、R为值域。若对于任意邻接数据集d，d′∈D(即二者有且仅有一个样本不同)以及任意输出集合S⊆R，机制M都满足

则称机制M满足(ε，δ)-差分隐私，其中ε＞0为隐私预算。ε越小，表示隐私保护越强。

敏感度与噪声机制：为了近似实现差分隐私，通常采用向查询函数f的输出注入差分噪声，以保证差分隐私保护。函数f的l₂敏感度定义如下，

在该方法中，采用高斯噪声机制M来实现差分隐私保护，其添加噪声的形式可表示为

其中，N(0，σ²I)表示均值为0且协方差矩阵为σ²I的正态分布，I为单位矩阵。

此外，差分隐私机制还具有顺序组合和并行组合两种重要性质，具体表述如下。

定理1(顺序组合^[29])  假设机制M₁，M₂，…，M_m分别满足ε₁，ε₂，…，ε_m-差分隐私，则由这些机制组成的联合机制M(d)=(M₁(d)，M₂(d)，…，M_m(d))满足$ \sum\limits_i^m \varepsilon_i-$差分隐私。

定理2(并行组合^[29])  假设机制M₁，M₂，…，M_m分别作用于互不重叠的数据集D₁，D₂，…，D_m，且分别满足(ε₁，δ₁)-差分隐私，(ε₂，δ₂)-差分隐私，…，(ε_m，δ_m)-差分隐私，则由这些机制组成的联合机制M(d)=(M₁(d)，M₂(d)，…，M_m(d))满足$ \left( {\mathop {\max }\limits_i {\varepsilon _i},\mathop {\max }\limits_i {\delta _i}} \right) - $差分隐私。

4. 隐私分析

本节基于Rényi差分隐私(Rényi Differential Privacy，RDP)框架，对所提出的一次性交互联邦学习方案进行隐私性分析。

在该一次性交互联邦学习框架中，用户真实数据始终保留在本地，服务器仅能访问经隐私保护的合成数据。因此，系统的隐私风险主要来源于合成数据生成过程。

1) 单轮合成数据更新的RDP保证

在第r轮合成数据更新中，用户以采样率$ q=\frac{\left|B_i\right|}{\left|D_i\right|}$从本地数据集中抽取小批量数据B_i，并对逐样本梯度进行l₂-范数裁剪，裁剪阈值为C_i^r。随后，向裁剪并聚合后的梯度中注入均值为0、标准差为σC_i^r的高斯噪声。根据Rényi差分隐私理论，对于任意Rényi阶数α＞1，单轮合成数据更新机制满足(α，ε_RDP^(r)(α))-RDP，其中，

2) 多轮合成数据生成的RDP组合

在合成数据生成阶段，用户共执行R轮更新。由于RDP具有顺序组合性质，用户i在完成全部合成数据生成后满足(α，ε_RDP⁽ⁱ⁾(α))-RDP。其中，$ \varepsilon_{\mathrm{RDP}}^{(i)}(\alpha)=\sum\limits_{r=1}^R \varepsilon_{\mathrm{RDP}}^{(r)}(\alpha)$当各轮训练采用相同的采样率与噪声乘子时，上式可简化为ε_RDP⁽ⁱ⁾(α)=R·ε_RDP^(single)(α)。

3) 一次性交互联邦学习的隐私特性

与传统联邦学习在每一轮训练中都上传梯度或模型参数不同，该方法采用一次性通信策略，即每个用户仅在完成合成数据生成后向服务器上传一次合成数据。随后，服务器端的全局模型训练仅依赖于满足RDP约束的合成数据。根据差分隐私的后处理不变性，服务器端训练过程不会引入额外的隐私泄露。因此，整个一次性交互联邦学习框架的隐私损失不会随着服务器端全局训练轮数的增加而累积。

4) 从RDP到(ε，δ)-差分隐私的转换

根据RDP到(ε，δ)-差分隐私的标准转换定理，对于任意δ＞0，机制M_i同时满足(ε_i，δ)-差分隐私，其中，

5) 隐私保证

由于不同用户的数据集是相互独立的，且各用户的合成数据均在本地独立生成，方案整体满足差分隐私的并行组合性质。因此，所提出的一次性交互联邦学习方案满足(ε，δ)-差分隐私，其中(ε，δ)=$ \max\limits_i\left(\varepsilon_i, \delta\right)$。

6. 总结

本文针对数据分散场景下隐私保护与通信效率难以兼顾的问题，提出了一种结合数据集蒸馏与差分隐私的一次性交互联邦学习方法。不同于传统多轮参数交互方式，该方法以低维合成数据作为唯一交互载体，用户仅需一次上传经差分隐私保护的合成数据，服务器即可集中训练与复用，从而降低通信开销并减少模型参数泄露风险。在隐私方面，将差分隐私机制引入合成数据生成阶段，通过自适应噪声控制实现隐私预算与模型性能之间的平衡，并在理论上具备抵御成员推理攻击的能力。实验结果表明，在Non-IID数据环境下，该方法在准确率和通信效率方面均表现出较好的性能。总体而言，该工作为高隐私、低资源场景下的分布式建模提供了一种可行的技术路径。

Figure (3) Table (4) Reference (32)

Name
	Name cannot be empty!
E-mail
	Mailbox cannot be empty! Mailbox cannot be empty!
Telephone
	Mobile number cannot be empty! Please enter a valid mobile number!
Title

Content
Verification Code

Message Board

Secure and Efficient One-Shot Federated Learning Based on Dataset Distillation