微众银行-刘洋-联邦学习的研究及应用.pdf

发布时间：2022-05-31 发布人：admin 分类：说明书资料大小：6.90M 资料格式：pdf 举报版权申诉

senhehe-12080461-46b6a928830c8bcfd4534471815c6dd9.pdf-第1页.png

第1页 / 共93页

senhehe-12080461-46b6a928830c8bcfd4534471815c6dd9.pdf-第2页.png

第2页 / 共93页

senhehe-12080461-46b6a928830c8bcfd4534471815c6dd9.pdf-第3页.png

第3页 / 共93页

senhehe-12080461-46b6a928830c8bcfd4534471815c6dd9.pdf-第4页.png

第4页 / 共93页

senhehe-12080461-46b6a928830c8bcfd4534471815c6dd9.pdf-第5页.png

第5页 / 共93页

senhehe-12080461-46b6a928830c8bcfd4534471815c6dd9.pdf-第6页.png

第6页 / 共93页

senhehe-12080461-46b6a928830c8bcfd4534471815c6dd9.pdf-第7页.png

第7页 / 共93页

senhehe-12080461-46b6a928830c8bcfd4534471815c6dd9.pdf-第8页.png

第8页 / 共93页

yangliu@webank.com， dylanfan@webank.com https://www.fedai.org/

提纲

Federated Learning大规模用户在保护数据隐私下的协同学习

联邦学习（Federated Machine Learning）

联邦学习（Federated Machine Learning）的研究进展

幻灯片编号 6

Secure Aggregation [BIK+17]

幻灯片编号 8

纵向联邦学习 Vertical Federated Learning

保护隐私的机器学习Privacy-Preserving Machine Learning

隐私保护下的技术工具

多方安全计算 (MPC)

混淆电路 Yao’s Garbled Circuit Protocol (Andrew Yao, 1980s)

SecureML [MZ17]

SecureNN [WGC18]

同态加密 Homomorphic Encryption

幻灯片编号 17

Private Federated Learning on Vertically Partitioned Data via Entity Resolution and Additively HE [HHI+17]

幻灯片编号 19

隐私保护的深度学习推断

差分隐私

纵向联邦学习 Vertical Federated Learning

安全定义 Security Definition

联邦学习系统 Architecture of Vertical Federated Learning

幻灯片编号 25

幻灯片编号 26

幻灯片编号 27

幻灯片编号 28

幻灯片编号 29

幻灯片编号 30

幻灯片编号 31

幻灯片编号 32

可否去掉第三方?

幻灯片编号 34

幻灯片编号 35

幻灯片编号 36

幻灯片编号 37

安全性分析

幻灯片编号 39

幻灯片编号 40

样本ID和特征没有足够的匹配怎么办?

幻灯片编号 42

Federated Transfer Learning实现保护用户隐私下的知识共享

幻灯片编号 44

幻灯片编号 45

如何在不共享数据的前提下做迁移学习？

幻灯片编号 47

幻灯片编号 48

Vertical Federated Transfer Learning

系统原理 Architecture

幻灯片编号 51

幻灯片编号 52

幻灯片编号 53

幻灯片编号 54

幻灯片编号 55

模型推断

幻灯片编号 57

幻灯片编号 58

幻灯片编号 59

优势 Advantages

效果评估 Performance

延伸性 Scalability

假如零样本重叠怎么办？

Feature-based Heterogeneous FTL （HFTL）

结果比较

联邦学习（Federated Machine Learning）的挑战

联邦学习（Federated Machine Learning）的研究展望

References

应用案例 Building Federated AI Applications

Federated Learning 在金融领域的应用

Federated Learning 视觉应用 - 城市管理

幻灯片编号 73

幻灯片编号 74

生态建设：开源、技术标准，商业赋能

标准 IEEE Standard P3652.1 – Federated Machine Learning

【征稿】 The 1st International Workshop on Federated Machine Learning for User Privacy and Data Confidentiality (FML’19， IJCAI19)

Federated AI Business Case Studies

Federated AI Technology Enabler （FATE）

幻灯片编号 80

挑战 Challenges in developing a real-world Federated AI

Federated AI Technology Enabler

幻灯片编号 83

幻灯片编号 84

EggRoll – The Infrastructure

Federated Network– The Infrastructure

一方部署网络拓扑-示例

开发流程 Basic Process of Developing a Federated AI Algorithm

目前 FATE 项目中算法&案例

WorkFlow Example

FederatedML Functions Example

Federation API Example

Thank you!

CCF-TF 14 联邦学习的研究与应用刘洋范涛微众银行高级研究员 yangliu@webank.com， dylanfan@webank.com https://www.fedai.org/ 2019.03 CCFTF

提纲 • 联邦学习 Federated Machine Learning • 联邦迁移学习 Federated Transfer Learning • 联邦学习的应用案例 • Federated AI Technology Enabler (FATE) 开源项目详解 2 CCFTF

01 Federated Learning 大规模用户在保护数据隐私下的协同学习 3 CCFTF

联邦学习（Federated Machine Learning） H. Brendan McMahan et al, Communication-Efficient Learning of Deep Networks from Decentralized Data, Google, 2017 • 手机终端，多个用户，1个中心 • 所有数据特征维度相同 • 本地训练 • 选择用户训练 Reza Shokri and Vitaly Shmatikov. 2015. Privacy-Preserving Deep Learning. In Proceedings of the 22nd ACM SIGSAC Conference on Computer and Communications Security (CCS ’15). ACM, New York, NY, USA, 1310–1321. • 选择参数更新 4 CCFTF

联邦学习（Federated Machine Learning）的研究进展 • 系统效率 • 模型压缩 Compression [KMY16] • 算法优化 Optimization algorithms [KMR16] • 参与方选取 Client selection [NY18] • 边缘计算 Resource constraint, IoT, Edge computing [WTS18] • 模型效果 • 数据分布不均匀 Data distribution and selection [ZLL18] • 个性化 Personalization [SCS18] • 数据安全 5 CCFTF

梯度是否泄露信息? 同态加密保护梯度更新 Le Trieu Phong, Yoshinori Aono, Takuya Hayashi, Lihua Wang, and Shiho Moriai. 2018. Privacy-Preserving Deep Learning via Additively Homomorphic Encryption. IEEE Trans. Information Forensics and Security，13, 5 (2018),1333–1345 * Q. Yang, Y. Liu, T. Chen & Y. Tong, Federated machine learning: Concepts and applications, ACM Transactions on Intelligent Systems and Technology (TIST) 10(2), 12:1-12:19, 2019 6 CCFTF

Secure Aggregation [BIK+17] • 本地训练 Local training • 秘密共享 Secret share aggregated update • 稳定性 Robust to vanishing clients • 无个人梯度信息泄露 Individual gradient not disclosed • 半诚实假设 honest-but-curious setting, server does not collude with users [BIK+17] Bonawitz, K., Ivanov, V., Kreuter, B., Marcedone, A., McMahan, H. B., Patel, S., ... & Seth, K. (2017, October). Practical secure aggregation for privacy-preserving machine learning. In Proceedings of the 2017 ACM SIGSAC Conference on Computer and Communications Security (pp. 1175-1191). ACM. 7 CCFTF

联邦学习分类 Categorization of Federated Machine Learning 横向联邦 Horizontal FML 纵向联邦 Vertical FML • 数据方特征维度相同 • 数据方样本ID相同 8 CCFTF

分享到：

赞收藏

资料库

微众银行-刘洋-联邦学习的研究及应用.pdf

相关推荐

人工智能

热门标签

最新资料