[发明专利]边云系统框架下具有隐私保护的梯度下降加速算法

摘要

边云系统框架下具有隐私保护的梯度下降加速算法，各个边服务器从中心服务器读取当前时刻的更新参量至本地服务器，从本地数据集中随机抽取一个批数据并在此批上计算梯度，随后从拉普拉斯分布中随机抽取噪声对梯度进行加密，之后上传至中心服务器完成梯度下降更新；若梯度的范数大于给定的阈值，则使用第一阶段的全局敏感度和学习率，利用过时梯度加速收敛并保护隐私；若梯度的范数小于给定的阈值，则转入第二阶段，使用调整后的全局敏感度和学习率，利用过时梯度加速收敛并保护隐私；解决了异步并行算法迭代更新时的隐私保护和收敛慢问题。

主权项

1.边云系统框架下具有隐私保护的梯度下降加速算法，其特征在于，包括以下步骤：步骤1，初始化学习参数：设置全局变量初始值x₀，批大小b，梯度Lipschitz常数L，梯度方差σ²，延时上界τ_max，总迭代次数T，第一阶段学习率γ₁、第二阶段学习率γ₂，单次迭代隐私预算ε，第一阶段全局敏感度ΔS₁、第二阶段全局敏感度ΔS₂，第一阶段、第二阶段划分阈值c；第一阶段步骤2，从中心服务器中读取步骤1的全局变量：边服务器N_i从中心服务器读取当前时刻t的全局变量x_t至本地；步骤3，计算本地梯度：边服务器N_i在本地数据集中随机抽取包含b条数据的一个batch，在batch上计算x_t处的梯度其中ξ为样本；步骤4，对梯度添加噪声：从拉普拉斯分布Lap(ΔS₁/ε)中抽取噪声η_t，将噪声添加到梯度上，得到噪声梯度该机制确保梯度受到(ε，δ)‑DP的差分隐私保护；步骤5，更新全局变量：边服务器N_i将噪声梯度上传至中心服务器并利用公式更新全局变量；步骤6，停止第一阶段：各边服务器独立并行重复步骤2)‑6)直至条件成立，将此时的x_t记为x_tml并通信给中心服务器；第二阶段步骤7，广播新的初始值：中心服务器将x_tml广播给所有的边服务器，作为新的初始值x₀；步骤8，读取全局变量：边服务器N_i从中心服务器读取当前时刻t的全局变量x_t至本地；步骤9，计算本地梯度：在本地数据集中随机抽取包含b条数据的一个batch，计算x_t处的梯度步骤10，对梯度添加噪声：从拉普拉斯分布Lap(ΔS₂/ε)中抽取噪声η_t，将噪声添加到梯度上，得到噪声梯度该机制确保梯度受到ε‑DP的差分隐私保护；步骤11，更新全局变量：边服务器N_i将噪声梯度上传至中心服务器并利用公式更新全局变量；步骤12，停止第二阶段：当总的迭代次数达到T时结束学习，x_T为最终模型训练结果，中心服务器将训练结果广播给各边服务器，完成学习。