[发明专利]一种神经网络模型训练方法、装置、芯片和系统有效
| 申请号： | 201611073994.5 | 申请日： | 2016-11-29 |
| 公开（公告）号： | CN108122032B | 公开（公告）日： | 2020-02-14 |
| 发明（设计）人： | 张长征;白小龙;涂丹丹 | 申请（专利权）人： | 华为技术有限公司 |
| 主分类号： | G06N3/08 | 分类号： | G06N3/08 |
| 代理公司： | 暂无信息 | 代理人： | 暂无信息 |
| 地址： | 518129 广东*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明实施例涉及机器学习领域，尤其涉及一种神经网络模型训练方法、装置、芯片和系统，用以缩短模型参数的训练时延。本发明实施例每个训练周期包括K次迭代，针对N个工作模块中的一个工作模块在每个训练周期内的第i次迭代，各个工作模块并行执行：根据第i次迭代的局部梯度和第i次迭代的模型参数计算第i+1次迭代的模型参数，且在i小于K的情况下，根据第i+1次迭代的模型参数以及第i+1次迭代的样本数据，计算第i+1次迭代的局部梯度；工作模块从所述服务器模块下拉第r次迭代的全局梯度和/或向所述服务器模块上推第f次迭代的局部梯度。从而使计算进程与通讯进程的时间窗口重叠，缩短模型参数的训练时延。 | ||
| 搜索关键词： | 迭代 工作模块 模型参数 局部梯度 神经网络模型 服务器模块 训练周期 时延 机器学习领域 模型参数计算 芯片 并行执行 时间窗口 通讯进程 样本数据 下拉 全局 进程 | ||
【主权项】：
1.一种神经网络模型训练方法，其特征在于，所述方法适用于包括服务器模块和N个工作模块的训练系统，所述服务器模块和所述N个工作模块用于在至少一个训练周期内训练模型参数，每个训练周期包括K次迭代；针对所述N个工作模块在每个训练周期内的第i次迭代，各个工作模块并行执行：/n根据所述第i次迭代的局部梯度和所述第i次迭代的模型参数计算第i+1次迭代的模型参数，根据所述第i+1次迭代的模型参数以及所述第i+1次迭代的样本数据，计算所述第i+1次迭代的局部梯度；/n从所述服务器模块下拉第r次迭代的全局梯度和/或向所述服务器模块上推第f次迭代的局部梯度；其中，所述r和f分别为小于或等于i的正整数；/n其中，所述N、K分别为大于或等于1的整数，所述i为大于或等于1且小于或等于K的整数。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于华为技术有限公司，未经华为技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201611073994.5/，转载请声明来源钻瓜专利网。
- 上一篇：一种低功耗的神经网络加速器装置
- 下一篇：端到端建模方法及系统
