[发明专利]一种多个GPU并行的DNN模型训练方法和装置有效
| 申请号： | 201710564223.4 | 申请日： | 2017-07-12 |
| 公开（公告）号： | CN109255439B | 公开（公告）日： | 2021-04-02 |
| 发明（设计）人： | 龚轶凡;靳江明;苏磊 | 申请（专利权）人： | 北京图森智途科技有限公司 |
| 主分类号： | G06N3/08 | 分类号： | G06N3/08;G06N3/04 |
| 代理公司： | 暂无信息 | 代理人： | 暂无信息 |
| 地址： | 101300 北京市顺*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开一种多个GPU并行的DNN模型训练方法和装置，用于解决现有技术中多个GPU并行训练DNN模型时存在的训练精度低的问题。该方法包括：在前向传播处理过程中，接收前向BN输入数据子集；确定全局前向BN输入数据均值集合；根据全局前向BN输入数据均值集合，对前向BN输入数据子集进行前向BN处理，得到前向BN输出数据子集；在后向传播处理过程中，接收后向BN输入数据子集；确定全局后向BN输入数据均值集合；根据全局后向BN输入数据均值集合、后向BN输入数据子集和全局前向BN数据均值集合，对前向BN输入数据子集进行后向BN处理，得到前向BN输入数据子集中每个数据的梯度。 | ||
| 搜索关键词： | 一种 gpu 并行 dnn 模型 训练 方法 装置 | ||
【主权项】：
1.一种多个图形处理单元并行的深度神经网络模型训练方法，其特征在于，包括：多个图形处理单元GPU中的一个GPU在对分配到的数据子集进行DNN模型训练时，在前向传播处理过程中，接收前向归一化BN输入数据子集；确定全局前向BN输入数据均值集合；根据所述全局前向BN输入数据均值集合，对所述前向BN输入数据子集进行前向BN处理，得到前向BN输出数据子集；在后向传播处理过程中，接收后向BN输入数据子集，所述后向BN输入数据子集是所述前向BN输出数据子集的梯度集合；确定全局后向BN输入数据均值集合；根据所述全局后向BN输入数据均值集合、所述后向BN输入数据子集和所述全局前向BN输入数据均值集合，对所述前向BN输入数据子集进行后向BN处理，得到所述前向BN输入数据子集中每个数据的梯度。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京图森智途科技有限公司，未经北京图森智途科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201710564223.4/，转载请声明来源钻瓜专利网。
