[发明专利]一种基于时间的yarn任务资源动态调度方法在审
申请号: | 201410819147.3 | 申请日: | 2014-12-25 |
公开(公告)号: | CN104407921A | 公开(公告)日: | 2015-03-11 |
发明(设计)人: | 杨勇;亓开元;辛国茂;卢军佐 | 申请(专利权)人: | 浪潮电子信息产业股份有限公司 |
主分类号: | G06F9/46 | 分类号: | G06F9/46 |
代理公司: | 济南信达专利事务所有限公司 37100 | 代理人: | 姜明 |
地址: | 250101 山东*** | 国省代码: | 山东;37 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种基于时间的yarn任务资源动态调度方法,包括以下步骤:设计yarn队列,根据任务特点,设计多个队列,每个队列对应一类任务,队列的数量动态增加,同时同一层级所有队列的资源分配比例之和是100%;编写定时刷新队列的脚本,根据时间变化和业务需求,定时调用yarn控制台命令,刷新yarn任务队列的配置参数;提交任务到指定队列,提交任务到yarn框架上时,指定任务提交到哪个队列上,从而保证各个任务在指定队列上运行。该一种基于时间的yarn任务资源动态调度方法与现有技术相比,满足在不同时间负载变化大的任务的资源需要,达到充分利用系统资源、保证关键任务的效果,实用性强。 | ||
搜索关键词: | 一种 基于 时间 yarn 任务 资源 动态 调度 方法 | ||
【主权项】:
一种基于时间的yarn任务资源动态调度方法,其特征在于,其具体实现过程为:设计yarn队列,根据任务特点,设计多个队列,每个队列对应一类任务,队列的数量动态增加,同时同一层级所有队列的资源分配比例之和是100%;编写定时刷新队列的脚本,根据时间变化和业务需求,定时调用yarn控制台命令,刷新yarn任务队列的配置参数;提交任务到指定队列,提交任务到yarn框架上时,指定任务提交到哪个队列上,从而保证各个任务在指定队列上运行。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浪潮电子信息产业股份有限公司,未经浪潮电子信息产业股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201410819147.3/,转载请声明来源钻瓜专利网。
- 上一篇:一种异步批处理调度方法及系统
- 下一篇:一种定制安装计算机软件的系统及方法