[发明专利]海量计算粗颗粒并行的自动启停及计算任务动态分配方法

摘要

本发明公开了海量计算粗颗粒并行的自动启停及计算任务动态分配方法，包括：根据问题计算特征，定义为并行粗颗粒；基于文件标记技术和动态分配计算任务策略，主进程将并行粗颗粒中的每个计算任务以及该计算任务对应的输入参数动态分配到包含主进程的所有进程中；基于自动启停技术针对有计算任务的进程动态分配内存；待所有并行粗颗粒的并行计算完成后，主进程收集所有进程的输出参数，对其归并整理得到所述完整运行的最终结果。本发明最大限度的减少了进程之间的通信，避免了多进程并行计算时因为内存峰值大于可用物理内存而造成的硬盘读写瓶颈，同时完美解决计算实例复杂度不对等问题，进而大大提高并行计算效率。

主权项

1.一种海量计算粗颗粒并行的自动启停及计算任务动态分配方法，其特征在于，包括：步骤1、根据问题计算特征，将一个完整运行中相同类型的所有独立完整计算定义为并行粗颗粒，并行粗颗粒执行的一个独立完整计算作为一个计算任务；步骤2、在并行粗颗粒并行计算前，采用主进程执行并行粗颗粒之外的处理任务；步骤3、基于文件标记技术和动态分配计算任务策略，主进程将并行粗颗粒中的每个计算任务以及该计算任务对应的输入参数动态分配到包含主进程的所有进程中；所述文件标记技术为：若并行粗颗粒中某计算任务被分配到一进程中，则生成该计算任务的状态文件；另一进程在申请分配某一计算任务时，将尝试生成该计算任务的状态文件，如果该状态文件存在，则表明该计算任务已经被分配，则所述另一进程将自动尝试申请分配下一个计算任务；所述文件标记技术的实现方法为：步骤3‑1、一进程申请分配第i个计算任务；步骤3‑2、判断第i个计算任务的状态文件Fi是否存在，若存在则跳至步骤3‑5，若不存在则跳至步骤3‑3；步骤3‑3、生成状态文件Fi；步骤3‑4、完成第i个计算任务的计算；步骤3‑5、判断并行粗颗粒中的所有计算任务是否全部完成，若未完成则i＝i+1，并返回步骤3‑1，若已完成则跳至步骤3‑6；步骤3‑6、结束；步骤4、基于自动启停技术，对有计算任务的进程动态分配内存，并完成该计算任务的计算；所述自动启停技术的实现方法为：步骤4‑1、分配有计算任务的进程统计所述计算任务所需的分配内存大小；步骤4‑2、检测可用物理内存的大小；步骤4‑3、比较该计算任务所需的分配内存与可用物理内存，若分配内存小于可用物理内存则执行该计算任务，若分配内存不小于可用物理内存则暂停时间T并返回步骤4‑2；步骤5、重复步骤3～步骤4，完成并行粗颗粒的并行计算；步骤6、待所有并行粗颗粒的并行计算完成后，主进程收集所有进程的输出参数，对其归并整理得到所述完整运行的最终结果。