[发明专利]一种面向流计算的动态调度分配方法

摘要

针对实际应用中持续不断的数据流具有不可预测性，而传统的静态数据存储处理机制难以应对流计算条件下对数据实时处理的需求，提出一种面向流计算的动态分配调度方法，该方法建立流序列图(StreamQueryGraph，SQG)并采用动态权重更新机制计算每条边的权重，最后在SQG中进行最短路径选择，选择权重最小的边发送元组。同时采用两种算法开销优化方案减小上下文开销。实验表明选取合适的逻辑主机个数可以显著降低系统反应时间，而增加一次调度的元祖个数使得系统上下文开销得以减小，系统性能得到提升。

主权项

一种面向流计算的动态分配调度方法，其特征在于该方法建立流序列图SQG，采用动态权重更新机制计算每条边的权重，选择权重最小的边发送元组，同时提出两种优化方案，该方法实现过程如下：设k为主机数，首先初始化k台主机上的模板匹配器，将需要匹配的模板分配给k个逻辑主机，构成k个相同的匹配序列，然后以操作器为顶点，对应操作器的输入输出关系为边，建立流序列图SQG，对于每个逻辑主机，采用动态权重更新机制计算从某节点出去的边的权重，在流序列图SQG中进行最短路径选择，即选择权重最小的边，设定一个计数器并将其归0，然后重复下面步骤：1）处理上一个操作器发来的元组，2）发送已处理好的元组至下一级操作器并将首部中的操作器序列号operator_Id加1，3）计数器加1，为了减小上下文切换，设置计数器上限为w，当计数器大于w时跳出循环，最后一级操作器将缓存的元组排序并发送给用户应用。