Skip to main content

计算队列

概述

用户可在「队列管理」-「计算队列」中查看、管理任务的调度状态,从而提高任务调度效率。

任务调度

任务调度是指系统为了自动完成特定任务,在约定的特定时刻去执行任务的过程,有助于提高效率。 调度配置分为基本信息、调度属性、依赖关系和输入输出参数等部分,可在子产品中创建任务时进行配置。

功能介绍

用户可在「队列管理」中查看队列中不同状态的任务数量,且支持杀死队列进程。

img

任务流转状态变化

在子产品中创建并提交任务之后,任务就会流转到调度系统中,任务的流转状态如下图所示。

img

每天按计划运行实例时,调度队列(Engine队列)判断一个实例是否可以运行,需要满足两个条件:

  • 任务是否到达了计划时间
  • 上游任务是否全部成功

若不能满足以上两个条件,则任务会处于等待提交状态。

若满足了以上两个条件,调度系统会将任务提交至计算引擎队列中,并同时变为等待资源状态。如果提交失败,任务会变为等待重试状态。任务运行还需要获得集群的计算资源 ,集群资源由计算集群分配,用户可以通过配置「资源组」、「环境参数」或在控制台杀死其他任务,来影响任务获取的计算资源。

任务获得资源开始运行后,状态变为运行中状态,运行结束后则从队列中消失,子产品中任务对应的任务状态变为完成状态。

如果任务运行异常,则变为等待重试状态,之后会重试运行任务。

队列详情

点击「计算类型」中的队列名称或者不同状态下的数字可进入「队列详情」界面,查看队列中任务列表。

img

点击【任务名称】,可查看任务详情,其中展示子产品的sql和提交到控制台需要的参数信息。

img

点击【杀任务】,如果任务没有处于「运行中」状态,可以从队列中杀死,不再继续提交运行;如果任务处于「运行中」状态,则可能存在杀任务失败的情况。

img

如果要杀死整个队列中的任务,在「计算队列」界面点击【杀死全部】即可实现。

img

点击「任务参数」,可查看用户配置的任务的参数信息,离线任务可查看任务的环境变量参数,资产任务可以查看调度脚本信息。

img