计算队列
概述
用户可在「队列管理」-「计算队列」中查看、管理任务的调度状态,从而提高任务调度效率。
任务调度
任务调度是指系统为了自动完成特定任务,在约定的特定时刻去执行任务的过程,有助于提高效率。 调度配置分为基本信息、调度属性、依赖关系和输入输出参数等部分,可在子产品中创建任务时进行配置。
功能介绍
用户可在「队列管理」中查看队列中不同状态的任务数量,且支持杀死队列进程。
任务流转状态变化
在子产品中创建并提交任务之后,任务就会流转到调度系统中,任务的流转状态如下图所示。
每天按计划运行实例时,调度队列(Engine队列)判断一个实例是否可以运行,需要满足两个条件:
- 任务是否到达了计划时间
- 上游任务是否全部成功
若不能满足以上两个条件,则任务会处于等待提交状态。
若满足了以上两个条件,调度系统会将任务提交至计算引擎队列中,并同时变为等待资源状态。如果提交失败,任务会变为等待重试状态。任务运行还需要获得集群的计算资源 ,集群资源由计算集群分配,用户可以通过配置「资源组」、「环境参数」或在控制台杀死其他任务,来影响任务获取的计算资源。
任务获得资源开始运行后,状态变为运行中状态,运行结束后则从队列中消失,子产品中任务对应的任务状态变为完成状态。
如果任务运行异常,则变为等待重试状态,之后会重试运行任务。
队列详情
点击「计算类型」中的队列名称或者不同状态下的数字可进入「队列详情」界面,查看队列中任务列表。
点击【任务名称】,可查看任务详情,其中展示子产品的sql和提交到控制台需要的参数信息。
点击【杀任务】,如果任务没有处于「运行中」状态,可以从队列中杀死,不再继续提交运行;如果任务处于「运行中」状态,则可能存在杀任务失败的情况。
如果要杀死整个队列中的任务,在「计算队列」界面点击【杀死全部】即可实现。
点击「任务参数」,可查看用户配置的任务的参数信息,离线任务可查看任务的环境变量参数,资产任务可以查看调度脚本信息。