高级配置

健康分管理

功能背景

业务场景中用户可以针对不同的场景配置所需指标的权重，当前可编辑的内容分为“健康分指标”和“健康分等级”。

• 健康分指标 ：健康分指标即目前已经支持的指标内容，支持用户对内置的指标进行选择展示和应用，被选中的指标才会展示在列表中并生效。 列表显示指标名称、权重及扣分规则三列。

• 健康分等级： 健康分等级中可定义每个任务健康分值对应的健康等级，健康分等级默认为：
  • 优秀 90-100
  • 良好 80-90
  • 及格 60-80
  • 不及格 0-60
• 计算规则：
  • 每个任务健康分计算规则为：sum((100 - 该每个指标的扣分值)*权重)
  • 平均健康分 = sum(每个任务健康分)/任务数

启停策略

###数栈商业版本限制

info

目前我们仅在旗舰版中提供自定义文件配置生效区间功能。

功能背景

在实际业务场景中，实时任务可能并不需要一直运行。最常见的如证券交易场景，每个周末和节假日都会休市，此时相关的实时计算任务就可以停止运行减少资源消耗，然后在工作日的时候再进行续跑。这类场景如果需要人为介入去管理，维护成本比较高。

通过配置启停策略的方式，既可以节省运维成本，又大大降低了忘记维护的风险。

创建策略(每日启停)

• 策略生效区间：每日启停(支持按模版上传策略文件）

• 日期范围：限定该策略生效的日期范围，比如选择2022-10-01至2022-10-31，表示该策略仅在10月份有效，其他日期内不生效

• 时间范围：在生效日期范围内，限定任务运行的时间段，比如选择了09:00至21:00，表示该实时仅在10月份的每天早上9点运行至晚上9点，其他时间段内会自动停止。

  note

  1. 建议配置时间范围时较原定开始时间提前3分钟，避免因引擎资源调度等因素产生偏差
  2. 不支持跨天配置。如果要实现22:00-3:00的场景，需要配置22:00-23:55 0:00-3:00 两个时间段，并且两个时间不能过于紧密，否则可能会导致任务失败

创建策略(指定周期启停)

• 策略生效区间：指定周期启停(支持按模版上传策略文件）

• 日期范围：在配置的日期范围内，根据指定的周几启动/周几停止，周期执行。

• 时间范围：例、在20230801-20230831日期范围内，每周一的09:00启动，每周五的18:00停止。表示本月的每周一09:00到周五18:00期间持续运行，其他时间停止。

  note

  1. 建议配置时间范围时较原定开始时间提前3分钟，避免因引擎资源调度等因素产生偏差

创建策略(自定义日历)

• 策略生效区间：自定义日历(支持按模版上传策略文件）

• 日期范围：可以csv文件上传的形式自定义启停时间,只能为三列且顺序必须为,日期、时间、操作. 例如:

  日期	时间	操作
  20230801	14:00	启动
  20230902	16:00	停止
  20230914	20:00	启动

强制停止：

1. 未开启强制停止：启停策略在停止任务时，会保存Savepoint文件。续跑时自动选择Savepoint文件。如果Savepoint文件保存失败，则任务停止失败，继续运行。

2. 开启强制停止：在Savepoint保存失败时，会强制停止任务，不保存Savepoint。续跑时自动选择最近的checkpoint位点开始。（如果该任务的状态恢复语义为EXACTLY_ONCE，则不会影响数据准确性）:::

启动方式：支持重跑/续跑。续跑将根据上一次任务停止时保存的savepoint位点进行续跑

时区：默认时区为东八区（Asia/Shanghai），用户也可以根据自己的业务系统时区进行调整

策略应用

• 完成创建的策略，可以在该项目的【任务开发-任务设置】中选择应用

• 在策略列表中会统计每个策略被应用的任务数，被任务应用中的策略无法删除

• 被任务应用中的策略也支持编辑修改，保存后，已应用的任务会在下一个周期自动生效

参数模版

• 功能背景

  平台支持多种任务类型（FlinkSQL/Flink/实时采集/PyFlink）、引擎版本（Flink1.10/Flink1.12/Flink1.16），而每种任务类型在不同的引擎版本中会有不同的参数配置推荐。因此平台为每种场景类型内置了一个参数模版，作为任务创建时的默认参数填充。

• 功能操作

  • 内置的参数模版支持修改编辑，用户可以根据实际环境情况调整默认参数值

  • 修改后的参数，如果需要全局应用至项目内所有已创建的任务，可以点击「应用全部」

    note

    运行中的任务在被新的参数覆盖后，需要重新提交才会生效

PyFlink环境管理

详见【任务开发-PyFlink任务】介绍