2023年11月更新日志
上线时间:2023-11
数据开发
任务模版【6.0】
背景:
客户希望将日常通用的代码模板在离线中进行维护,在进行数据开发时可以直接引用。
模板与组件的差异:
1、模板代码引用后支持编辑,组件引用后不支持编辑
2、模板变更后不影响引用的任务,组件变更后会影响引用的任务
功能:
支持各任务类型的项目代码模版、租户代码模版,在创建任务时支持引用代码模版。
调度配置优化,可以调控依赖上游任务的任一周期实例【5.3】
背景:
目前调度中天任务默认只能依赖当前周期的上游实例,客户可能存在以下场景:
前天任务依赖方式是有当天实例默认去找当天的实例(即找同一周期的实例),目前客户的场景如下图所示
例如客户存在两个业务系统「经纪关系数据」和「交易数据」,客户6.3日的提成需要分别依赖于「经纪关系数据」和「交易数据」计算得出。如图所示,6.2日的「经纪关系数据」业务系统数据产出时间是6.3日。6.2日的「交易数据」业务系统数据产出时间是6.2日晚。
按照目前离线的上下游依赖逻辑,「计算客户经理提成」任务只能取到6.3日的任务,无法获取到6.2日的任务。因此需要进行改造。支持任务实例依赖设置可以选择自定义周期
功能:
支持自定义依赖上游任务的调度周期
T代表当前任务(下游任务)的计划时间,+ -代表偏移方向,“+”代表时间向未来偏移,“-”代表时间向过去偏移,默认选择“-”。
偏移量为数字输入框,最大值10,最小值1,代表偏移上游任务周期数。
shell on agent/python on agent 新增项目维度管控【6.0】
背景:
shell on agent是离线平台特殊的一种任务类型。
shell任务运行并不直接在集群部署的机器上。而是将shell运行在独立部署的服务器节点上。因为离线一个任务需要占用两个核,如果客户场景存在较多Shell任务,很容易将集群资源打满。因此将Shell、Python等任务运行在独立部署的节点上,可以有效降低集群的压力。
现在客户遇到这样一个问题,只要客户在EM和控制台上配置的节点和服务器用户,集群下所有项目都可以使用配置的节点和服务器用户。这样存在安全性的问题,例如root等高权限的用户,客户比较看重安全性问题,不希望所有项目都能去使用这个账号,因此需要设计一个能够管控配置服务器节点和服务器用户的方案,来解决这个问题,
功能:
1、控制台通过项目授权进行节点和服务器用户权限管控
2、离线项目中任务支持选到被授权对服务器节点和用户