2022年12月更新日志
上线时间：2022-12-02
功能新增
数据开发IDE中可限制数据查询条数 上线版本：5.3
背景：数据开发页面的临时运行没有限制数据结果查询条数，极端情况下有把系统磁盘打满的风险。
功能：所有SQL类型任务，运行按钮右侧新增了数据查询条数输入框。默认查询条数为1000条，上限最大值为1000000条（最高上限为配置项，可在后台配置）
数据预览全局管控功能对接 上线版本：5.3
数据源中心新增数据预览全局管控开关：1、可进行子产品和项目的数据预览全局管控 2、可进行单个数据源的数据预览管控
FTP作为目标数据源支持4种写入模式 上线版本：5.3
append：按文件名称覆盖写入；
overwrite：先清空目录下的文件然后写入；
nonconflict：按文件名称查找，存在同名文件则报错，不存在同名文件则可正常写入；
insert：文件追加写入，存在同名时通过添加后缀的方式修改新文件的文件名称；
运行超时中断 上线版本：5.3
任务支持设置超时时间，运行时间超过此时间时后台会自动杀死。
支持Flink Batch任务类型 上线版本：5.3
HBase REST API支持数据同步读取 上线版本：5.2
数据同步通道控制页面支持配置高级参数 上线版本：5.2
Sybase 支持数据同步读取 上线版本：5.2
Inceptor表接入数据地图 上线版本：5.2
Inceptor已数据地图中支持元数据查询、数据脱敏、血缘展示等功能。
功能优化
补数据优化 上线版本：5.2
1、补数据支持三种补数据模式：单任务补数据、在任务管理列表按筛选条件筛选批量任务补数据、按任务上下游关系选择多个任务补数据；
2、多个在同一依赖树但彼此之间存在断层/不直接依赖的任务，所生成的补数据实例仍将按原依赖顺序执行；
3、支持选择是否关闭重试；
4、补数据支持选择未来时间；
告警规则任务选择方式优化 上线版本：5.2
支持按项目全选任务或按任务管理目录全选目录下任务
整库同步功能优化 上线版本：5.2
1、整库同步支持选择：Oracle MySQL DB2 Hive TiDB PostgreSQL ADB Doris Hana 作为整库同步目标端
2、高级设置能查看历史配置，针对同一数据源和schema，能记录高级设置的规则内容
Greenplum任务调整 上线版本：5.2
1、Greemplum SQL 和 Inceptor SQL 临时运行复杂SQL和包含多段SQL时运行逻辑从同步运行修改为异步运行
2、表查询中可查看Greenplum元数据信息
3、支持语法提示
数据同步至HDFS时支持指定文件名称 上线版本：5.2
背景：历史写HDFS时，指定文件名实际是指定的叶子目录名称，实际无法指定文件名称
功能：在高级配置中新增了参数strictMode，当参数值为“true”时，开启严格模式，当参数值为”false“时，开启宽松模式。严格模式下，指定叶子路径下的文件名，仅允许存在一个文件名，多并行度、断点续传将不生效。
创建项目只允许以英文字母开头 上线版本：5.3
因部分引擎只能创建/读取以英文字母开头的schema（例如Trino），所以创建项目时项目标识限制为只允许以英文字母开头。
发布按钮点击逻辑优化 上线版本：5.3
修改前：只有已提交的任务发布按钮才可点击
修改后：所有状态的任务发布按钮均可点击
事件任务文案调整 上线版本：5.2
新增说明：临时运行需要将参数值传为000000000000
项目级kerberos新增提示 上线版本：5.3
数据同步可选表范围优化 上线版本：5.1
1、过滤脏数据表；
2、针对所有meta schema所对应的数据源固定可选schema的范围仅当前项目对接的schema；修改原因：meta schema对应的数据源和连接用户都是控制台的，如果不限制项目里的这个数据源只能选择项目对接的这一个schema，相当于每个项目都可以通过数据同步绕过数据权限管控把集群下所有别的项目的schema的表直接同步到当前项目中用，这是一个非常大的权限漏洞。 如果需要在当前项目同步任务里要用到其他schema，可以把其他项目的meta schema通过租户管理员授权引入当前项目里用。
数据同步实例运行指标展示优化 上线版本：5.2
数据同步任务实例的运行日志优化了同步性能展示方式。
