history_changelog

V5.2.1&5.2.2_Beta

Release Date：2022-09-08

New Feature

• 【血缘解析】支持实时采集—>实时开发的全链路血缘解析
• 【实时采集】向导模式的源数据支持自定义SQL，支持MySQL/Oracle/SQLServer
• 【数据源】Source新增支持RabbitMQ；Lookup/Sink新增支持StarRocks、Vertica
• 【数据还原】实时采集新增数据还原能力

Improved

• 【Flink1.12】适配TBDS_Kafka/TBDS_HBase数据源
• 【数据源】Redis Sink新增数据类型和写入模式两个参数；Oracle Logminer新增QUERY_LOG_INTERVAL参数
• 【FlinkSQL】优化脚本模式下的数据源链接密码的保存逻辑
• 【表管理】底层代码重构（预计下版本功能层重构）
• 【任务运维】脏数据分析删除脏数据字段列（无法实现），优化脏数据详情列（某字段有问题展示整行数据）
• 【前端】前端页面权限控制方案改造

Bugfix

• 【任务调试】解决采集线上数据遇到嵌套json报错的问题

V5.2.0_Beta

Release Date：2022-07-12

New Feature

• 【产品首页】产品首页改造，加强运维能力，增加模块可用性
• 【数据开发】在任务设置中，支持推送日志内容至指定Kafka
• 【数据源】新增RocketMQ作为FlinkSQL的源表

Improved

• 【PyFlink】支持在创建任务时上传第三方python包
• 【Flink1.12】新增TiDB作为维表、结果表在Flink1.12的兼容
• 【数据源】支持开启SASL认证的Kafka
• 【日志打印】优化打印格式
• 【前端】前端框架升级

V5.1.3_Beta

Release Date：2022-06-09

New Feature

• 【产品合并】原消息管理平台合并至实时开发平台，作为平台内的Kafka管理模块

Improved

• 【数据开发】FlinkSQL任务的Oracle维表支持选择视图
• 【数据开发】统一建表针对MySQL、Kafka支持向导模式
• 【任务运维】FlinkSQL的批模式，在该实时任务的运维菜单中新增批任务的运行记录和日志

V5.1.2_Beta

Release Date：2022-05-20

New Feature

• 【PyFlink】实时任务新增PyFlink类型

• 【表管理】新增统一创建管理Flinktable功能

• 【Kafka format】新增protobuf格式

• 【表管理】新增统一创建管理Flinktable功能

• 【数据源】新增Doris作为FlinkSQL的维表、结果表

Improved

• 【数据开发】FlinkSQL任务调试的数据集支持从资源管理处选择
• 【数据开发】优化任务出错重试逻辑，新增重跑、续跑两种方案的选择功能
• 【数据开发】资源管理处上传的资源，支持查看文件路径
• 【任务运维】实时采集任务新增Checkpoint日志查看

V5.1.1_Beta

Release Date：2022-04-11

New Feature

• 【任务运维】新增任务的强制停止操作

Improved

• 【数据开发】支持同一个FlinkSQL任意版本之间的比对，支持一键回滚提交历史版本
• 【数据开发】资源、函数支持跨项目全局共享
• 【任务运维】支持自定义列表展示列
• 【任务运维】批量操作的续跑逻辑优化

V5.1.0_Beta

Release Date：2022-03-15

New Feature

• 【整体】用户操作监控，在平台统一配置用户的session时间，超过时间无操作后账号自动退出登陆状态
• 【数据源】新增kafka confluent版本数据源，支持结果表和源表应用，可适配开启kerberos

Improved

• 【优化】Flink1.12版本ES数据源支持SSL认证
• 【优化】由于yarn集群日志默认保留7天，调整历史日志取消7天以前的下载功能
• 【代码优化】接口统一post请求、出入参标准化，降低访问时CPU占用率
• 【其他】放开部分浏览器限制，兼容edge浏览器的访问

V5.0.2_Beta

Release Date：2022-01-31

New Feature

• 【数据源】FlinkSQL支持Inceptor作为维表与结果表
• 【实时开发】FLink1.12 Kafka结果表更新模式支持upsert模式
• 【实时采集】Flink1.12 FlinkSQL Oracle、ES7作为结果表时支持Delete语法

Improved

• 【实时开发】采集任务增量标识的字段类型支持datetime类型
• 【引擎升级】Flink内核升级到1.12.7
• 【其他优化】部分UI优化；hadoop相关日志的打印使用ldap账号；Flink 1.12 定时写出线程报错优

V5.0.1_Beta

Release Date：2022-01-12

New Feature

• 【数据源】新增华为云版本Kafka、Hbase
• 【数据源】实时采集新增银联云UPDRSQL做binlog采集
• 【数据源】实时开发支持银联云S3和UPREDIS作为维表、结果表
• 【数据还原】支持Oracle到ADB for PG用脚本模式的时候，在导入模版中加入数据还原，检测上游发生的DDL操作，保持数据一致。
• 【实时开发】支持K8S部署
• 【实时开发】ES Sink表支持动态创建索引
• 【任务告警】支持设置告警免打扰时间段，且仍能在历史告警中查询告警记录
• 【任务告警】支持设置任务中输出/输入速率在一定时间内一直处于某个阈值内，再触发告警

Improved

• 【任务运维】任务运行中的各模块进行了UI优化，并且重新分类进行展示
• 【数据引擎】SQLServer和Kafka统一数据源类型，版本信息添加至数据源名称之后
• 【数据引擎】修复了ES ALL JOIN数据超过一万条就读不到的问题
• 【启停策略】如果任务同时设置了重试策略和启停策略，启停过程中发生了热任务续跑/重跑失败的情况，会按照重试策略进行重试；
• 【UI优化】编辑器组件优化；影响范围为数据开发页面的编辑器，能输入、报错、敏感字提示；
• 【UI优化】任务锁定状态下支持滚动查看完整任务内容;现在任务未解锁时，用户无法滚动查看完整日志内容，需要优化

V5.0.0_Beta

Release Date：2021-12-02

New Feature

• 【实时开发】新增任务预校验功能，在任务提交前，对任务的数据库连接性、权限、请法、参数等进行有效校验
• 【实时开发】新增「表管理」模块。界面化展示iceberg数据源中的表清单、字段信息等。支持任务中引入iceberg数据源，继而在脚本中直接读写表
• 【代码忧化】yarn web开启kerberos场景下支持访问任务日志链接
• 【引擎优化】Flink1.12支持Standalone模式
• 【引擎优化】FlinkSQL Orecle维表支持Clob、Blob类型字段
• 【任务运维】增加异常重绑定功能，支持一键批量手工重绑
• 【任务运维】增加定时启停策略告警，需要通过告警等方式增强用户感知
• 【任务运维】用户可查看当前运行中任务的脏数据配置

Improved

• 【数据源插件】数据源插件支持oracle for dm, doris http, hdfs3, hive3-cdp
• 【其他优化】任务运维的脏数据管理优化，细化提示内容

V4.3.3_Beta

上线时间：2021-10-26

New Feature

• 【项目管理】新增数据资产权限控制
• 【启停策略】Flink1.12 on K8S 调度适配

Improved

• 【实时采集】Oracle LogMiner采集性能优化
• 【任务运维】停止任务时状态优化

V4.3.2_Beta

上线时间：2021-10-14

New Feature

• 【数据源】支持Trino
• 【项目管理】新增任务的环境参数模版
• 【实时开发】结果表支持hive、IceBerg
• 【实时任务】实时任务支持多KDC Kerberos认证提交
• 【实时开发】任务运维支持脏数据管理
• 【任务运维】任务的历史日志查看
• 【任务运维】CheckPoint支持存储大小和路径信息查看
• 【任务运维】支持Flink1.12 全链路拓扑图
• 【任务运维】支持Flink1.12 kafka数据延迟指标

Improved

• 【整体】Flink1.12引擎内核版本升级至Flink1.12.5
• 【整体】接口性能优化

V4.3.1_Beta

上线时间：2021-08-31

New Feature

• 【实时开发】结果表支持ES7数据源
• 【启停策略】支持万年历批量导入
• 【启停策略】续跑支持选择HDFS上的CheckPoint文件
• 【任务告警】数据反压告警
• 【数据源】Kafka reader 支持多种 Deserializer +

Improved

• 【整体】对全局前端界面进行优化
• 【任务运维】CheckPoint、SavePoint历史记录自动清理

V4.3.0_Beta

上线时间：2021-07-29

New Feature

• 【实时采集】支持GreenPlum 间隔轮询
• 【实时采集】支持SQLServer 间隔轮询
• 【实时采集】Kafka 作为采集表时可配置Offset、读取类型 - 【启停策略】支持选择续跑、重跑两种启动方式

Improved

• 【数据源】SQL Server 数据源区分为 SQLServer JDBC 和 SQLServer 两种
• 【任务运维】全链路拓扑支持算子链展示反压参数

V4.2.3_Beta

上线时间：2021-07-01

New Feature

• 【实时开发】与数据资产对接，支持获取元数据

Improved

• 【整体】对全局后端报错内容进行优化

V4.2.2_Beta

上线时间：2021-06-22

New Feature

• 【数据源】对接统一数据源中心
• 【实时开发】支持引用等多个资源文件创建Flink任务
• 【实时开发】结果表支持Solr
• 【实时采集】支持Oracle19C采集
• 【任务运维】支持多引擎版本任务提交

Improved

• 【实时开发】历史版本增加独立源表、维表、结果表信息
• 【任务运维】Flink任务支持续跑操作

V4.2.1_Beta

上线时间：2021-05-17

New Feature

• 【实时开发】维表、结果表支持SQL Server
• 【实时采集】支持PostgreSQL实时采集
• 【实时采集】支持数据有序管理
• 【任务运维】支持自定义Metric曲线添加

Improved

• 【实时开发/实时采集】不再支持Kafka0.9版本
• 【实时开发】Kafka支持Avro序列化方式
• 【实时开发】本地调试支持跳过首行字段进行计算

V4.2.0_Beta

上线时间：2021-03-31

New Feature

• 【实时开发】本地数据调试
• 【实时开发】任务重试策略
• 【任务告警】CheckPoint失败告警
• 【任务运维】增加独立任务操作记录

Improved

• 【引擎】运行依赖包迁移至HDFS，提升任务提交速度
• 【实时采集】Restful API实时采集支持嵌套参数
• 【任务告警】自定义告警支持通知到具体用户

V4.1.8_Beta

上线时间：2021-02-25

New Feature

• 【数据源】支持ElasticSearch 7.X
• 【实时采集】支持Restful API实时采集
• 【实时开发】ElasticSearch 7.X结果表支持动态索引和Mapping参数设置
• 【任务告警】支持输入输出速率阈值触发告警

Improved

• 【数据源】优化MySQL、Redis、Kafka IPv6文字提示
• 【任务运维】支持批量管理操作
• 【实时开发】展示Flink引擎版本

V4.1.7_Beta

上线时间：2021-01-15

New Feature

• 【实时开发】Console迁移至Engine 配套改造

Improved

• 【数据源】Kafka 数据源列表显示Broker地址
• 【任务日志】优化刷新时默认跳转位置为最底屏
• 【资源管理】优化历史版本显示问题

V4.1.6_Beta

上线时间：2021-01-08

New Feature

• 【实时采集】支持Socket实时采集
• 【资源管理】支持资源替换
• 【实时开发】FlinkSQL任务 支持从Time消费
• 【任务告警】支持自定义告警通道

Improved

• 【数据源】Kafka 集群地址非必填

V4.1.5_Beta

上线时间：2020-12-30

New Feature

• 【整体产品】SpringBoot优化改造
• 【整体产品】UI4.0 Theme升级

Improved

• 【实时开发】Kafka后台线程池优化，丢弃策略改变为Oldest

BugFix

• 【报错通知】屏蔽可能存在的重复报错通知

V4.1.4_Beta

上线时间：2020-12-12

New Feature

• 【数据源】支持S3数据源、结果表
• 【数据源】SQL Server数据源支持2014、16、17、19
• 【实时采集】支持WebSocket实时采集
• 【数据开发】RDB结果表Update模式支持选择更新策略
• 【自动启停】启停策略支持跨天
• 【实时开发】任务提交失败后默认重试三次
• 【存储组件】支持NFS存储

Improved

• 【数据源】数据源Kerberos认证优化
• 【实时开发】数据源等插件若存在非必填项且用户未填写时，不进行传值
• 【数据源】Hive相关插件优化

BugFix

• 【实时开发】任务内写入两个Insert into 无法生成DAG图

V4.1.3_Beta

上线时间：2020-11-19

New Feature

• 【实时开发】自定义函数支持编辑
• 【实时开发/实时采集】MySQL数据源支持5.6、8.0版本
• 【审计日志】安全审计入库，在控制台中支持页面筛选、查看

Improved

• 【苏州移动】屏蔽访客角色
• 【告警任务】代码优化

BugFix

• 【实时开发】UDF自定义函数编辑后保存接口报空指针

V4.1.2_Beta

上线时间：2020-10-30

New Feature

• 【任务运维】任务级血缘分析

Improved

• 【实时开发】Kafka结果表选择更新模式时屏蔽主键选择

BugFix

• 【实时开发】UDF使用报错"NoSuchMethodError"问题

V4.1.1_Beta

上线时间：2020-10-19

New Feature

• 【实时开发】Impala结果表支持动态分区

Improved

• 【实时采集】Hive自动建表逻辑优化
• 【资源管理】资源创建及资源名称规则优化
• 【任务运维】任务停止时，用户可选择是否保存SavePoint

BugFix

• 【函数管理】函数创建 点击保存后参数异常清空

V4.0.1_Beta

上线时间：2020-09-28

New Feature

• 【数据源】Kudu支持Kerberos认证
• 【数据源】Impala支持Kerberos认证
• 【数据源/维表/结果表】支持人大金仓KingBaseES V8
• 【实时采集】LogMiner支持Oracle 10g采集
• 【任务运维】支持Flink全链路监控
• 【安全审计】实时平台支持在EM上查看审计日志

Improved

• 【实时开发】Oracle结果表中Date类型字段默认转换timestamp类型
• 【实时开发】Redis维表支持向导式配置

BugFix

• 【实时采集】间隔轮训-向导模式 Oracle、MySQL、DB2添加TableField参数

V3.10.7_Beta

上线时间：2020-08-28

New Feature

• 【数据源】新增ClickHouse数据源、维表、结果表
• 【数据源】新增Postgresql数据源、维表、结果表
• 【任务告警】告警信息中增加项目、租户信息

V3.10.6_Beta

上线时间：2020-08-06

New Feature

• 【数据源】新增DB2数据源
• 【数据源】新增Kafka 2.X数据源
• 【实时采集】支持DB2实时采集
• 【实时采集】Json数组自动解析
• 【数据开发】Oracle 数据表、维表支持Schema选表
• 【数据开发】FlinkSQL任务转化脚本模式时，密码加密显示
• 【项目管理】任务支持定时启停策略配置
• 【任务运维】新增Task Manager日志

Improved

• 【任务运维】FlinkStreamSQL 日志级别调整
• 【数据源】Kafka数据源ZK集群地址 填写提示文案优化
• 【数据源】任务运维-属性参数-源表/维表/结果表 显示优化

BugFix

• 【全局】SONAR代码检测修复

V3.10.5_Beta

上线时间 : 2020-06-23

New Feature

• 【实时开发】新增任务导入导出功能
• 【实时开发】新增历史版本一键回滚功能
• 【任务运维】新增SavePoint保存、续跑功能

Improved

• 【实时开发】HBase RowKey提示语句优化
• 【实时采集】仅支持Mysql、Oracle、Polardb、SQL Server关系型数据库通过实时采集的方式写入Hive

Bug Fix

• 【实时开发】语法检查提示ROWTIME/PROCTIME语法错误
• 【实时开发】参数开头空格导致参数解析异常

V3.10.4_Beta

上线时间 : 2020-05-15

New Feature

• 【实时开发】Kafka输出支持"append"和"upsert"模式

Improved

• 【FlinkSQL】代码整体优化

V3.10.3_Beta

上线时间 : 2020-04-22

New Feature

• 【实时开发】新增算子化拖拽生成任务功能

Improved

• 【实时采集】EMQ实时采集Topic输入框交互优化

V3.10.2_Beta

上线时间 : 2020-03-09

New Feature

• 【数据源】新增EMQ数据源
• 【数据源】新增TIDB数据源
• 【实时采集】新增EMQ实时采集
• 【实时采集】新增TiDB实时采集
• 【实时采集】新增SQL Server实时采集
• 【实时采集】新增MySQL间隔轮询
• 【实时开发】维表、结果表支持ElasticSearch 6
• 【实时开发】新增IDE编辑器语法检查
• 【实时开发】数据输出到结果表时支持"append"和"upsert"模式
• 【实时开发】关系型数据库作为结果表时增加输出时间、输出数据大小参数配置功能

Improved

• 【数据源】新增Kafka版本
• 【数据源】数据源查询返回的接口过滤密码字段
• 【数据源】数据源重新排序
• 【实时采集】实时采集任务格式转化默认为"`非平铺”
• 【实时开发】async异步对超时数据的处理策略
• 【实时开发】HBase解析Primary Key优化

Bug Fix

• 【实时开发】ES作为结果表和维表，id未填写时，任务运行后，输出数据均为脏数据
• 【实时开发】维表缓存策略中配置允许错误数据为0时报错

V3.10.0_dev

上线时间 : 2020-02-13

New Feature

• 【数据源】Kafka 新增Kerberos认证
• 【数据源】新增ElasticSearch数据源
• 【实时采集】新增Oracle LogMiner实时采集
• 【实时采集】新增Oracle间隔轮询功能

Improved

• 【首页】风格优化
• 【实时开发】支持Kafka Topic模糊搜索

Bug Fix

• 【实时采集】克隆的任务如果选中了保存脏数据，克隆成功后未生成相应的脏数据表