Skip to main content

实时更新日志索引

 发 布 时 间     版 本 号  更 新 日 志         功 能 清 单
2024-10-176.3.16.3.1_更新日志
新增
FLinkSQL1.16支持Seabox数据源【6.3】【标准版】
FLinkSQL1.16支持Hive3.x数据源【6.3】【标准版】
任务运维支持自定义Metric指标【6.3】【标准版】
实时支持 FLink On yarn分布式缓存插件【6.3】【标准版】
实时元数据库支持DM For Oracle【6.2】【标准版】
优化
任务运维全局告警优化【6.3】【标准版】
FLinkSQL支持FLinkCDC数据源可视化【6.3】【旗舰版】
湖仓管理-SQLQuery 湖表Paimon支持更多语法【6.3】【标准版】
FLinkSQL Sql语法检查执行DDL语句优化【6.3】【标准版】
FLinkSQL SQLQuery查询字段类型优化【6.3】【标准版】
实时前端页面整体优化【7.0】【标准版】
2024-09-04 6.3.06.3.0_更新日志
新增
实时发布对接公共管理审批中心【6.3】【标准版】
数据开发SQLQuery运行日志优化【6.3】【标准版】
数据开发页面添加批量操作【6.3】【标准版】
kafkaFormat支持DSG-JSON格式【6.3】【标准版】
实时采集FLinkCDC支持目标Kafka数据源【6.3】【旗舰版】
kafkaFormat支持Debezium-JSON格式【6.3】【标准版】
优化
告警配置-免打扰时间范围优化【5.3】
FLinkSQL1.16写入Hive结果表with参数增加Schema-name属性【6.0】
实时任务数量导致实时运行状态获取异常优化【6.0】
FLinkSQL维表HbaseLRU缓存策略处理空值缓存【5.3】
2024-07-23 6.2.36.2.3_更新日志
新增
FLink1.16支持上传自定义connector需求【6.0】
湖仓管理-HMSCatalog支持HiveMetaStore开启Kerberos【6.0】
实时湖仓-表管理-底层同步的表支持编辑修改表描述信息【6.0】
表查询支持Catalog.Database下表查询功能【6.0】
FlinkSQL Hive2数据源支持多并行度插入【6.0】
2024-07-11 6.2.26.2.2_更新日志
新增
数据开发-Doris数据源版本升级2.x【6.2】
数据开发-Starrocks数据源版本升级3.x【6.2】
产品新增 实时Topic管理适配Kafka3.x【6.2】
FlinkSQL支持IDE编辑器易用性优化【6.2】
优化
数据开发-实时采集CDC优化【6.0】
FLinkSQL hive2结果表支持Array字段类型【6.0】
实时融合AI+功能优化【6.2】
数据开发-任务导入导出时续跑功能优化【6.2】
前端优化组合【6.2】
2024-04-29 6.2.16.2.1_更新日志
新增
Flink1.16对实时采集未支持向导模式的数据源整体支持【6.2】
hive结果表支持二级分区【6.0】
实时开发融合AI+功能【6.2】
实时湖仓-表管理优化【6.0】
实时湖仓CDC入湖【6.0】
实时湖仓-同租户下创建HMSCatalog下表显示不同项目的应用关系【6.0】
优化
实时湖仓-表管理页面点击catalog不能展开底下database信息【6.0】
实时湖仓-表管理-表详情中优化展示描述信息 【6.0】
实时湖仓-表管理-建表时字段comment信息表详情未展示【6.0】
前端浏览器兼容问题优化【6.0】
2024-03-29 6.2.06.2.0_更新日志
新增
实时数据源-hivemetastore被Catalog应用关系优化【6.0】
湖仓表创建提示修改并添加相关的提示跳转至帮助文档【6.2】
湖仓表被应用后，通过湖表详情应用任务跳转至相对应的任务【6.2】
实时湖仓-表管理优化【6.0】
实时计算IDE 顶部 Tab支持右键快捷操作【6.0】
数据开发 IDE 编辑器快捷键 支持中文【6.0】
实时湖仓-湖表paimon运行时metric数据【6.0】
SQL Query 批模式查询Paimon表优化参数配置主键【6.0】
优化
「前端性能」改造项【6.0】
性能优化 湖仓管理-查询Table性能优化【6.0】
产品优化 角色权限点控制【6.2】
2024-03-066.1.66.1.6_更新日志
新增
数栈6.0版本Flink1.16与低版本之间差距点，在产品层面做设计区别【6.0】
数据源-Flink Sink支持功能范围与向导模式支持范围一致化【6.0】
发布功能优化文案优化、发布校验、降低发布失败概率【6.0】
任务发布-任务导入导出的交互优化【6.0】
数据开发-flinksql ogg/chunjun-json映射，支持元数据信息解析作为业务字段【6.0】
数据开发-向导模式表映射flink关键词向导文本框无法加反引号区分关键字【6.0】
数据开发-FlinkSQL任务添加转自定义模版功能【6.0】
数据开发-显示资源与函数和任务之间的绑定关系【6.0】
优化
任务运维-flink任务的命令行参数支持多行展示，展示全部内容【6.0】
【中信建投】实时运维-个人未配置Cas账号，提交调度受限制提示报错【6.0】
2024-01-306.1.56.1.5_更新日志
新增
实时湖仓湖表通过后端文件配置项控制表展示等操作【6.0】
实时湖仓HMSCatalog创建增加warehouse参数【6.0】
实时湖仓hive适配2.1版本【6.0】
数栈6.0实时湖仓-Flink1.12支持DTCatalog&IcebergCatalog【6.0】
数据开发页面支持高级检索方式，如支持代码检索等【6.0】
FlinkSQL&实时采集向导模式增加脚本预览功能【6.0】
数据开发编写-FlinkSQL时，当前的拓扑图编写中无法得到具体的一些字段信息【6.0】
数据开发-1.12及以上版本FLinkSQL维表不支持as别名【6.0】
实时计算平台支持Hbase2.x数据源作为FLinkSQL维表且版本支持1.16【6.0】
实时平台适配kafka3且支持kerberos认证【6.0】
优化
实时开发任务热更新优化【6.0】
自定义模版创建任务时取消引擎版本限制【6.0】
数据开发-任务开发时,点击保存,页面会自动跳回至顶部保留所停留的地方【6.0】
任务管理任务最近操作人定义规范、开发作业提交文案优化【6.0】
优化FlinkSQL的脏数据管理中，用户选择脏数据写入表容易出现误操作【6.0】
2023-12-306.1.46.1.4_更新日志
新增
数据开发sql query支持streaming、batch模式选择【6.0】
任务运维任务支持跳转FlinkUI【6.0】
数据开发kafka格式新增attunity json 【6.0】
实时采集现在实时采集打到Kafka的数据，json数据乱序【6.0】
实时开发任务下线后可选择清理checkpoint、savepoint信息，任务异常状态清理zk信息【6.0】
实时采集向导模式结果端支持gp【5.3】
FlinkSQL维表支持OceanBase【6.0】
优化
kafka管理最大采样条数大于当前分区offset数时，采样无数据返回【5.3】
任务运维实时任务并行度修改的热更新【6.0】
数据开发任务锁覆盖逻辑优化【6.0】
任务运维血缘节点信息优化【6.0】
实时开发预校验报错信息不全【5.3】
实时开发 on k8s kafka作为sink端，修复numwriter相关指标【6.0】
实时开发选择资源时直接根据任务类型限制能选择的资源类型范围【5.3】
健康分优化【6.0】
修复重跑选择指定位offset点进行重跑，点击确定后会进行重跑【5.3】
前端改造React Router 升级 v3.x 到 v6.x【6.0】
前端易用性性能改造【6.0】
2023-11-106.1.36.1.3_更新日志
新增
【实时开发】FlinkSQL结果表/维表配置项支持TiDB【5.3】
【实时血缘】sqlparser支持flinksql 的create view血缘【5.3】
【MRS适配】FlinkSQL sink支持MRS hive【5.3】
【Paimon】湖仓管理新增Paimon类型，支持FlinkSQL的读写【6.0】
【告警优化】支持自动选择任务负责人作为告警对象【6.0】
【数据开发】kafka格式新增attunity json【6.0】
【数据源】新增oceanbase sink插件【6.0】
【实时采集】实时采集支持DB2 CDC【6.0】
【数据开发】平台输出自带FlinkCDC的包，脚本模式支持开发cdc任务【6.0】
优化
【启停策略】启停策略能力优化【6.0】
【数据源】ES7.X插件改造【6.0】
【任务运维】选择「通过CheckPoint恢复并续跑」时，自动选中最近的一个CheckPoint位点【6.0】
2023-09-076.1.26.1.2_更新日志
新增
【插件优化】flinksql查询维表经常scanner过期导致任务超时取消【5.3】
【数据源】Starrocks结果表，向导模式支持更新模式【5.3】
【数据源】新增oushu 目标表【6.0】
【任务运维】日志打印中的业务数据问题【6.0】
【前端】flinksql向导模式配置项，支持配置化【6.0】
【任务运维】新增【任务下线】功能、新增“任务停止时间”列 【6.0】
【数据开发】向导模式的各种数据源统一开放自定义参数配置【6.0】
【数据源】源表新增upsert kafka插件【6.0】
【任务运维】健康分模型优化，新增任务扣分项说明、常见问题排查指导、健康告警【6.0】
【功能新增】新增实时湖仓模块，合并精简后的kafka管理、表管理，不含paimon类【6.0】
优化
【任务发布】任务导入导出实现方案优化【5.3】
2023-07-066.1.16.1.1_更新日志
新增
【告警规则】全局/任务告警新增“启停策略执行失败”触发方式【6.0】
【session配置】实时任务的sql query、调试和售前demo任务通过session模式提交【5.3】 <br /【TBDS账号】有TBDS账号的用户，往集群提交任务时以个人账号提交【6.0】
【角色管理】支持用户自定义角色【6.0】
【资源调度】flink1.16任务支持on k8s运行【6.0】
【数据源】新增Hudi作为FlinkSQL的源表/结果表「flink1.12/flink1.16」【5.3】
【数据源】新增HBase/ElasticSearch HuaweiCloud作为FlinkSQL的维表/结果表「flink1.12/flink1.16」【5.3】
优化
【语法解析】增强IDE中flinksql语法解析的准确性【6.0】
2023-05-306.1.06.1.0_更新日志
新增
【引擎版本】 新增Flink1.16版本【6.0】
【数据开发】IDE执行新增Select在线查询能力【6.0】
【数据开发】新增实时数仓demo，支持自动造数据，运行全链路任务【6.0】
【数据开发】新增代码模板中心，支持使用系统内置模板以及创建自定义模板【6.0】
【产品logo】logo可以在控制台更改【6.0】
优化
【Phoenix5.x】flink1.12版本支持phoenix5.x sink的选择【5.3】
2023-04-116.0.26.0.2_更新日志
新增
【FlinkSQL】FlinkSQL开发，Kafka chunjun-json支持自动映射【5.3】
【Kafka Connector】Kafka读取类型新增Raw Format【5.3】
【Hyperbase】FlinkSQL维表、结果表新增Hyperbase数据源【5.3】
【PGWal】Flink1.12中重构PGWAL插件【5.3】
【表管理】Hive Catalog支持开启keberos认证；DT Catalog中的Flink映射表，源表支持开启keberos认证【5.3】
优化
【SDK接口】新增根据任务查询sqltext的接口；新增根据项目标识获取项目信息的接口【5.3】
【Flink版本】Flink版本查询接口直接获取控制台信息，平台不维护【6.0】
【Kafka集群】移除集群管理功能模块【6.0】
2023-03-036.0.16.0.1_更新日志
新增
【数据还原】存量数据同步+增量日志还原的一体化任务，支持数据入湖能力【6.0】
【运维总览】新增运维总览模块【6.0】
【Topic自动映射】FlinkSQL开发，针对OGG-JSON格式的Kafka Topic，支持一键自动映射FlinkTable【5.3】
【数据源】新增Ckafka、CMQ数据源【6.0】
【日志审计】实时平台的操作记录新增IP/MAC信息【5.3】
优化
【血缘解析】支持基于FlinkSQL的字段级血缘解析，并支持上下钻【5.3】
【CheckPoint】优化任务环境参数配置中关于状态恢复语义的说明【5.3】
【插件适配】Flink1.12适配HBase2.x Sink、Phoenix5.x Sink【6.0】
【任务运维】实时任务列表UI5.0改造，支持状态快速筛选【5.3】
2023-01-316.0.06.0.0_更新日志
新增
【数据还原】存量数据同步+增量日志还原的一体化任务，支持Oracle—>MySQL/Oracle【5.3】
【全局告警】新增全局告警功能【5.2】
【日志关键词监控】新增日志关键词监控告警规则，以实时任务方式执行该监控【5.2】
优化
【数据还原】Sink端自动生成表名的逻辑优化【5.3】
【告警优化】新增告警恢复通知；新增告警级别分类【6.0】
【FlinkSQL/表管理】Flink表管理优化【5.3】
【资源管理】资源管理优化【5.3】
【UI】数据开发页面的表单样式升级【5.3】
2022-12-295.3.15.3.1_更新日志
新增
【数据还原】支持存量数据同步+增量日志还原的一体化任务，支持MySQL—>MySQL/Oracle【5.3】
【数据源】新增ArgoDB作为FlinkSQL的维表/结果表【5.2】
【数据源】新增HUAWEI ES作为FlinkSQL的维表/结果表【5.1】
【数据源】新增Vastbase作为FlinkSQL的维表/结果表【5.3】
【数据源】新增Hyperbase作为Kafka采集还原的目标端【5.3】
【任务热更新】修改环境参数、任务设置后，在数据开发页面提交任务后，任务运维处自动执行「停止-提交-续跑」操作【5.3】
【数据还原】支持将Kafka（OGG格式）数据，采集还原至下游MySQL/Hyperbase/Kafka表【5.3】
优化
【数据还原】数据还原任务支持生成Checkpoint并续跑【5.3】
【表管理】合并原有的Hive Catalog和Iceberg Catalog为Hive+ Catalog【5.3】
【任务运维】优化保存Savepoint时的任务停止逻辑【5.3】
【启停策略】创建启停策略时，支持强制停止配置项【5.3】
【血缘效果】支持过滤链路节点类型；支持全屏查看；支持搜索；任务节点支持查看状态【5.3】
【系统函数】更新系统函数，同步Flink官方内容【5.3】
【UI】任务运维界面组件UI5.0更新【5.3】
2022-11-075.3.05.3.0_更新日志
新增
【自定义Connector】支持用户上传第三方数据源插件进行任务开发（仅限脚本模式）【5.2】
【Session模式】支持已Session模式进行任务调试【5.3】
【表管理】表管理模块新增DT Catalog【5.3】
【数据源】新增GreatDB作为FlinkSQL的维表/结果表【5.3】
【数据源】新增HBase2.x、Phoenix5.x作为FlinkSQL的维表/结果表【5.1】
【Oracle】Oracle sink支持序列管理、新增支持clob/blob长文本数据类型【5.3】
【实时采集】新增脏数据管理【5.3】
优化
【任务运维】新增列表过滤器，支持按状态、任务类型、责任人等过滤查询【5.3】
【数据开发】优化任务操作相关按钮的排版；IDE输入支持自动联想；实时采集脚本模式支持注释【5.3】
2020-02-135.3.0以前历史更新日志