Skip to main content

同步插件及性能

版本应用名称评估内容性能指标前置条件结论备注
Flinkx1.10FlinkX-离线FTP写入测试写入速度4个字段 15通道数FlinkX速度（Rec/s）：96140Flink运行负载：0.24DB运行负载：3.35
FlinkX-离线FTP读取测试读取速度4个字段 15通道数FlinkX速度（Rec/s）：1294088Flink运行负载：0.5DB运行负载：5.6
FlinkX-离线FTP读取测试读取Zip文件大小Zip文件大小1.7G单个Zip中存在一个文件单个文件大小4.5G文件中字段数200字段支持读取的Zip大小：1.7GFlinkx 读取FTP速率：1MB/S
FlinkX-离线SQLServer写入测试写入速度4个字段 8通道数FlinkX速度（Rec/s）：19012Flink运行负载：0.0053DB运行负载：0.16
FlinkX-离线SQLServer读取测试读取速度4个字段 8通道数FlinkX速度（Rec/s）：293669Flink运行负载：0.022DB运行负载：0.58
FlinkX-离线Redis写入测试写入速度4个字段 12通道数FlinkX速度（Rec/s）：23517Flink运行负载：2.92DB运行负载：0.72
FlinkX-离线Postgresql读取测试读取速度3个字段 8通道数FlinkX速度（Rec/s）：450725Flink运行负载：2.98DB运行负载：0.93
FlinkX-离线Oracle写入测试写入速率单并行度、PerJob、2G TaskManger数据源参数：单表200字段、不同类型非均匀分布数据总量2000W速率：2.35MB/S
FlinkX-离线Oracle读取测试读取速率单并行度、PerJob、2G TaskManger数据源参数：单表200字段、不同类型非均匀分布数据总量2000W速率：8.2MB/S
FlinkX-离线ODPS写入测试写入速度3个字段 4通道数FlinkX速度（Rec/s）：706014Flink运行负载：1.23
FlinkX-离线ODPS读取测试读取速度7个字段 15通道数FlinkX速度（Rec/s）：68832Flink运行负载：1.55
FlinkX-离线MySQL写入测试写入速率单并行度、PerJob、2G TaskManger数据源参数：单表200字段、不同类型非均匀分布数据总量2000W速率：1.95MB/SDB负载：1.52
FlinkX-离线MySQL读取测试读取速率单并行度、PerJob、2G TaskManger数据源参数：单表200字段、不同类型非均匀分布数据总量2000W速率：9.82MB/SDB负载：2
FlinkX-离线MongoDB写入测试写入速度4个字段 8通道数FlinkX速度（Rec/s）：150371Flink运行负载：3.37DB运行负载：6.36
FlinkX-离线HDFS写入测试写入速度4个字段 8通道数FlinkX速度（Rec/s）：656443Flink运行负载：4.11DB运行负载：0.53
FlinkX-离线HDFS读取测试读取速度5个字段 8通道数FlinkX速度（Rec/s）：1267823Flink运行负载：6.65DB运行负载：0.29
FlinkX-离线HIVE(ORC)到HIVE(ORC)数据同步任务任务耗时表字段总数（个）：25数据总量（万）：10000任务运行耗时：16分39秒
FlinkX-离线MySQL到Hive数据同步任务任务耗时表字段总数（个）：200数据总量（万）：95任务运行耗时：13分32秒同步速率：1140条/s
FlinkX-离线Oracle数据 写入Hive(Orc格式)数据数据压缩比数据量-40W数据表结构-20个字段Hdfs配置-3副本数据大小-Oracle:163840KB数据大小-Orc:80025KB数据压缩比：2:1
FlinkX-离线Oracle数据 写入Hive(Parquet格式)数据数据压缩比数据量-40W数据表结构-20个字段Hdfs配置-3副本数据大小-Oracle:163840KB数据大小-Parquet:123217KB数据压缩比：1.32:1
FlinkX-离线读取MySQL写入Hive【Text】格式表写入速率单并行度、PerJob、2G TaskManger数据源参数：单表200字段、不同类型非均匀分布数据总量2000W速率：5.58MB/S耗时：2h 18m 29sDB负载：2
FlinkX-离线读取【Hive】Orc格式表读取速率单并行度、PerJob、2G TaskManger数据源参数：单表200字段、不同类型非均匀分布数据总量2000W速率：16.5MB/SDB负载：1.52
FlinkX-离线写入【Hive】Orc格式表写入速率单并行度、PerJob、2G TaskManger数据源参数：单表200字段、不同类型非均匀分布数据总量2000W速率：7.5MB/SDB负载：2.03
Flinkx1.12FlinkX-离线写入【Tidb】表写入速率1、4、8并行度、PerJob数据源参数：单表100字段、不同类型非均匀分布数据总量1000W1并行度-速率：1.1 MB/s
1并行度-DB负载：1.42
4并行度-速率：1.0 MB/s
4并行度-DB负载：4.13
8并行度-速率：508 KB/s
8并行度-DB负载：6.86
FlinkX-离线读取【Tidb】表读取速率1、4、8并行度、PerJob数据源参数：单表100字段、不同类型非均匀分布数据总量1000W1并行度-速率：8.8 MB/s
1并行度-DB负载：2.16
4并行度-速率：8.5 MB/s
4并行度-DB负载：2.46
8并行度-速率：8 MB/s
8并行度-DB负载：2.25
FlinkX-离线写入【MySQL】表写入速率1、4、8并行度、PerJob数据源参数：单表100字段、不同类型非均匀分布数据总量1000W1并行度-速率：3.0 MB/s
1并行度-DB负载：0.45
4并行度-速率：2.5 MB/s
4并行度-DB负载：1.18
8并行度-速率：2.0 MB/s
8并行度-DB负载：1.5
FlinkX-离线读取【MySQL】表读取速率1、4、8并行度、PerJob数据源参数：单表100字段、不同类型非均匀分布数据总量1000W1并行度-速率：9.0 MB/s
1并行度-DB负载：0.37
4并行度-速率：8.3 MB/s
4并行度-DB负载：0.19
8并行度-速率：6.4 MB/s
8并行度-DB负载：0.12
FlinkX-离线写入【FTP】文件写入速率1、4、8并行度、PerJob文件参数：单文件100字段、不同类型非均匀分布数据总量1000W1并行度-速率：8.8 MB/s
1并行度-DB负载：2.16
4并行度-速率：8.5 MB/s
4并行度-DB负载：2.46
8并行度-速率：8 MB/s
8并行度-DB负载：2.25
FlinkX-离线读取【FTP】文件读取速率1、4、8并行度、PerJob文件参数：单表100字段、不同类型非均匀分布数据总量1000W1并行度-速率：12.86 MB/s
1并行度-DB负载：0.14
4并行度-速率：29.53 MB/s
4并行度-DB负载：0
8并行度-速率：40.36 MB/s
8并行度-DB负载：0.71
FlinkX-离线写入【SQLServer】表写入速率1、4、8并行度、PerJob数据源参数：单表100字段、不同类型非均匀分布数据总量1000W1并行度-速率：2.46 MB/s
1并行度-DB负载：0.82
4并行度-速率：6.36 MB/s
4并行度-DB负载：3.03
8并行度-速率：8.02 MB/s
8并行度-DB负载：2.25
FlinkX-离线读取【SQLServer】表读取速率1、4、8并行度、PerJob文件参数：单表100字段、不同类型非均匀分布数据总量1000W1并行度-速率：4.10 MB/s
1并行度-DB负载：0.52
4并行度-速率：6.82 MB/s
4并行度-DB负载：0.6
8并行度-速率：7.68 MB/s
8并行度-DB负载：3.17
FlinkX-离线写入【Oracle】表写入速率1、4、8并行度、PerJob数据源参数：单表100字段、不同类型非均匀分布数据总量1000W1并行度-速率：5.48 MB/s
1并行度-DB负载：2.56
4并行度-速率：16.48 MB/s
4并行度-DB负载：2.91
8并行度-速率：21.10 MB/s
8并行度-DB负载：4.53
FlinkX-离线读取【Oracle】表读取速率1、4、8并行度、PerJob文件参数：单表100字段、不同类型非均匀分布数据总量1000W1并行度-速率：6.42 MB/s
1并行度-DB负载：0.16
4并行度-速率：24.45 MB/s
4并行度-DB负载：0.17
8并行度-速率：43.18 MB/s
8并行度-DB负载：0.27
FlinkX-离线写入【Vertica】表写入速率1、4、8并行度、PerJob文件参数：单表100字段、不同类型非均匀分布数据总量1000WbatchSize=1024:
1并行度-速率：2.34MB/s
4并行度-速率：5.06MB/s
8并行度-速率：6.08MB/s
batchSize=4096:
1并行度-速率：4.57MB/s
4并行度-速率：10.85MB/s
8并行度-速率：12.76MB/s
batchSize=8192:
1并行度-速率：5.09MB/s
4并行度-速率：12.86MB/s
8并行度-速率：14.51MB/s
FlinkX-离线读取【Greenplum】表读取速率1、4、8并行度、PerJob文件参数：单表100字段、不同类型非均匀分布数据总量1000W不切分主键：
1并行度-速率：4.52MB/s
1并行度-DB负载：0.23
切分主键：
4并行度-速率：19.32MB/s
4并行度-DB负载：1.18
8并行度-速率：32.29MB/s
8并行度-DB负载：2.46
FlinkX-离线写入【Greenplum】表写入速率1、4、8并行度、PerJob文件参数：单表100字段、不同类型非均匀分布数据总量1000W不配置insertSqlMode：
1并行度-速率：0.03M/s
1并行度-DB负载：0.96
配置insertSqlMode=copy：
1并行度-速率：10.71MB/s
1并行度-DB负载：0.46
4并行度-速率：25.56MB/s
4并行度-DB负载：0.59
8并行度-速率：33.62MB/s
8并行度-DB负载：1.53
FlinkX-离线读取【TDengine】表读取速率1、4、8并行度、PerJob文件参数：单表100字段、不同类型非均匀分布数据总量1000W子表读取：
1并行度-速率：8.05MB/s
1并行度-DB负载：0.08/0.06/0.32
4并行度-速率：18.60MB/s
4并行度-DB负载：0.23/0.01/0.22
8并行度-速率：26.28MB/s
8并行度-DB负载：0.11/0.06/0.06
普通表读取：
1并行度-速率：8.05MB/s
1并行度-DB负载：0.17/0/0.08
4并行度-速率：19.23MB/s
4并行度-DB负载：0.12/0/0.29
8并行度-速率：26.11MB/s
8并行度-DB负载：0.17/0.11/0
FlinkX-离线写入【TDengine表】写入速率1、4、8并行度、PerJob文件参数：单表100字段、不同类型非均匀分布数据总量1000W子表读取：
1并行度-速率：0.28MB/s
1并行度-DB负载：1.35/0.09/0.31
4并行度-速率：1.20MB/s
4并行度-DB负载：2.96/0.08/0.43
8并行度-速率：1.75MB/s
8并行度-DB负载：5.22/0.19/0.44
普通表读取：
1并行度-速率：0.30MB/s
1并行度-DB负载：0.94/0.17/0.32
4并行度-速率：1.15MB/s
4并行度-DB负载：3.2/0.19/0.5
8并行度-速率：1.81MB/s
8并行度-DB负载：5.56/0.08/0.61