Mysql Lookup

一、介绍

mysql维表，支持全量和异步方式
全量缓存:将维表数据全部加载到内存中，建议数据量大不使用。
异步缓存:使用异步方式查询数据，并将查询到的数据使用lru缓存到内存中，建议数据量大使用。

二、支持版本

mysql5.x

三、插件名称

SQL	mysql-x

四、参数说明

• connector

  • 描述：mysql-x
  • 必选：是
  • 参数类型：String
  • 默认值：无
    

• url

  • 描述：jdbc:mysql://localhost:3306/test
  • 必选：是
  • 参数类型：String
  • 默认值：无
    

• table-name

  • 描述：表名
  • 必选：是
  • 参数类型：String
  • 默认值：无：
    

• schema-name

  - 描述：schema
  - 必选：是
  - 字段类型：String
  - 默认值：无
  
  

• username

  • 描述：username
  • 必选：是
  • 参数类型：String
  • 默认值：无
    

• password

  • 描述：password
  • 必选：是
  • 参数类型：String
  • 默认值：无
    

• lookup.cache-type

  • 描述：维表缓存类型(NONE、LRU、ALL)，默认LRU
  • 必选：否
  • 参数类型：string
  • 默认值：LRU
    

• lookup.cache-period

  • 描述：ALL维表每隔多久加载一次数据，默认3600000毫秒(一个小时)
  • 必选：否
  • 参数类型：string
  • 默认值：3600000
    

• lookup.cache.max-rows

  • 描述：lru维表缓存数据的条数，默认10000条
  • 必选：否
  • 参数类型：string
  • 默认值：10000
    

• lookup.cache.ttl

  • 描述：lru维表缓存数据的时间，默认60000毫秒(一分钟)
  • 必选：否
  • 参数类型：string
  • 默认值：60000
    

• lookup.max-retries

  • 描述：LRU维表查找数据库失败时的最大重试次数
  • 必选：否
  • 参数类型：int
  • 默认值：3
    

• lookup.error-limit

  • 描述：LRU维表发生超时、ALL Cache维表发送数据失败次数的容忍值
  • 必选：否
  • 参数类型：int
  • 默认值：0
    

• lookup.fetch-size

  • 描述：ALL维表每次从数据库加载的条数，默认1000条
  • 必选：否
  • 参数类型：string
  • 默认值：1000
    

• vertx.worker-pool-size

  • 描述：异步线程池大小
  • 必选：否
  • 参数类型：int
  • 默认值：5

• lookup.parallelism

  • 描述：维表并行度
  • 必选：否
  • 参数类型：string
  • 默认值：无
    

五、数据类型

支持	BOOLEAN、TINYINT、SMALLINT、INT、BIGINT、FLOAT、DOUBLE、DECIMAL、STRING、VARCHAR、CHAR、TIMESTAMP、DATE、BINARY
暂不支持	ARRAY、MAP、STRUCT、UNION

参数示例

mysql_lookup_sink