SeaTunnel 海量数据同步工具的使用（连载中……）

本文介绍: SeaTunnel 是一个非常易用，高性能、支持实时流式和离线批处理的海量数据处理产品，前身是 WaterDrop （中文名：水滴），自 2021年10月12日更名为 SeaTunnel。2021年12月9日，SeaTunnel 正式通过Apache 软件基金会的投票决议，以全票通过的优秀表现正式成为 Apache 孵化器项目。2022年 3月18日社区正式发布了收个 Apache 版本 V2.1.0。

SeaTunnel 是一个非常易用，高性能、支持实时流式和离线批处理的海量数据处理产品，前身是 WaterDrop （中文名：水滴），自 2021年10月12日更名为 SeaTunnel 。2021年12月9日，SeaTunnel 正式通过Apache 软件基金会的投票决议，以全票通过的优秀表现正式成为 Apache 孵化器项目。 2022年 3月18日社区正式发布了收个 Apache 版本 V2.1.0。

SeaTunnel 是在 Spark 和 Flink 的基础上做了一层包装，其工作流程图：

其中 SeaTunnel 的引擎：

env {

  execution.parallelism = 2
  checkpoint.interval = 2000
  job.mode = "BATCH"
}

source {
  Jdbc {
        url = "jdbc:mysql://密:3306/zk_run_fact?useUnicode=true&characterEncoding=UTF8&autoReconnect=true&useSSL=false&allowMultiQueries=true&serverTimezone=Asia/Shanghai"
        driver = "com.mysql.cj.jdbc.Driver"
        user = "root"
        password = "密"
        query = "select * from mfrs_other_cumlative_hourly_energy limit 10"
	}
}

transform {

}

sink {
  Jdbc {
        url = "jdbc:mysql://密:3306/zk_system_config?useUnicode=true&characterEncoding=UTF8&autoReconnect=true&useSSL=false&serverTimezone=Asia/Shanghai&allowMultiQueries=true"
        driver = "com.mysql.cj.jdbc.Driver"
        user = "root"
        password = "密"
        query = "insert into mfrs_other_cumlative_hourly_energy_bak(other_hourly_energy_cost_id,device_id,enterprise_id,site_id,signal_id,signal_name,device_signal_type_id,energy,time_interval,create_time) values (?,?,?,?,?,?,?,?,?,?)"
	}
}