Doris：MySQL数据同步到Doris的N种方式

本文介绍: 通过编程方式，利用 jdbc 读取 mysql中的数据，然后可以通过 jdbc或者St re a m Loa d 方式插入数据到doris中。当mysql与d o r i s 服务之间无法通过网络互联时，可以通过将mysql数据导出成csv 文件，然后再在d o r i s 服务器导入 csv 文件的方式进行同步数据。将mysql 导出的csv 文件上传到d o r is服务器之后，可以通过St re a m Loa d和MySQL Loa d两种方式导入数据进d o r is数据库中。修改 fe和b e 配置文件，指定 jdbc _drivers_dir 目录。开启服务端导入功能。

1.CSV文件方式

1.CSV文件 方式

当mysql与d o r is服务之间无法通过网络互联时，可以通过将mysql数据导出成cs v 文件，然后再在do r is服务器导入cs v 文件的方式进行同步数据。

1.1 导出 mysql数据

使用 select * into out file 命令导出 c sv数据

select * into out file ‘F:\24\mysql\di m _ar e a.c sv‘ fields t e r min a t ed b y ‘t‘ lines t e r min a t ed b y ‘n’ from dim_ar ea;

导出的文件格式如下：

需要在mysql的配置文件中设置 secure _file _priv=导出的文件路径，如上面案例中F:/24/mysql,才能导出文件。

1.2 导入数据

将mysql导出的c sv文件上传到do ris服务器之后，可以通过St ream Load和MySQL Load两种方式导入数据进doris数据库中。

1）Str eam Load导入

Stream load 是一个同步的导入方式，用户通过发送 HTTP 协议发送请求将本地文件或数据流导入到 Doris 中。可以通过 HTTP 协议提交导入命令。

curl —location–t rusted -u root -T /home/weisx/opt/doris/local _import _data/dim_area.c sv -H “columns:id,level,parent_code,area_code,name,short_name,merger_name,pinyin,ln g,lat,p code,c code,acode,tcode,v code” -H “label:label_dim_area” -H “column_sep arator:t” -H “format:csv” http://localhost:8030/api/demo/dim_area/_stream_load

2）MySQL Load导入

MySql load 主和Stream Load功能相似, 都是导入本地文件到Doris集群中, 因此MySQL Load 实现复用了StreamLoad的基础导入能力。执行MySQL Load 语句的时候, 客户端命令必须带有–local-in file 参数, 同时还需要设置FE的配置mysql_load_server_secure_path开启服务端导入功能。

mysql -u root –p -P9030 –h127.0.0.1 —local-in file=1

LOAD DATA INFILE ‘/home/hadoop/opt/data_doris/dim_area.csv‘ INTO TABLE art icle.dim_area COLUMNS TERMINATED BY ‘t’;

2.JDBC 编码 方式

通过编程方式，利用jdbc读取 mysql中的数据，然后可以通过jdbc或者Stream Load方式插入数据到doris中。Stream Load java 代码实现可参考：Doris：StreamLoad导入数据-CSDN博客

3.JDBC Catalog 方式

JDBC Catalog 通过标准 JDBC 协议，连接其他数据源。连接后，Doris 会自动同步数据源下的 Database 和 Table 的元数据，以便快速访问这些外部数据。

3.1 上传 mysql 驱动包

需将 Jar 包预先存放在 FE 和 BE 部署目录的 jdbc_drivers/ 目录下。系统会自动在这个目录下寻找。该目录的位置，也可以由 fe.conf 和 be.conf 中的 jdbc_drivers_dir 配置修改。

修改 fe和be配置文件，指定jdbc_drivers_dir目录。

3.2 创建 mysql catalog

####my sql 8

CREATE CATALOG jdbc_my sql_233_8 PROPERTIES (
“type“=”jdbc“,
“user“=”root“,
“password“=”123456”,
“jdbc_url” = “jdbc:my sql://192.168.110.233:3307/demo“,
“driver_url” = “mysql–connector–java-8.0.30.jar“,
“driver_class” = “com.mysql.cj.jdbc.Driver”
)

####mysql 5

CREATE CATALOG jdbc_mysql_233_5 PROPERTIES (
“type“=”jdbc”,
“user”=”root“,
“password“=”123456”,
“jdbc_url” = “jdbc:mysql://192.168.110.233:3306/demo“,
“driver_url” = “mysql-connector–java-5.1.47.jar“,
“driver_class” = “com.mysql.jdbc.Driver”
)