当前位置：
  1. 首页
  2. mysql
  3. 正文
本文介绍: MySQL不同插入方式性能对比实验

最近负责的项目需要数据同步入库MySQL，为了测速那种入库方式效率比较高，为此进行了以下的对比实验，在此记录一下

实验表单数据格式

在这里插入图片描述
在这里插入图片描述

实验代码

共三种方法对比
在这里插入图片描述

mutiSqlInsert:

一条一条插入，最后一次提交

在这里插入图片描述

singleSqlInsert：

用for循环拼接好插入sql，一次执行

在这里插入图片描述

executeBatchInsert：

使用MySQL提供的方法executeBatch()，同样使用一次提交
在这里插入图片描述

实验结果

1W条数据插入

mutiSqlInsert
在这里插入图片描述

singleSqlInsert
在这里插入图片描述

executeBatchInsert

在这里插入图片描述

10W条数据插入

mutiSqlInsert
在这里插入图片描述

singleSqlInsert
在这里插入图片描述

executeBatchInsert
在这里插入图片描述

2000条数据插入(当前kafka设置的单次最大拉取数为2000)

Kafka配置截图
在这里插入图片描述

mutiSqlInsert
在这里插入图片描述

singleSqlInsert
在这里插入图片描述

executeBatchInsert

在这里插入图片描述

结论

在一次性拉取数据较少时，mutiSqlInsert和executeBatchInsert的性能相差不大
当一次性插入数据非常多时，比如10W条，singleSqlInsert的性能会急剧下降，甚至不如mutiSqlInsert

关于10W条数据插入时singleSqlInsert的性能会急剧下降的原因，参考此文
https://blog.csdn.net/Tom_sensen/article/details/127922964

在这里插入图片描述

显示所有内容
上一篇 2024年华为OD机试真题-转盘寿司-Python-OD统一考试（C卷）
下一篇 【RT-DETR有效改进】华为 | GhostnetV2移动端的特征提取网络效果完爆MobileNet系列

相关文章

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

插入图片
浏览器会保存昵称、邮箱和网站cookies信息，下次评论时使用。