一、问题描述

        最直观的表现就是生产项目崩了,无法访问

二、分析原因

        通过查看生产日志出现了大量的获取连接超时异常,具体如下

org.springframework.jdbc.CannotGetJdbcConnectionException:Failed to obtain JDBC Connection;nested exception is com.alibaba.druid.pool.GetConnectionTimeoutException:  
wait millis 60000,active 20,maxActive 20,creating 0,runningSqlCount20: UPDATE TAB_A SET  F1_NAME=?,F2=?,F3=? WHERE ID=?

我们项目druid最大连接数配置的是20,最大等待时间是60s

报错日志可以看出20连接全部被占用了,没有可用连接了。

通过打印堆栈信息找到对应代码结合业务场景。大概如下

        大概是我们一个功能是从execl导入大量数据这个导入功能读取execl数据后,循环遍历每条记录,如果判断条数据已经存在,这根据id更新多个字段内容,如果数据不存在则是插入记录且这个导入功能接口上加了事务注解。还有一个就是代码问题,这个导入接口循环代码写的有问题,造成循环次数成倍增加。这就造成这个导入功能执行时间很长,大概10个小时左右。

        好巧不巧,正在我们导入数据的时候,另外一个系统定时任务启动了,大概功能是更新我们这个表的的数据。这个作业是逐条更新我们记录

        由于我们导入功能接口事务执行时间长,所以更新的记录都锁着,等待事务提交后释放锁。在数据还没有导入完(即事务没有提交时),其他系统有更新这张表里我们锁定的数据,且对方系统是调我们接口是每次更新一条记录,每一调一次占用一个数据库连接,且对方系统基本上都是更新我们锁了的记录。只要调我们19次锁定记录连接池里20个连接数就用完了。因为数据一直被锁着,等待60秒没有获取连接抛出了上面的异常

        这就造成了连接池泄露,如果连接池泄露就会造成系统崩溃(具体连接池泄露如何造成系统崩溃的不知道原因,希望了解的大神指点一二)。

三、解决办法

        把导入功能改成异步导入,每1000条记录启动一个线程更新一次,且把事务去掉

        另外我们这个导入只有一次,和对方系统商量等我们导入完成他们在启动定时任务

    

原文地址:https://blog.csdn.net/dhklsl/article/details/134810683

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任

如若转载,请注明出处:http://www.7code.cn/show_47150.html

如若内容造成侵权/违法违规/事实不符,请联系代码007邮箱suwngjj01@126.com进行投诉反馈,一经查实,立即删除

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注