XXL-Job快速入门+详细教程
1 概念
XXL-JOB是一个轻量级分布式任务调度平台
详细说明:XXL-JOB是一个任务调度框架,通过引入XXL-JOB相关的依赖,按照相关格式撰写代码后,可在其可视化界面进行任务的启动,执行,中止以及包含了日志记录与查询和任务状态监控
如果将XXL-JOB形容为一个人的话,每一个引入xxl–job的微服务就相当于一个独立的人(执行器),而按照相关约定格式撰写的Handler为餐桌上的食物,可视化界面则可以决定哪个执行器(人),吃东西或者不吃某个东西(定时任务),在什么时间吃(Corn表达式控制或者执行或终止或者;立即开始);
每一个xxl-job微服务 = 独立的人(执行器)
每一个Handler = 餐桌上的食物
"可视化界面可以决定哪个人(执行器)吃或者不吃某个食物(定时任务)"
Quartz的不足:Quartz作为开源任务调度中的佼佼者,是任务调度的首选。但是在集群环境中,Quartz采用API的方式对任务进行管理,这样存在以下问题:
- 通过调用API的方式操作任务,不人性化。
- 需要持久化业务的QuartzJobBean到底层数据表中,系统侵入性相当严重。
- 调度逻辑和QuartzJobBean耦合在同一个项目中,这将导致一个问题,在调度
- 任务数量逐渐增多,同时调度任务逻辑逐渐加重的情况下,此时调度系统的性能将大大受限于业务。
2 快速入门
GitHub地址:https://github.com/xuxueli/xxl–job
Gitee地址:https://gitee.com/xuxueli0323/xxl–job
2.1 启动xxl–job–admin
doc:文档资料,包括”调度数据库“建表脚本
xxl–job–core:公共 Jar 依赖
xxl–job–admin:调度中心,项目源码,spring boot 项目,可以直接启动
xxl–job–executor–samples:执行器,sample 示例项目,其中的 spring boot 工程,可以直接启动。可以在该项目上进行开发,也可以将现有项目改造生成执行器项目。
jdbc:mysql://127.0.0.1:3306/xxl_job?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&serverTimezone=Asia/Shanghai
4. 启动XxlJobAdminApplication类,访问http://localhost:8080/xxl-job-admin 默认账户admn,密码123456
主页面:
2.2 创建一个新的定时任务
package com.xxl.job.executor.service.jobhandler;
import com.xxl.job.core.biz.model.ReturnT;
import com.xxl.job.core.handler.annotation.XxlJob;
import org.springframework.stereotype.Component;
import static com.xxl.job.core.biz.model.ReturnT.SUCCESS;
/**
* @author Yi
* @description 编写自己的定时任务handler
* @date 2023/2/6 14:51
*/
@Component
public class MyJobHandler {
/**
* 简单任务示例【bean模式】
* @param param
* @return
*/
@XxlJob(value = "myJobHandler", init = "", destroy = "")
public ReturnT<String> demoJobHandler(String param) throws InterruptedException {
//模拟业务执行
System.out.println("we should fight..,");
//返回执行结果
return SUCCESS;
}
}
2.3 在调度中心新增定时任务
3 详细介绍
<dependency>
<groupId>com.xuxueli</groupId>
<artifactId>xxl-job-core</artifactId>
<version>2.0.1</version>
</dependency>
3.1 新建执行器
执行器相当于是小组组长,负责任务的具体执行,由它分配线程(组员)执行任务。执行器需要注册到调度中心,这样调度中心才知道怎样选择执行器,或者说做路由。执行器的执行结果,也需要通过回调的方式告诉调度中心。
这里选择 spring boot 项目用来举例子,从源码中单独拷一个项目出来,如果你是在业务项目里集成的话,也是参考这个 sample,在项目里加上 xxl-job-core 的依赖,添加配置就可以创建执行器了。
- 在xxl-job-executor-samples下新建自己的执行器模块,例如:xxl-job-executor-zi【直接复制xxl-job-executor–sample-springboot】,修改下文件名和模块名
### xxl-job executor log-path 日志存放路径
xxl.job.executor.logpath=E:\xxl-log
### 因为我们要模拟执行器集群部署,打包后单击运行多次,为服务设置随机端口
server.port=${random.int[10000,19999]}
### 执行器的端口
xxl.job.executor.port=${random.int[9000,10000]}
### 集群部署,这两项配置要一致
xxl.job.executor.appname=xxl-job-executor-zi
xxl.job.executor.address=
最终效果:
# no web
#spring.main.web-environment=false
# log config
logging.config=classpath:logback.xml
### xxl-job admin address list, such as "http://address" or "http://address01,http://address02"
xxl.job.admin.addresses=http://127.0.0.1:8080/xxl-job-admin
### xxl-job, access token
xxl.job.accessToken=default_token
### xxl-job executor appname
### xxl-job executor server-info
xxl.job.executor.ip=
### xxl-job executor log-retention-days
xxl.job.executor.logretentiondays=30
### xxl-job executor log-path 日志存放路径
xxl.job.executor.logpath=E:\xxl-log
### 因为我们要模拟执行器集群部署,打包后单击运行多次,为服务设置随机端口
server.port=${random.int[10000,19999]}
### 执行器的端口
xxl.job.executor.port=${random.int[9000,10000]}
### 集群部署,这两项配置要一致
xxl.job.executor.appname=xxl-job-executor-zi
xxl.job.executor.address=
4. 启动执行器
3.2 创建任务
注意点:
新建任务有几个注意点:
- 在Spring Bean 实例中(@Component 注解),开发 Job 方法。方法格式要求为”public ReturnT < String > demoJobHandler(String param)”,返回值和参数格式是固定的,这个是不能动的,唯一能动的是方法名。
- 在方法名上打上 @XxlJob 注解,这里面有几个属性,第一个 value 值对应的是调度中心新建任务的JobHandler属性的值。另外的 init 对应 JobHandler 初始化方法,destory 对应 JobHandler 销毁方法。这两个方法要在任务类里面创建。
- 执行日志:需要通过“XxlJobLogger.log”打印执行日志,会写到指定的日志文件中。
3.3 其他概念
3.3.1 路由策略
路由策略是指一个任务可以由多个执行器完成,那具体由哪一个完成呢,这就要看我们指定的路由策略了,
这个参数当执行器做集群部署的时候才有意义
。
Quartz中只能随机负载。
那么这里的第一个,最后一个是按什么顺序来的呢,就是点击查看–注册节点中的1,2,3,4,第一个指的就是1,最后一个指的就是4。
3.3.2 任务运行模式(BEAN、GLUE)
运行模式分为两种,一种是BEAN,一种是GLUE
- BEAN模式:这个是在项目中写 Java 类,然后在 JobHandler 里填上 @XxlJob 里面的名字,是在执行器端编写的
- GLUE模式:支持Java、Shell、Python、PHP、Nodejs、PowerShell,这个时候代码是直接维护在调度中心这边的
- 新增一个任务,模式选择为GLUE
- 编写任务
但是这样会存在一个安全隐患的问题,没有做鉴权。解决方法也很简单,只需要在调度中心和执行器的application.properties 里加上相同的 token 即可。
xxl.job.accessToken=
3.3.3 阻塞处理策略
阻塞处理策略指的是任务的一次运行还没有结束,下一次调度的时间又到了,比如一个任务执行的时间是三分钟,但是设置的频率是每两分钟执行一次,这时候第一次还没执行完,第二次怎么办?
3.3.4 子任务
当我们要写一个 Job 的时候,任务是相互依赖的。比如下面我要干这么多事情,A干完了干B,B干完了干C,C干完了干D。
如果我们需要在本任务执行结束并且执行成功的时候触发另外一个任务,那么就可以把另外的任务作为本任务的子任务执行,因为每个 Job 都有自己的唯一 id,所以只需在子任务一栏填上任务 id 即可。
3.3.5 任务超时时间
3.4 高级任务用法
3.4.1 分片任务
这时候就要用到我们的分片任务了,真正好的方案如下,这是一个既科学又合理的方案。三台执行器各自起一个线程来共同把这个任务完成!
这时候有个问题,三台机器大家都执行同一段代码,那岂不是乱套了,这个数据你也执行一遍,我也执行一遍,它也执行一遍。 解决的思路很简单,一台执行器处理总数的1/3,大家把需要干的活平均分了嘛,我干1/3,你干1/3,它干1/3,这样也不会产生冲突。
分片任务在运行的时候,调度器会给每个执行器发送一个不同的分片序号,分片的最大序号跟执行器的总数量是一样的,确保每个执行器都会执行到这个任务,比如上图中第一个执行器拿到分片序号0,第二台执行器拿到分片序号1,第三台执行器拿到分片序号2。那现在就好办了,我们只需要把处理的数据进行模3取余,余数为0的数据就由执行器0干,余数为1的数据就由执行器1干,余数为2的数据就由执行器2干。
//count分片总数,index当前分片数
select id,name,password from student where status=0 and mod(id,#{count})=#{index} order by id desc limit 1000;
新建任务的时候选择分片广播,填上对应的JobHandler即可
最后需要说明一下,分片的数据量不一定是完全均等的数据量,上面的取模只是一个举例,一个思路。我们也可以把0、1、2替换成其他条件去从所有数据中获取部分数据,比如分片序号0的机器我查2018年的数据,分片序号1的机器我查2019年的数据,分片序号2的机器我查2020年的数据。具体怎么分全靠我们的业务来选择。
如果增加或者减少了节点,总分片数和最大分片序号会实时发生变化。
3.4.2 命令任务
命令任务比较有用,比如我们需要定时重启数据库(service restart),定时备份数据文件(cp tar rm),定时清理日志(rm)。
命令行的使用也很简单,只需要把执行的命令作为参数传递进来即可
@Component
public class CommandJobHandler2 {
/**
* 命令行任务
* @param
* @return
*/
@XxlJob(value = "commandJobHandler2")
public ReturnT<String> commandJobHandlerTest() throws IOException {
//用于获取动态传入进来的参数
String jobParam = XxlJobHelper.getJobParam();
Process exec = Runtime.getRuntime().exec(jobParam);
System.out.println("command run success...");
return ReturnT.SUCCESS;
}
}
@Component
public class CommandJobHandler2 {
/**
* 命令行任务
* @param
* @return
*/
@XxlJob(value = "commandJobHandler2")
public ReturnT<String> commandJobHandlerTest() throws IOException {
//用于获取动态传入进来的参数
String jobParam = XxlJobHelper.getJobParam();
File file = new File(jobParam);
System.out.println(String.valueOf(file));
System.out.println(file.getAbsolutePath());
System.out.println(file.getCanonicalFile());
// Process exec = Runtime.getRuntime().exec("cmd /k start " + "www.baidu.com");
Process exec2 = Runtime.getRuntime().exec("cmd /k start " + file.getCanonicalFile());
System.out.println("command run success...");
// System.out.println(exec.getInputStream());
//D:系统默认桌面test.bat
return ReturnT.SUCCESS;
}
}
- 效果:
cmd命令执行窗口开闭指令
cmd /c dir 是执行完dir命令后关闭命令窗口。
cmd /k dir 是执行完dir命令后不关闭命令窗口。
cmd /c start dir 会打开一个新窗口后执行dir指令,原窗口会关闭。
cmd /k start dir 会打开一个新窗口后执行dir指令,原窗口不会关闭。
3.4.3 周期性任务
注意:
集群情况下,我们执行任务的时候需要填写执行器地址(指定哪一个人吃食物)
效果:
4 总结
4.1 概念
- 调度中心:
- 负责管理调度信息,按照调度配置发出调度请求,自身不承担业务代码。调度系统与任务解耦,提高了系统可用性和稳定性,同时调度系统性能不再受限于任务模块;
- 调度中心支持可视化、简单且动态的管理调度信息,包括任务新建,更新,删除,GLUE开发和任务报警等,所有上述操作都会实时生效,同时支持监控调度结果以及执行日志,支持执行器Failover。
- 调度中心会把调度请求放进一个异步调度队列,理论上默认配置下的调度中心单机能够支撑5000任务并发并且稳定运行,但是由于受网络延迟、DB读写耗时不同、任务调度密集程度不同,会导致任务量上限会上下波动。如果需要支撑更多的任务量,可以通过调大调度线程数、降低调度中心与执行器ping延迟、提升机器配置等。
xxl.job.triggerpool.fast.max=200
xxl.job.triggerpool.slow.max=100
- 执行器
4.2 步骤
①导入xxl-job-core包
<dependency>
<groupId>com.xuxueli</groupId>
<artifactId>xxl-job-core</artifactId>
<version>2.0.1</version>
</dependency>
②继承 IJobHandle(可省略)
继承IJobHandle+@JobHandler可以通过@XxlJob代替
@JobHandler("testJobHandler")
@Component
public class TestJobHandler extends IJobHandler {
private final Logger logger = LoggerFactory.getLogger(getClass());
@Override
public ReturnT<String> execute(String param) {
// 分片参数
ShardingUtil.ShardingVO shardingVO = ShardingUtil.getShardingVo();
int index = shardingVO.getIndex();
int total = shardingVO.getTotal();
// xxl 日志
XxlJobLogger.log("分片参数:当前分片序号 = {}, 总分片数 = {}, 任务参数 = {}", index, total, param);
// spring 日志
logger.info("分片参数:当前分片序号 = {}, 总分片数 = {}, 任务参数 = {}", index, total, param);
// TODO 自己的业务
logger.info("【定时任务】开始,ing...");
// return new ReturnT<>(500, "参数不符合要求");
// return new ReturnT<>(200, "成功处理 " + count + " 条数据!");
return SUCCESS;
}
}
③创建 XxlJobConfig 获取地址
package com.example.job.task.handler;
import com.xxl.job.core.executor.impl.XxlJobSpringExecutor;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.ComponentScan;
import org.springframework.context.annotation.Configuration;
@Configuration
@ComponentScan(basePackages = "com.example.job.task")
public class XxlJobConfig {
private Logger logger = LoggerFactory.getLogger(XxlJobConfig.class);
@Value("${xxl.job.admin.addresses}")
private String adminAddresses;
@Value("${xxl.job.executor.appname}")
private String appName;
@Value("${xxl.job.executor.ip}")
private String ip;
@Value("${xxl.job.executor.port}")
private int port;
@Value("${xxl.job.accessToken}")
private String accessToken;
@Value("${xxl.job.executor.logpath}")
private String logPath;
@Value("${xxl.job.executor.logretentiondays}")
private int logRetentionDays;
@Bean(initMethod = "start", destroyMethod = "destroy")
public XxlJobSpringExecutor xxlJobExecutor() {
logger.info(">>>>>>>>>>> xxl-job config init.");
XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();
xxlJobSpringExecutor.setAdminAddresses(adminAddresses);
xxlJobSpringExecutor.setAppName(appName);
xxlJobSpringExecutor.setIp(ip);
xxlJobSpringExecutor.setPort(port);
xxlJobSpringExecutor.setAccessToken(accessToken);
xxlJobSpringExecutor.setLogPath(logPath);
xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays);
return xxlJobSpringExecutor;
}
④配置文件
#redis 不配置就报错,在main类排除配置也没用(不配置也可以)
spring.redis.host: 10.16.88.34
spring.redis.port: 6380
spring.redis.database: 0
spring.redis.timeout: 5000
spring.redis.password: 123456
spring.redis.pool.max-idle: 0
spring.redis.pool.max-wait: -1
#任务调度
#任务调度服务地址以及端口
xxl.job.admin.addresses=http://10.16.87.104:9001
#执行名称
xxl.job.executor.appname=logistics-appName-job
#自动获取
xxl.job.executor.ip=
#默认端口9999
xxl.job.executor.port=9999
xxl.job.accessToken=
#日志输出地址
xxl.job.executor.logpath=./xxl-job-log
#日志保存天数:值大于3时生效,启用执行器Log文件定期清理功能,否则不生效
xxl.job.executor.logretentiondays=-1
⑤启动调度中心和执行器
参考文章:
https://blog.csdn.net/f2315895270/article/details/104714692
https://juejin.cn/post/6948397386926391333
https://juejin.cn/post/6923508824758288398
https://juejin.cn/post/6924522111465848839
https://blog.csdn.net/JesseCary/article/details/90267907
原文地址:https://blog.csdn.net/weixin_45565886/article/details/128897346
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.7code.cn/show_24516.html
如若内容造成侵权/违法违规/事实不符,请联系代码007邮箱:suwngjj01@126.com进行投诉反馈,一经查实,立即删除!