XXL-Job快速入门+详细教程

1 概念

XXL-JOB是一个轻量级分布式任务调度平台
详细说明:XXL-JOB是一个任务调度框架通过引入XXL-JOB相关依赖,按照相关格式撰写代码后,可在其可视化界面进行任务启动执行,中止以及包含日志记录查询和任务状态监控
如果将XXL-JOB形容为一个人的话,每一个引入xxljob的微服务就相当于一个独立的人(执行器),而按照相关约定格式撰写的Handler餐桌上的食物,可视化界面则可以决定哪个执行器(人),吃东西或者不吃某个东西(定时任务),在什么时间吃(Corn表达式控制或者执行终止或者;立即开始);

每一个xxl-job服务 = 独立的人(执行器)
每一个Handler = 餐桌上的食物
"可视化界面可以决定哪个人执行器)吃或者不吃某个食物(定时任务)"

Quartz的不足:Quartz作为开源任务调度中的佼佼者,是任务调度的首选。但是在集群环境中,Quartz采用API的方式对任务进行管理,这样存在以下问题

XXL-Job架构图
在这里插入图片描述

2 快速入门

首先从GitHub上面将项目clone下来,如果网络问题导致速度慢可以从Gitee上面拉取

GitHub地址https://github.com/xuxueli/xxljob

Gitee地址https://gitee.com/xuxueli0323/xxljob

2.1 启动xxljobadmin

  1. 新建idea项目
    在这里插入图片描述
    填写项目url然后点击clone
    在这里插入图片描述
    项目结构
    在这里插入图片描述

doc文档资料,包括”调度数据库“建表脚本
xxljobcore公共 Jar 依赖
xxljobadmin调度中心项目源码spring boot 项目,可以直接启动
xxljobexecutorsamples执行器sample 示例项目,其中的 spring boot 工程可以直接启动可以在该项目上进行开发,也可以将现有项目改造生成执行器项目。

  1. 配置数据源执行sql
    在这里插入图片描述
    执行结果:
    在这里插入图片描述
  2. 打开xxljobadmin模块,在application.properties中进行后台配置

数据库url需要设置时区

jdbc:mysql://127.0.0.1:3306/xxl_job?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&serverTimezone=Asia/Shanghai

在这里插入图片描述

在这里插入图片描述
4. 启动XxlJobAdminApplication类,访问http://localhost:8080/xxl-job-admin 默认账户admn密码123456

页面
在这里插入图片描述

2.2 创建一个新的定时任务

定位到jobhandler下,新增定时任务

在这里插入图片描述

package com.xxl.job.executor.service.jobhandler;

import com.xxl.job.core.biz.model.ReturnT;
import com.xxl.job.core.handler.annotation.XxlJob;
import org.springframework.stereotype.Component;

import static com.xxl.job.core.biz.model.ReturnT.SUCCESS;

/**
 * @author Yi
 * @description 编写自己定时任务handler
 * @date 2023/2/6 14:51
 */

@Component
public class MyJobHandler {

    /**
     * 简单任务示例bean模式】
     * @param param
     * @return
     */
    @XxlJob(value = "myJobHandler", init = "", destroy = "")
    public ReturnT<String&gt; demoJobHandler(String param) throws InterruptedException {
        //模拟业务执行
        System.out.println("we should fight..,");
        //返回执行结果
        return SUCCESS;
    }
}

2.3 在调度中心新增定时任务

  1. 选中右侧任务管理 - 新增
    在这里插入图片描述
  2. 启动XxlJobExecutorApplication执行器
    在这里插入图片描述
  3. 在调度中心启动定时任务
    在这里插入图片描述
  4. 查看结果
    在这里插入图片描述

3 详细介绍

自己的项目想要引用xxl-job,导入以下依赖即可

 <dependency>
     <groupId>com.xuxueli</groupId>
     <artifactId>xxl-job-core</artifactId>
     <version>2.0.1</version>
 </dependency>

3.1 新建执行器

执行器相当于是小组组长,负责任务的具体执行,由它分配线程(组员)执行任务。执行器需要注册到调度中心,这样调度中心知道怎样选择执行器,或者说做路由。执行器的执行结果,也需要通过回调方式告诉调度中心

这里选择 spring boot 项目用来例子,从源码中单独拷一个项目出来,如果你是在业务项目里集成的话,也是参考这个 sample,在项目里加上 xxl-job-core 的依赖,添加配置就可以创建执行器了。

  1. xxl-job-executor-samples下新建自己的执行器模块,例如:xxl-job-executor-zi【直接复制xxl-job-executorsample-springboot】,修改文件名和模块名
    在这里插入图片描述

同时修改执行器的名字,否则后面会报命名冲突修改@XxlJob的value即可

  1. 修改sample-zi模块的配置,将其修改为集群模式

在E盘下,创建xxl-log文件夹

### xxl-job executor log-path 日志存放路径
xxl.job.executor.logpath=E:\xxl-log

### 因为我们模拟执行器集群部署打包单击运行多次,为服务设置随机端口
server.port=${random.int[10000,19999]}

### 执行器的端口
xxl.job.executor.port=${random.int[9000,10000]}
### 集群部署,这两项配置要一致
xxl.job.executor.appname=xxl-job-executor-zi
xxl.job.executor.address=

可以直接将我的直接复制配置文件中,然后看哪块重复了,直接删除即可

最终效果

# no web
#spring.main.web-environment=false

# log config
logging.config=classpath:logback.xml


### xxl-job admin address list, such as "http://address" or "http://address01,http://address02"
xxl.job.admin.addresses=http://127.0.0.1:8080/xxl-job-admin

### xxl-job, access token
xxl.job.accessToken=default_token

### xxl-job executor appname
### xxl-job executor server-info
xxl.job.executor.ip=
### xxl-job executor log-retention-days
xxl.job.executor.logretentiondays=30




### xxl-job executor log-path 日志存放路径
xxl.job.executor.logpath=E:\xxl-log

### 因为我们要模拟执行器集群部署打包单击运行多次,为服务设置随机端口
server.port=${random.int[10000,19999]}

### 执行器的端口
xxl.job.executor.port=${random.int[9000,10000]}
### 集群部署,这两项配置要一致
xxl.job.executor.appname=xxl-job-executor-zi
xxl.job.executor.address=

  1. 修改idea配置

启动项目,在本地启动多个执行器集群时候这里要打上勾(或者直接alt+U),因为我们配置了随机端口,所以是不会报错的。

在这里插入图片描述
4. 启动执行器

启动两个(XxlJobExecutorApplication)

在这里插入图片描述

在这里插入图片描述
5. 新增执行器
在这里插入图片描述
6. 刷新查看效果
在这里插入图片描述
注册成功

3.2 创建任务

注意点:
新建任务有几个注意点:

  1. 在Spring Bean 实例中(@Component 注解),开发 Job 方法方法格式要求为”public ReturnT < String > demoJobHandler(String param)”,返回值参数格式固定的,这个是不能动的,唯一能动的是方法名。
  2. 方法名上打上 @XxlJob 注解这里面有几个属性第一个 value对应的是调度中心新建任务的JobHandler属性的值。另外的 init 对应 JobHandler 初始化方法destory 对应 JobHandler 销毁方法。这两个方法要在任务类里面创建。
  3. 执行日志需要通过“XxlJobLogger.log”打印执行日志,会写到指定日志文件中。

3.3 其他概念

3.3.1 路由策略

路由策略是指一个任务可以由多个执行器完成,那具体由哪一个完成呢,这就要看我们指定的路由策略了,这个参数当执行器做集群部署的时候才有意义

Quartz中只能随机负载
那么这里的第一个最后一个是按什么顺序来的呢,就是点击查看注册节点中的1,2,3,4,第一个指的就是1,最后一个指的就是4。
在这里插入图片描述

3.3.2 任务运行模式(BEAN、GLUE)

运行模式分为两种,一种是BEAN,一种是GLUE

  1. 新增一个任务,模式选择为GLUE
    在这里插入图片描述
  2. 编写任务
    在这里插入图片描述
    在这里插入图片描述

但是这样会存在一个安全隐患问题没有做鉴权。解决方法也很简单,只需要在调度中心和执行器的application.properties 里加上相同的 token 即可

xxl.job.accessToken=
3.3.3 阻塞处理策略

阻塞处理策略指的是任务的一次运行没有结束,下一次调度的时间又到了,比如一个任务执行的时间是三分钟,但是设置频率是每两分钟执行一次,这时候一次还没执行完,第二次怎么办?

在这里插入图片描述

3.3.4 子任务

当我们要写一个 Job 的时候,任务是相互依赖的。比如下面我要干这么多事情,A干完了干B,B干完了干C,C干完了干D。
在这里插入图片描述

解决这种问题时候思路有两种。

  • 第一种是把这么多逻辑写成一个大 job,串行化
  • 第二种就是用子任务,在一个任务末尾触发另一个任务。

如果我们需要在本任务执行结束并且执行成功的时候触发另外一个任务,那么就可以把另外的任务作为本任务的子任务执行,因为每个 Job 都有自己唯一 id,所以只需在子任务一栏填上任务 id 即可

3.3.5 任务超时时间

超时的意思就是如果在指定时间内没有返回结果,就不再等待结果

3.4 高级任务用法

3.4.1 分片任务

在这里插入图片描述
这时候就要用到我们的分片任务了,真正好的方案如下,这是一个既科学又合理方案。三台执行器各自起一个线程来共同把这个任务完成!
在这里插入图片描述
这时候有个问题,三台机器大家都执行同一段代码,那岂不是乱套了,这个数据你也执行一遍,我也执行一遍,它也执行一遍。 解决的思路很简单一台执行器处理总数的1/3,大家把需要干的活平均分了嘛,我干1/3,你干1/3,它干1/3,这样也不会产生冲突
分片任务在运行的时候,调度器会给每个执行器发送一个不同的分片序号,分片最大序号跟执行器的总数量是一样的,确保每个执行器都会执行到这个任务,比如上图中第一个执行器拿到分片序号0,第二台执行器拿到分片序号1,第三台执行器拿到分片序号2。那现在就好办了,我们只需要把处理数据进行模3取余,余数为0的数据就由执行器0干,余数为1的数据就由执行器1干,余数为2的数据就由执行器2干。

我们获取数据sql可以这样写:

//count分片总数,index当前分片数
select id,name,password from student where status=0 and mod(id,#{count})=#{index} order by id desc limit 1000;

在这里插入图片描述
新建任务的时候选择分片广播,填上对应的JobHandler即可
在这里插入图片描述

最后需要说明一下,分片的数据量不一定是完全均等的数据量,上面的取模只是一个举例,一个思路。我们也可以把0、1、2替换成其他条件去从所有数据中获取部分数据,比如分片序号0的机器我查2018年的数据,分片序号1的机器我查2019年的数据,分片序号2的机器我查2020年的数据。具体怎么分全靠我们的业务来选择。

如果增加或者减少了节点总分片数和最大分片序号会实时发生变化。

3.4.2 命令任务

命令任务比较有用,比如我们需要定时重启数据库service restart),定时备份数据文件cp tar rm),定时清理日志rm)。

命令行使用也很简单,只需要把执行的命令作为参数传递进来即可

@Component
public class CommandJobHandler2 {

    /**
     * 命令行任务
     * @param
     * @return
     */
    @XxlJob(value = "commandJobHandler2")
    public ReturnT<String> commandJobHandlerTest() throws IOException {
        //用于获取动态传入进来的参数
        String jobParam = XxlJobHelper.getJobParam();
        Process exec = Runtime.getRuntime().exec(jobParam);
        System.out.println("command run success...");
        return ReturnT.SUCCESS;
    }
}

在这里插入图片描述

启动一下任务,每过3秒,这个计算器自动弹出来了
在这里插入图片描述

拓展:执行bat文件

@Component
public class CommandJobHandler2 {

    /**
     * 命令行任务
     * @param
     * @return
     */
    @XxlJob(value = "commandJobHandler2")
    public ReturnT<String> commandJobHandlerTest() throws IOException {
        //用于获取动态传入进来的参数
        String jobParam = XxlJobHelper.getJobParam();
        File file = new File(jobParam);

        System.out.println(String.valueOf(file));
        System.out.println(file.getAbsolutePath());
        System.out.println(file.getCanonicalFile());
//        Process exec = Runtime.getRuntime().exec("cmd /k start " + "www.baidu.com");
        Process exec2 = Runtime.getRuntime().exec("cmd /k start " + file.getCanonicalFile());
        System.out.println("command run success...");
//        System.out.println(exec.getInputStream());
        //D:系统默认桌面test.bat
        return ReturnT.SUCCESS;
    }
}

在这里插入图片描述

  • 效果:
    在这里插入图片描述
cmd命令执行窗口开闭指令

cmd /c dir 是执行完dir命令后关闭命令窗口cmd /k dir 是执行完dir命令后不关闭命令窗口cmd /c start dir 会打开一个新窗口后执行dir指令,原窗口关闭cmd /k start dir 会打开一个新窗口后执行dir指令,原窗口不会关闭
3.4.3 周期性任务

周期性任务就是在任务的开始和销毁的时候执行自定义的方法,做一些自己想做的事

在这里插入图片描述

注意:集群情况下,我们执行任务的时候需要填写执行器地址(指定哪一个人吃食物)

在这里插入图片描述

执行器地址在执行器管理查看

在这里插入图片描述
效果:
在这里插入图片描述

4 总结

4.1 概念

  • 调度中心:
xxl.job.triggerpool.fast.max=200
xxl.job.triggerpool.slow.max=100
  • 执行器

4.2 步骤

导入xxl-job-core包
<dependency>
    <groupId>com.xuxueli</groupId>
    <artifactId>xxl-job-core</artifactId>
    <version>2.0.1</version>
</dependency>
继承 IJobHandle(可省略

继承IJobHandle+@JobHandler可以通过@XxlJob代替

@JobHandler("testJobHandler")
@Component
public class TestJobHandler extends IJobHandler {

    private final Logger logger = LoggerFactory.getLogger(getClass());

    @Override
    public ReturnT<String> execute(String param) {
        // 分片参数
        ShardingUtil.ShardingVO shardingVO = ShardingUtil.getShardingVo();
        int index = shardingVO.getIndex();
        int total = shardingVO.getTotal();

        // xxl 日志
        XxlJobLogger.log("分片参数:当前分片序号 = {}, 总分片数 = {}, 任务参数 = {}", index, total, param);
        // spring 日志
        logger.info("分片参数:当前分片序号 = {}, 总分片数 = {}, 任务参数 = {}", index, total, param);

        // TODO 自己的业务

        logger.info("【定时任务】开始,ing...");

        // return new ReturnT<>(500, "参数不符合要求");
        // return  new ReturnT<>(200, "成功处理 " + count + " 条数据!");

        return SUCCESS;
    }
}
③创建 XxlJobConfig 获取地址
package com.example.job.task.handler;

import com.xxl.job.core.executor.impl.XxlJobSpringExecutor;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.ComponentScan;
import org.springframework.context.annotation.Configuration;


@Configuration
@ComponentScan(basePackages = "com.example.job.task")
public class XxlJobConfig {
    private Logger logger = LoggerFactory.getLogger(XxlJobConfig.class);

    @Value("${xxl.job.admin.addresses}")
    private String adminAddresses;

    @Value("${xxl.job.executor.appname}")
    private String appName;

    @Value("${xxl.job.executor.ip}")
    private String ip;

    @Value("${xxl.job.executor.port}")
    private int port;

    @Value("${xxl.job.accessToken}")
    private String accessToken;

    @Value("${xxl.job.executor.logpath}")
    private String logPath;

    @Value("${xxl.job.executor.logretentiondays}")
    private int logRetentionDays;


    @Bean(initMethod = "start", destroyMethod = "destroy")
    public XxlJobSpringExecutor xxlJobExecutor() {
        logger.info(">>>>>>>>>>> xxl-job config init.");
        XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();
        xxlJobSpringExecutor.setAdminAddresses(adminAddresses);
        xxlJobSpringExecutor.setAppName(appName);
        xxlJobSpringExecutor.setIp(ip);
        xxlJobSpringExecutor.setPort(port);
        xxlJobSpringExecutor.setAccessToken(accessToken);
        xxlJobSpringExecutor.setLogPath(logPath);
        xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays);

        return xxlJobSpringExecutor;
    }
配置文件
#redis 不配置就报错,在main类排除配置也没用(不配置也可以)
spring.redis.host: 10.16.88.34
spring.redis.port: 6380
spring.redis.database: 0
spring.redis.timeout: 5000
spring.redis.password: 123456
spring.redis.pool.max-idle: 0
spring.redis.pool.max-wait: -1

#任务调度
#任务调度服务地址以及端口
xxl.job.admin.addresses=http://10.16.87.104:9001
#执行名称
xxl.job.executor.appname=logistics-appName-job
#自动获取
xxl.job.executor.ip=
#默认端口9999
xxl.job.executor.port=9999
xxl.job.accessToken=
#日志输出地址
xxl.job.executor.logpath=./xxl-job-log
#日志保存天数:值大于3生效启用执行器Log文件定期清理功能,否则不生效
xxl.job.executor.logretentiondays=-1
⑤启动调度中心和执行器

参考文章:
https://blog.csdn.net/f2315895270/article/details/104714692
https://juejin.cn/post/6948397386926391333
https://juejin.cn/post/6923508824758288398
https://juejin.cn/post/6924522111465848839
https://blog.csdn.net/JesseCary/article/details/90267907

原文地址:https://blog.csdn.net/weixin_45565886/article/details/128897346

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任

如若转载,请注明出处:http://www.7code.cn/show_24516.html

如若内容造成侵权/违法违规/事实不符,请联系代码007邮箱suwngjj01@126.com进行投诉反馈,一经查实,立即删除

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注