当前位置：
  1. 首页
  2. apache
  3. 正文
本文介绍: 【Apache Doris】Manager极致丝滑地运维管理

1.标准化VS可视化运维管理

在这里插入图片描述
标准化运维管理，首先得自己手动在集群的每台节点上去分发包、并解压；然后分别对FE和BE进行配置初始化（FE主要修改IP和JAVA目录，BE主要修改IP、JAVA目录和存储路径配置）。

做完上面的包分发及配置初始化后，还需分别到对应节点去启动FE、BE和Broker进程，如果节点较多需要考虑写脚本分发命令或借助外部运维平台简化。其中BE和Broker可以直接把进程全部拉起，然后通过Client逐个Add加入集群即可，但FE集群有类似Zookeeper的选举机制，所以非第一个FE节点第一次启动时、还得注意加–helper命令。

初始化完集群后，如果想做可视化监控得另外集成Prometheus和Grafana，如果要做告警管理可能还得另外部署夜莺N9E。这一套组合拳下来，运维管理体系算是基本完成了，但是天都夜màma了。

在这里插入图片描述

可视化运维管理（Cluster Manager for Apache Doris，简称 Doris Manager，再简称 Manager），它让使用者有了更多的时间钓鱼、消化饼 and 早点回家。

Manager能够快速拉起一套又一套的Doris/SelectDB集群，集成了监控告警、集群巡检和WebUI等模块，提供了集群启停、扩缩容和升级等常规运维操作可视化的快捷入口，能够极大地提高运维管理效率，且使用起来也非常顺畅。

接下来一起来纵享Manager的丝滑体验吧！

2. 环境信息

2.1.硬件信息

2.2.软件信息

  • Doris: 2.0.2
  • SelectDB：2.0.2
  • Manager：23.10.3
  • 系统：CentOS

3.前置准备

官方专项微信群公告中应有尽有，还没有进群的小伙伴们可私a拉你！

3.1.安装包准备

  1. manager下载地址：https://selectdb–doris-1308700295.cos.ap-beijing.myqcloud.com/doris–manager/release/23.10.3/doris–manager-23.10.3-x64-bin.tar.gz
  2. doris/selected安装包下载地址：

本次新建集群以selectdb为例，接管集群以doris为例。

3.2.文档手册准备

1. 部署手册：
https://selectdb.feishu.cn/docx/AJNcdaDuboVfJTx1KVBc6Adwnpe?from=from_copylin
2. 使用指南：
https://selectdb.feishu.cn/docx/QSt5dexQTorAkNxLaRCcMNncnmc?from=from_copylin
3. FAQ 文档：
https://selectdb.feishu.cn/docx/AdaudiDKQovS7SxQwhucrUg7nPd?from=from_copylink
4. WebUI文档：
https://cn.selectdb.com/docs/enterprise/enterprise-core-guide/selectdb-webui-guide
5. 问题收集与反馈：
https://selectdb.feishu.cn/share/base/form/shrcnose8DHPBSoCX68hMU5nPOb

4.集群初始化

4.1.系统参数预设

  1. 交换分区（swap）未关闭，请打开终端窗口， 输入以下命令以禁用交换分区：
sudo swapoff -a
  1. 最大打开文件数小于65535，请打开终端窗口，输入以下命令：
sudo vim /etc/security/limits.conf
* soft nofile 65535
* hard nofile 65535
sudo sysctl -p
  1. 虚拟内存区域数量不符合要求，请打开终端窗口，输入以下命令：
sudo sysctl -w vm.max_map_count=2000000
  1. 机器时钟一致（各节点之间的时差默认需小于5秒）

4.2.Manager部署

1）创建一个用于Manager的目录

mkdir manager
cd manager

2）上传准备的Manager和SelectDB包

在这里插入图片描述

3） 解压Manager包

tar -zxvf doris-manager-23.10.3-x64-bin.tar.gz

在这里插入图片描述

Manager安装包目录说明

    deps // Doris Manager 管控依赖组件
       alertmanager // 告警工具
       grafana // 监控看板工具
	   jdk // jdk依赖包
       prometheus // 监控指标存储工具
dorisctrl // Doris Manager 管控组件
       bin  // 启停脚本
       conf // 配置文件
       lib  // 服务二进制
webserver // Doris Manager Web 服务组件，这是网页入口服务，需要手工启动
       bin  // 启停脚本
       conf  // 配置文件
       config-tool  // Doris Manager 服务管理工具
       inspection  // 巡检脚本
       lib  // 服务二进制
       static  // 前端静态文件

4）配置web服务（可选）

不配置时，默认会将web服务的元数据存放在一个h2内置小数据库。

vim webserver/conf/manager.conf

manager.conf如下：

# Doris Manager Web服务组件监听的端口
MANAGER_PORT=8004

# 服务依赖的数据库类型: mysql或者h2。默认为h2。
DB_TYPE=mysql

# 如果数据库类型为h2，默认的数据存储路径为webserver目录下的data路径，
# 用户也可以指定自定义的绝对路径
DATA_PATH=

# 如果数据库类型为mysql，配置mysql数据库的访问地址
DB_HOST=127.0.0.0

# 配置mysql数据库的访问端口
DB_PORT=3306

# 配置mysql数据库的访问用户
DB_USER=root

# 配置mysql数据库的访问用户密码
DB_PASS=root

# 配置mysql数据库的访问Database名称，需要提前创建
DB_DBNAME=manager

5）启动web服务

sh ./webserver/bin/start.sh

由于本次是用Mysql作为Manager元数据库，当服务正常启动后、对应的db下也会自动初始化相关表。

在这里插入图片描述

同时会起相应的进程doris-manager.jar。

在这里插入图片描述

6.）访问web服务

直接通过浏览器输入URL——http://{Web服务机器IP}:{Web服务端口}，比如http://127.0.0.0:8004

在这里插入图片描述

7）初始化Manager管理员账号密码
在这里插入图片描述

8）配置服务组件部署信息

根据自己环境填写，如果暂时用不到监控告警模块可以选择[关闭]；填写后点击【启动Doris Manager】。当前没有开启监控告警服务，后续可以重新打开。
在这里插入图片描述

9）部署服务组件
点击【启动Doris Manager】后 ，提示正在启动 Doris Manager。
在这里插入图片描述

启动成功后，提示用户进入 Doris Manager，即Managerbu部署完成 ：

在这里插入图片描述

4.3.新集群部署

1）新建集群

填写自定义的集群名称、选择部署版本（会根据填写的包路径自动识别）以及数据库root用户密码后，点击【下一步】。

在这里插入图片描述

2）节点配置

根据集群节点信息填写后点击【部署集群】即可。

在这里插入图片描述

3）开始部署

在这里插入图片描述

部署成功后，提示用户进入集群：

在这里插入图片描述

进入集群，如下所示，即新集群部署完成：

在这里插入图片描述

4.4 监控告警

由于Manager部署流程中关闭了监控告警服务、故不会在左侧栏显示监控告警的入口，如下可重新开启监控告警。

在这里插入图片描述

4.4.1 监控

Manager 监控模块集成了丰富的监控指标，相较于自己搭建Prometheus和Grafana去做监控指标可视化，大开方便之门。

在这里插入图片描述

4.4.2 告警

Manager 告警模块支持邮箱、企业微信、飞书和钉钉群等方式发送告警通知，不会让你错过任何一条异常告警信息，非常贴心。

在这里插入图片描述

至此，集群初始化完成。通过Manager来体验下常用的集群升级、集群扩所容以及多集群管理场景吧。

5. 集群升级

5.1 新包准备

准备好新版本的包与之前的包放在同一级目录下。
在这里插入图片描述

5.2 一键升级

Manager中选择【集群升级】。
在这里插入图片描述

选择目标版本，这里用的是SelectDB 2.0.3 rc04作为升级的目标版本，之后直接点点即可。

在这里插入图片描述

5.3 结果验收

点击右上角可查看当前的版本，核验无误【立即验收】。
在这里插入图片描述

6. 集群扩所容

6.1 一键扩容

以BE为例，选择【BE扩容】。

在这里插入图片描述

可以单独扩容一个节点、也可以选择【批量添加节点】，之后直接点点即可。

在这里插入图片描述

扩容结果查看。

在这里插入图片描述

6.2 一键缩容

以刚刚扩容的BE为例，选择【BE缩容】。
在这里插入图片描述
确定需要下线缩容的BE节点【选择下线】，之后直接点点即可。

在这里插入图片描述

缩容结果查看。

在这里插入图片描述

7. 多集群管理

Manager支持同时管理多套集群。在已有一套集群的情况下，可以继续新建集群或者接管现有集群。本次以接管集群为例，接管现有的Doris 2.0.2集群。

7.1 新建/接管集群

在这里插入图片描述

7.2 环境配置

自定义集群名称，选择【接管现有集群】。

在这里插入图片描述

7.3 节点配置

填写FE的IP/HTTP端口/JDBC端口以及节点用户名/密码/SSH端口后，Manager会自动识别待接管集群的FE和BE节点信息。

在这里插入图片描述

之后直接点【接管集群】即可自动接管完成。

在这里插入图片描述

8. 总结

一个字总结：丝滑！
两个字总结：极致丝滑！！

【Apache Doris】Manager极致丝滑地运维管理 分享至此结束，体验过程中若遇到问题欢迎留言交流

显示所有内容
上一篇 论文笔记：详解NEUPSL DSI
下一篇 Apache服务Rwrite功能使用

相关文章

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

插入图片
浏览器会保存昵称、邮箱和网站cookies信息，下次评论时使用。