阿里云RDS 数据迁移备份本地数据库

本文介绍: 本文内容为阿里云RDS My sql将物理备份文件.x b 恢复到自建数据库的过程、环境搭建、错误分析，仅供学习使用

RDS MySQL物理备份文件 恢复到自建数据库

文章 目录

RDS MySQL物理备份文件恢复到自建数据库

方案 准备

RDS My sql 可适用版本	存储类型	系列	需要插件
mysql.5.7 5.7 5.5	本地SSD	高可用版	Pe r cona XtraBack up 2.4
mysql8.0	本地SSD	高可用版	Percona XtraBack up 8.0

ps：本次实例以mysql5.7为例

注意事项

RDS实例中的表未通过TDE加密

实例中如果存在加密过的表，会导致恢复过程出错，在下载备份文件前，对已加密的表执行解密操作

可在RDS控制台目标实例数据安全性 &g t; TDE页面查看TDE开启状态

My sql自建库版本与RDS My sql版本必须相同

自建库所在服务器中必须根据不同My sql实例安装对应版本的Percona XtraBackup

安装My sql

##首先安装wget命令
yum install -y wget

##下载Mysql的yum源配置
wget http://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm

##安装Mysql的yum源
yum -y install mysql57-community-release-el7-11.noarch.rpm

##使用yum方式安装Mysql5.7
yum -y install mysql-server --nogpgcheck --nogpgcheck

##启动mysql
systemctl start mysqld.service
systemctl enable mysqld.service

##找到mysql的默认密码
cat /var/log/mysqld.log | grep password
2022-11-02T15:01:52.976608Z 1 [Note] A temporary password is generated for root@localhost: !Th7<vMBA2w_
ps：其中默认密码是： !Th7<vMBA2w_

##登录mysql
mysql -uroot -p' !Th7<vMBA2w_'

##修改mysql密码
alter user user() identified by 'Qj123.com';

##刷新配置
grant all privileges on . to 'root'@'%' identified by 'Qj123.com' with grant option; flush privileges;

Mysql的其他配置

##修改Mysql的默认密码策略 - 可设置简单密码
set global validate_password_policy=0;
set global validate_password_length=1;
flush privileges;

##设置简单密码
alter user 'root'@'localhost' identified by '123456';
grant all privileges on . to 'root'@'%' identified by '123456' with grant option;
flush privileges;

安装Percona XtraBackup2.4

##安装配置工具 percona-release
 yum install https://repo.percona.com/yum/percona-release-latest.noarch.rpm
 
##如果安装不成功可手动安装
 wget https://repo.percona.com/yum/percona-release-latest.noarch.rpm
 rpm -ivh percona-release-latest.noarch.rpm
 
##测试存储库
yum list | grep percona

##启用存储库
percona-release enable-only tools release

##如果Percona XtraBackup打算与 上游 MySQL 服务器，你只需要启用仓库：
.toolspercona-release enable-only tools

##安装 Percona XtraBackup：
yum install percona-xtrabackup-24

##Percona 测试存储库yum¶
Percona从我们的测试存储库提供预发布版本。要订阅 测试存储库，您需要在 /etc/yum.repos.d/percona-release.repo.为此，请将两者设置为 （请注意，此文件中有 3 个部分：发布、测试 和实验 - 在这种情况下，它是需要的第二部分 正在更新）。percona-testing-$basearchpercona-testing-noarchenabled = 1

##为了能够进行压缩备份，安装软件包：qpress
yum install qpress -y

##使用下载的rpm包安装Percona XtraBackup
 wget https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.4/
binary/redhat/7/x86_64/percona-xtrabackup-24-2.4.4-1.el7.x86_64.rpm

##本地安装rpm包
 yum localinstall percona-xtrabackup-24-2.4.4-1.el7.x86_64.rpm

##PS:卸载 Percona XtraBackup：   
yum remove percona-xtrabackup

自建库安装qpre ss 解压 工具

## 下载可执行文件的tar包
wget "http://docs-aliyun.cn-hangzhou.oss.aliyun-inc.com/assets/attach/183466/cn_zh/1608011575185/qpress-11-linux-x64.tar"

## 解压下载的tar包，取出可执行文件
tar xvf qpress-11-linux-x64.tar

## 设置qpress文件的执行权限
sudo chmod 775 qpress

## 拷贝qpress到/usr/bin中
cp qpress /usr/bin

下载备份

在Linux服务器上，执行如下命令下载物理备份

-  wget -c ‘http://…’ -o test_qp.xb

test_qp.xb是另存的文件名

解压和恢复 备份

##在本地服务器上创建一个目录 用于存放解压后的文件
mkdir  -p /mysql/data

##解压压缩包 - 根据压缩包后缀选择解压命令

ps：解压压缩包命令

备份文件类型	解压命令
tar 压缩包（.tar.gz 后缀）	tar -izxvf test1.tar.gz -C /mysql/data
xbstream 压缩包（.xb.gz 后缀）	gzip -d -c test.xb.gz \| xbstream -x –v -C /mysql/data
xbstream 文件包（_qp.xb 后缀）	解包：cat test_qp.xb \| xbstream -x -v -C /mysql/data 解压：innobackupex —de compress –remove-original /mysql/data
xbstream qpress压缩包（_xb.qp后缀）	qpress –do test_xb.qp \| xbstream -x -v -C /mysql/data

##查看解压生成后的文件
ls -l /mysql/data

ps：会自动生成一个backup-my.cnf文件

##恢复解压好的备份文件   - -mysql5.6/5.7
innobackupex --defaults-file=/mysql/data/backup-my.cnf --apply-log /mysql/data

##恢复解压好的备份文件   - -mysql8.0
## xtrabackup工具备份前的准备操作
xtrabackup --prepare --target-dir=/mysql/data
## 执行备份还原命令
xtrabackup --datadir=/var/lib/mysql --copy-back --target-dir=/mysql/data

ps：参数含义

参数	含义
–defaults-file	通过传入文件设置MySQL默认选项。备份集解压后会有backup-my.cnf 一般传入该文件
–apply-log	应用此目录下的事务日志文件`xtrabackup_logfile`到备份集解压后的路径中。
–prepare	xtrabackup工具备份前的准备命令，与后续备份恢复有关。
–datadir	源数据库数据所在路径。与MySQL服务的位置有关。
–target–dir	备份集解压后的路径。

若系统返回如下类似结果，则说明备份文件已成功恢复到自建数据库：

常见报错

若系统返回xtrabackup: Unknown error 3613，请将Percona XtraBackup更新到最新版本后再次尝试

若系统返回如下报错，可以用rm -rf /var/lib/mysql/*命令清空文件夹内文件，然后用chown -R mysql:mysql /var/lib/mysql修改权限。

文件夹不为空

启动Mysql

ps：为了避免版本问题，需修改backup-my.cnf文件

##编辑backup-my.cnf
vi /tmp/backup.cnf
#innodb_log_checksum_algorithm
#innodb_fast_checksum
#innodb_log_block_size
#innodb_doublewrite_file
#innodb_encrypt_algorithm
#rds_encrypt_data
#redo_log_version
#master_key_id
#server_uuid
#innodb_log_checksum_algorithm=strict_crc32
#redo_log_version=1

lower_case_table_names=1
skip-grant-tables

##修改文件属性
chown -R mysql:mysql /mysql/data

##启动mysql进程
mysqld --defaults-file=/mysql/data/backup-my.cnf --user=mysql --datadir=/var/lib/mysql &amp;