一、基本了解
什么是rsync?
- rsync是linux系统下的数据镜像备份工具。
- 使用快速增量备份工具Remote Sync可以远程同步,支持本地复制,或者与其他SSH、rsync主机同步。
rsync特性:
- 可以镜像保存整个目录树和文件系统。
- 可以很容易做到保持原来文件的权限、时间、软硬链接等等。
- 无须特殊权限即可安装。
- 快速。第一次同步时rsync会复制全部内容,但在下一次只传输修改过的文件。rsync在传输数据的过程中可以实行压缩及解压缩操作,因此可以使用更少的带宽。
- 安全。可以使用scp、ssh等方式来传输文件,当然也可以通过直接的socket连接。
- 支持匿名传输,以方便进行网站镜像。
rsync的2种认证协议:
- ssh协议
- rsync协议
注意事项:
- rsync server端不用启动rsync的daemon进程,只要获取remote host的用户名和密码就可以直接rsync同步文件。
- rsync server端因为不用启动daemon进程,所以也不用配置文件/etc/rsyncd.conf。
二、rsync的基本操作
2.1 安装rsync
1.服务端和客户端都需安装rsync服务。
yum -y install rsync
2.将服务端的文件同步到客户端的/opt/目录下。
[root@server ~]# rsync anaconda-ks.cfg root@192.168.130.161:/opt
![在这里插入图片描述](https://img-blog.csdnimg.cn/0781ef0734fa411c9aafd605956ca9da.png)
3.将客户端的/opt/目录下的222文件同步到服务端本地当前目录。
![在这里插入图片描述](https://img-blog.csdnimg.cn/27b781510ba64518b6c4f0917f2d3315.png)
2.2 同步常用参数
参数 |
释义 |
-a, --archive |
归档 |
-v, --verbose |
啰嗦模式 |
-q, --quiet |
静默模式 |
-r, --recursive |
递归 |
-p, --perms |
保持原有的权限属性 |
-z, --compress |
在传输时压缩,节省带宽,加快传输速度 |
–delete |
在源服务器上做的删除操作也会在目标服务器上同步 |
2.3 同步目录示例
1.第一次将服务端的目录下所有文件全部同步到客户端。
rsync -avz /opt -e ssh root@192.168.130.161:/root
![在这里插入图片描述](https://img-blog.csdnimg.cn/fb8492b818144eeab955f6ee3f8b0076.png)
2.若服务端的同步目录下的文件被修改,或新增文件,则第二次同步时会把服务端当前的信息同步到客户端。
![在这里插入图片描述](https://img-blog.csdnimg.cn/77bdf3a2a2444faeb33e871c5cf8a1a8.png)
3.添加delete参数时,代表同步时服务端有,则客户端有;服务端没有,则客户端没有。
![在这里插入图片描述](https://img-blog.csdnimg.cn/56f231b395554b3aa75e683ca46ec269.png)
![在这里插入图片描述](https://img-blog.csdnimg.cn/5168cb41229643a09142be264f050305.png)
三、rsync+inotify实时同步
为什么要搭配inotify服务来玩?
- 若文件数量过大,rsync同步效率很低,因为它是扫描所有文件后进行比对后进行差量传输。
- rsync不能实时监测、同步数据,虽然它可以通过linux守护进程的方式进行触发同步,但是两次触发动作一定会有时间差,这样就导致了服务端和客户端数据可能出现不一致,无法在应用故障时完全的恢复数据。
- 而inotify可以监控文件系统的各种变化,当文件有任何变动时,就触发rsync同步,这样刚好解决了同步数据的实时性问题。
什么是inotify:
- Inotify是Linux自带的一种强大的、细粒度的、异步的文件系统事件监控机制。
- 通过Inotify可以监控文件系统中添加、删除,修改、移动等各种细微事件,利用这个内核接口,第三方软件就可以监控文件系统下文件的各种变化情况,而inotify-tools就是这样的一个第三方软件。
3.1 环境准备
服务器类型 |
IP地址 |
应用 |
操作系统 |
源服务器,客户端 |
192.168.130.161 |
rsync inotify-tools 脚本 |
centos7/redhat7 |
目标服务器,服务端 |
192.168.130.160 |
rsync |
centos7/redhat7 |
1.关闭服务端和客户端按的防护墙、selinux。
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
2.确定服务端有配置文件/etc/rsyncd.conf,redhat8没有则需要安装rsync-daemon。
![在这里插入图片描述](https://img-blog.csdnimg.cn/ef570653f99a414ca5d3cdcb082d08ea.png)
3.2 配置服务端
1.添加配置文件参数。
[root@server ~]# vim /etc/rsyncd.conf
log file = /var/log/rsyncd.log ##日志文件位置.
pidfile = /var/run/rsyncd.pid ##pid文件的存放位置
lock file = /var/run/rsync.lock ##支持max connections参数的锁文件
secrets file = /etc/rsync.pass ##用户认证配置文件,用于保存用户名称和密码,必须手动创建
[qingjun] 自定义同步资源名称。
path = /tmp/ rsync服务端数据存放路径,客户端的数据将同步至此目录
comment = sync runtime from client
uid = root 设置rsync运行权限为root
gid = root 设置rsync运行权限为root
port = 873 默认端口
ignore errors 表示出现错误忽略错误
use chroot = no 默认为true,修改为no,增加对目录文件软连接的备份
read only = no 设置rsync服务端为读写权限
list = no 不显示rsync服务端资源列表
max connections = 200 最大连接数
timeout = 600 设置超时时间
auth users = admin 执行数据同步的用户名,可以设置多个,用英文状态下逗号隔开
hosts allow = 192.168.130.161 允许进行数据同步的源服务器IP地址,可以设置多个,用英文状态下逗号隔开
2.创建用户认证文件,设置文件权限为600。
echo 'admin:123456' > /etc/rsync.pass
chmod 600 /etc/rsync.pass
3.启动服务,设置开机自启。
systemctl enable rsyncd
systemctl start rsyncd
![在这里插入图片描述](https://img-blog.csdnimg.cn/5582eb76fee94e04a1a085e3e393652b.png)
3.3 配置客户端
1.配置epel源,安装inotify-tools服务。
wget -O /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
sed -i -e '/mirrors.cloud.aliyuncs.com/d' -e '/mirrors.aliyuncs.com/d' /etc/yum.repos.d/CentOS-Base.repo
####################################
wget -O /etc/yum.repos.d/epel.repo https://mirrors.aliyun.com/repo/epel-7.repo
sed -i 's|^#baseurl=https://download.example/pub|baseurl=https://mirrors.aliyun.com|' /etc/yum.repos.d/epel*
sed -i 's|^metalink|#metalink|' /etc/yum.repos.d/epel*
#######################################
yum -y install inotify-tools
2.创建认证密码文件,只需写密码,设置文件权限为600。
echo '123456' > /etc/rsync.pass
chmod 600 /etc/rsync.pass
3.创建同步目录runtime。
mkdir /runtime
4.进入同步目录创建文件,开始同步。
rsync -avH --port 873 --progress --delete /runtime admin@192.168.130.160::qingjun --password-file=/etc/rsync.pass
![在这里插入图片描述](https://img-blog.csdnimg.cn/963e718dd6cc498fb3d9b4cbd0a5b6cc.png)
5.服务端查看结果。
![在这里插入图片描述](https://img-blog.csdnimg.cn/5e846c856acd4684982e90bc5236f5cd.png)
3.4 自动同步
1.客户端写个脚本,给脚本设置开机启动执行。
[root@client opt]# cat qingjun.sh
#!/bin/bash
host=192.168.130.160
src=/runtime
des=qingjun
password=/etc/rsync.pass
user=admin
inotifywait=/usr/bin/inotifywait
$inotifywait -mrq --timefmt '%Y%m%d %H:%M' --format '%T %w%f%e' -e modify,delete,create,attrib $src \
| while read files;do
rsync -avzP --delete --timeout=100 --password-file=${password} $src $user@$host::$des
echo "${files} was rsynced" >>/tmp/rsync.log 2>&1
done
2.后台执行脚本。
nohup bash /opt/qingjun.sh &
3.测试效果,客户端删除文件,查看服务端结果。
![在这里插入图片描述](https://img-blog.csdnimg.cn/9e5cef089a094f278078ce998d0c8710.png)
![在这里插入图片描述](https://img-blog.csdnimg.cn/ee2997e1987046e594e09cd6f461c7f3.png)
4.客户端查看日志记录,日志输出位置在脚本里已指定。
![在这里插入图片描述](https://img-blog.csdnimg.cn/176a938002554e37a78adbccba43d5d9.png)