程序员经验分享-hwhale

Redis 分布式缓存

2023-11-20

分布式缓存

单点 Redis 的问题及解决

  • 数据丢失：实现Redis数据持久化
  • 并发能力：搭建主从集群，实现读写分离
  • 存储能力：搭建分片集群，利用插槽机制实现动态扩容
  • 故障恢复能力：利用哨兵机制，实现健康检测和自动恢复

RDB

RDB全称Redis Database Backup file （Redis数据备份文件），也被叫做Redis数据快照，简单来说就是把内存中的所有数据都记录到磁盘上，当Redis实时故障重启后，从磁盘读取快照文件，恢复数据

save #由Redis主进程来执行RDB，会阻塞所有命令

bgsave #开启子进程执行RDB，避免主进程收到影响，推荐

RDB默认是开启的，内部有触发机制，可以在redis.conf文件中找到，RDB文件也支持压缩；Redis关闭时，也会触发一次RDB

RDB方式bgsave的基本流程

  • fork主进程得到一个子进程，共享内存空间
  • 子进程读取内存数据并写入新的RDB文件
  • 用新的RDB文件替换旧的RDB文件

RDB会在什么时候执行？save 60 1000的含义？

  • 默认时停止服务的时候
  • 代表60s内至少执行1000次修改才会触发RDB

RDB的缺点

  • RDB执行间隔时间长，两次RDB之间的写入数据由丢失的风险
  • fork子进程、压缩、写RDB文件比较耗时

AOF

AOF全称Append Only Field（追加文件）。Redis处理的每一个写命令都会记录在AOF文件。可以看做时命令日志文件。

AOF默认是关闭的，AOF的命令记录频率也可以通过修改redis.conf文件修改

# 表示每执行一次写命令，立即记录到AOF文件
appendfsync always

# 写命令执行完先放到AOF缓冲区，然后表示每隔1s将缓冲区数据写入到AOF文件，是默认方案
appendfsync everysec

# 写入命令执行完先放入AOF缓冲区，由操作系统决定何时将缓冲区内容写到磁盘
appendfsync no

  • 因为AOF记录的是每次写的命令。AOF文件会比RDB文件大，而且AOF中会记录对同一个key的多次写操作，但是只有最后一次的才有意义，通过执行bgreWriteaop命令，可以让AOF文件执行重写功能，用最少得命令达到相同的效果

  • Redis也会在触发阈值时自动去重写AOF文件，阈值也可以在redis.conf中配置

    # AOF文件比上次文件增长超过多少百分比触发重写
auto-aof-reWrite-percentage 100

# AOF文件体积最小多大以上才触发重写
auto-aof-rewrite-min-size 64mb

  • AOF和RDB同时开启，会以AOF优先；在实际的开发中往往结合两者使用

Redis主从

单点的Redis的并发能力是有上限的，要进一步提高Redis的并发能力，就需要搭建主从集群，实现读写分离；

在这里插入图片描述

主从数据同步原理

第一次是全量同步

在这里插入图片描述

全量同步的流程

  1. slave节点请求增量同步
  2. master节点判断replid，发现不一致，拒绝增量同步
  3. master将完整的内存数据生成RDB文件，发送RDB到slave
  4. slave清空本地数据，加载master的RDB文件
  5. master将RDB期间的命令记录在repl_baklog，并持续将log中的命令发送给slave

如果slave重启后，执行增量同步

哨兵（Sentinel）

Redis提供哨兵（Sentinel）机制来实现主从集群的自动恢复

  • 监控：哨兵会不断监控master和slave的健康状况
  • 故障自动恢复：当master故障时，Sentinel哨兵会将其中一个slave提升为master，当老master恢复后，还是以新的master为主
  • 通知：哨兵充当Redis客户端发现来源，当集群发生故障转移时，会将最新的消息推送给Redis的客户端

哨兵基于心跳监测机制，每个1s向集群的每一个实例发送ping命令：

  • 主观下线：如果某个哨兵节点发现某实例为在规定时间内响应，则认为该实例主观下线
  • 客观下线：若超过指定数量（quorum）的哨兵都认为该实例主观下线，则该实例客观下线，类似投票机制

选举新的master

  • 首先会判断slave节点与master节点断开时间的长短，如果超过指定值，则会排除在外
  • 然后根据slave节点的slave-priority，越小优先级越高
  • slave一样，则判断slave节点的offset值。越大说明数据越新，优先级越高
  • 最后判断slave节点的运行id大小，越小优先级越高

故障转移

  • Sentinel哨兵给备选的slave发送命令，让该节点称为新的master
  • 哨兵给所有的其它slave发送命令，让这些节点成为新master的slave节点，开始从master同步数据
  • 最后，哨兵将故障节点，也就是老的master标记为slave从节点

Redis分片集群

在这里插入图片描述

主从和哨兵解决了高可用、高并发读的问题，但依然有两个问题没有解决：

  • 海量数据存储问题
  • 高并发写的问题

使用分片集群可以解决以上问题

  • 集群中有多个master，每个master保存不同的数据
  • 每个master都可以有多个slave节点
  • master之间通过ping监测彼此健康状态
  • 客户端请求可以访问集群中的任一个节点，最终都会被转发到正确的节点上

散列插槽

  1. Redis会把每个master节点映射到0~16383共16384个插槽（Hash slot）上
  2. 数据key不是与节点绑定，而是与插槽绑定，Redis会根据key的有效部分计算插槽值，分为两种情况：
    • key中包含"{}“，且”{}“中至少包含一个字符，”{}"中的部分是有效部分，这就实现了控制不同的key在同一插槽上
    • 可以中不包含"{}"，整个可以都是有效部分
    • 计算方式是利用CRC16算法得到一个Hash值，然后对16384取余，得到的就是slot值
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

Redis

缓存

分布式

Redis 分布式缓存 的相关文章

  • Redis发布/订阅：查看当前订阅了哪些频道

    我目前有兴趣查看我拥有的 Redis 发布 订阅应用程序中订阅了哪些频道 当客户端连接到我们的服务器时 我们将它们注册到如下所示的通道 user user id 这样做的原因是我希望能够看到谁 在线 目前 我在不知道客户端是否在线的情况下盲

  • Lua中按字符分割字符串

    我有像这样的字符串 ABC DEF 我需要将它们分开 字符并将两个部分分别分配给一个变量 在 Ruby 中 我会这样做 a b ABC DEF split 显然Lua没有这么简单的方法 经过一番挖掘后 我找不到一种简短的方法来实现我所追求的

  • 2 个具有共享 Redis 依赖的 Helm Chart

    目前 我有 2 个 Helm Charts Chart A 和 Chart B Chart A 和 Chart B 对 Redis 实例具有相同的依赖关系 如Chart yaml file dependencies name redis v

  • Redis是如何实现高吞吐量和高性能的？

    我知道这是一个非常普遍的问题 但是 我想了解允许 Redis 或 MemCached Cassandra 等缓存 以惊人的性能极限工作的主要架构决策是什么 如何维持连接 连接是 TCP 还是 HTTP 我知道它完全是用C写的 内存是如何管理

  • Scala 使用的 Redis 客户端库建议

    我正在计划使用 Scala 中的 Redis 实例进行一些工作 并正在寻找有关使用哪些客户端库的建议 理想情况下 如果存在一个好的库 我希望有一个为 Scala 而不是 Java 设计的库 但如果现在这是更好的方法 那么仅使用 Java 客

  • Redis+Docker+Django - 错误 111 连接被拒绝

    我正在尝试使用 Redis 作为使用 Docker Compose 的 Django 项目的 Celery 代理 我无法弄清楚我到底做错了什么 但尽管控制台日志消息告诉我 Redis 正在运行并接受连接 事实上 当我这样做时 docker

  • 使用redis进行树形数据结构

    我需要为基于树的键值开发一个缓存系统 与Windows注册表编辑器非常相似 其中缓存键是字符串 表示树中到值的路径 可以是原始类型 int string bool double 等 或子树本身 例如 key root x y z w val

  • Laravel 异常队列最大尝试次数超出

    我创建了一个应用程序来向多个用户发送电子邮件 但在处理大量收件人时遇到问题 该错误出现在failed jobs table Illuminate Queue MaxAttemptsExceededException App Jobs ESe

  • 在 Spring 4 中干掉通用的 RedisTemplate

    我读到你可以拥有 Autowired从 Spring 4 开始泛型 这太棒了 我有一个摘要RedisService我想参加的课程 Autowired一个通用的 RestTemplate 如下所示 public abstract class

  • 超出 Redis 连接/缓冲区大小限制

    在对我们的应用程序服务器进行压力测试时 我们从 Redis 中得到以下异常 ServiceStack Redis RedisException 无法连接到 redis host 6379 处的 redis 实例 gt System Net

  • 为什么单个 Redis 实例不是线程安全的？

    https github com xetorthio jedis wiki Getting started https github com xetorthio jedis wiki Getting started 在多线程环境中使用Jed

  • Web API 缓存 - 如何使用分布式缓存实现失效

    我有一个 API 目前不使用任何缓存 我确实有一个正在使用的中间件 它可以生成缓存标头 Cache Control Expires ETag Last Modified 使用https github com KevinDockx HttpC

  • 集合成员的 TTL

    Redis 是否可以不为特定键而是为集合的成员设置 TTL 生存时间 我正在使用 Redis 文档提出的标签结构 数据是简单的键值对 标签是包含与每个标签对应的键的集合 例如 gt SETEX id id 1 100 Lorem ipsum

  • ServiceStack PooledRedisClientManager 故障转移如何工作？

    根据 git commit 消息 ServiceStack 最近添加了故障转移支持 我最初认为这意味着我可以关闭我的一个 Redis 实例 并且我的池客户端管理器将优雅地处理故障转移并尝试与我的备用 Redis 实例之一连接 不幸的是 我的

  • 为什么我们需要 Redis 来运行 CKAN？

    我想知道为什么我们需要 Redis 服务器来运行 CKAN 如果需要 为什么 我如何使用 CKAN 配置它 附注 我正在 RHEL7 中运行我的 ckan 实例 Update Redis 已成为一项要求从CKAN 2 7开始 https d

  • 检查 Redis 列表中是否已存在某个值

    我想知道是否有办法检查 redis 列表中是否已存在某个键 我无法使用集合 因为我不想强制唯一性 但我确实希望能够检查字符串是否确实存在 Thanks 您的选择如下 Using LREM如果发现则更换它 维护一个单独的SET与您的LIST

  • memcache、redis 和 ehcache 作为分布式缓存框架的比较 [关闭]

    Closed 这个问题不符合堆栈溢出指南 help closed questions 目前不接受答案 我需要做出的决定之一是在我的系统中使用什么缓存框架 有这么多可供选择 我目前正在研究 redis ehcache 和 memcached

  • 如何高效地将数十亿数据插入Redis？

    我有大约 20 亿个键值对 我想将它们有效地加载到 Redis 中 我目前正在使用 Python 并使用 Pipe 如redis py https redis py readthedocs io en latest redis Redis

  • Redis 客户端忽略其上设置的配置选项并尝试连接到默认 IP 127.0.01

    在AWS中 我使用ElastiCache Redis服务器并使用节点作为后端和 promise redis 包 这就是我尝试连接到我的 redis 服务器端点的方法 client redis createClient host my red

  • Redis - 错误：值不是有效的浮点数

    我在 Redis 中有一个排序集 我试图通过在Python代码中使用zincrby来更新特定元素的计数器值 例如 conn zincrby usersSet float 1 user1 但它显示错误为 错误 值不是有效的浮点数 我在 cli

随机推荐

  • Unity3D的四种坐标系

    1 World Space 世界坐标 我们在场景中添加物体 如 Cube 他们都是以世界坐标显示在场景中的 transform position可以获得该位置坐标 2 Screen Space 屏幕坐标 以像素来定义的 以屏幕的左下角为 0

  • Wireshark抓包及DNS报文分析

    Wireshark抓包及DNS报文分析 来来来 点我进行5分钟视频学习 冲冲冲 一 抓包整体描述 第一行 帧Frame 2 指的是要发送的数据块 其中 所抓帧的序号为2 捕获字节数等于传送字节数 696字节 第二行 以太网 有线局域网技术

  • java正则表达式的语法详解及常用方法

    一 实例 今天在实现一个功能时遇到了这样一个问题 及接口传过来一个字符串 我需要判断它是一个区间还是一段文字并对其做分别处理 这里面的问题就在于我怎么去判断区间 按照数学规律区间可分为以下几种情况 M M N N N M N M N N N

  • 计算机网络重点知识（期末考研复习）

    点个关注 更多精彩持续更新为考研和期末助力 一起加油 计算机网络 第一章 思维导图 概述 计算机网络的主要性能指标 计算机网络的体系结构 OSI RM模型 TCP IP 两种模型对比 第二章 思维导图 数据通信主要指标与信道极限容量 多路通

  • java8新特性学习笔记

    使用lambda表达式排序 Collections sort temp String a String b gt return b compareTo a Collections sort temp String a String b gt

  • Camera2拍照时部分机型非常暗

    一 问题描述 1 部分手机在弱光环境下不管什么分辨率 预览和拍出来的照片都非常的暗 2 部分手机在弱光环境下 预览分辨率1920x1080 输出图片分辨率1920x1080时 预览和拍出来的照片亮度比较亮 但是在预览分辨率1920x1080

  • 重现U盘文件

    U盘中毒了 查毒后发现U盘空间还在 但是就是无法查看里面的文件 在 工具 gt 文件夹选项 中设置成 显示系统文件夹中的内容 去掉 隐藏受保护的操作系统文件 推荐 以及设置成 显示所有文件和文件夹 也不能正常显示 最近遇到很多优盘中的文件夹

  • 图像特征提取技术

    目 录 前 言 基于颜色的特征提取 1 颜色空间 2 直方图以及特征提取 基于纹理的特征提取 1 灰度共生矩阵 2 tamura纹理 基于深度神经网络的图像处理 前 言 图像特征提取属于图像分析的范畴 是数字图像处理的高级阶段 本文将从理论

  • SeleniumLibrary4.5.0 关键字详解（三）

    SeleniumLibrary4 5 0 关键字详解 三 库版本 4 5 0 库范围 全局 命名参数 受支持 简介 SeleniumLibrary是Robot Framework的Web测试库 本文档说明了如何使用SeleniumLibra

  • 获取对象Object的长度

    获取对象的长度 obj id 1 id2 1 id3 1 id4 1 id5 1 id6 1 id7 1 id8 1 id9 1 id10 1 let i Object keys this obj length console log i

  • 嵌入式linux 搭建L2TP+IPSEC客户端

    搭建L2TP IPSEC客户端需要对应的源码 xl2tpd 1 3 10和openswan 还需要一些依赖的库 gmp libpcap 一 安装openswan 安装依赖库gmp 6 1 2 1 下载 https gmplib org DO

  • C#操作SqlServer数据库，以及其常用的对象

    C 操作SQL Server数据库 1 概述 ado net提供了丰富的数据库操作 这些操作可以分为三个步骤 第一 使用SqlConnection对象连接数据库 第二 建立SqlCommand对象 负责SQL语句的执行和存储过程的调用 第三

  • 服务器备案问题解决思考？

    大家和我一样有没有在项目上线之后遇到服务器需要备案的问题呢 遇到这个问题的原因 域名没有备案 可是我发现我域名本案后还是无法通过域名直接解析到服务器80端口 所以我百度后发现 服务器竟然也要备案 而且备案步骤 手续与域名备案相比是真的麻烦

  • Docker搭建mysql主从

    目录 1 安装配置master 1 1 运行mysql容器 1 2 更新基础软件和安装vim 1 3 编辑配置文件 1 4 创建用户并授权 用于再主从库之间同步数据 2 slave数据库安装配置 2 1 运行容器 2 2 进入容器内部 2

  • JavaWeb的高级、Listener监听器--Servlet事件

    一 学习目标 1 Listener监听器 2 Listener监听器作用 3 Listener监听器的创建与销毁 二 重点知识 1 Listener监听器 Filter和Listener是Servlet规范中的两个高级特性 不同于Servl

  • vue项目打包后如何本都部署访问

    npm run build生成dist项目后 在windows部署访问 方式一 1 新建一个文件夹 进入目录后打开cmd 输入npm init y 2 输入 npm i express s 是用于在 Node js 项目中安装 Expres

  • 小程序实现微信登录Java后端（一）--前端实现

    目录 一 概述 二 登录流程 三 前端代码 四 解读前端代码 1 登录部分 2 检查当前用户是否已登录 3 小程序启动时校验登录 五 阶段性小结 一 概述 最近终于有时间去搞一下准备参加比赛的小程序 小程序一开始设计的是使用邮箱登录 老师建

  • 剑指offer——输出数组中k个最小值(快速，冒泡，选择，插入）

    找k个最小值 基本思路是对数组排序 输出前k个或者后k个 我们回顾一下之前的学习过的集中排序方法 快速排序 class Solution def GetLeastNumbers Solution self tinput k def quic

  • rust房屋建造蓝图_妄想山海房子建造攻略

    妄想山海这个游戏的一大特色就是玩家可以在游戏里建造属于自己的房屋 而且这个房屋可不是几个图或是简单的3d模型 而是一个完整的房屋呦 玩家可以创作或是收集来的房屋设计图 真实打造 所以在妄想山海里房子的建造还是要花点功夫的 下面讯喵喵就为大家

  • Redis 分布式缓存

    分布式缓存 单点 Redis 的问题及解决 数据丢失 实现Redis数据持久化 并发能力 搭建主从集群 实现读写分离 存储能力 搭建分片集群 利用插槽机制实现动态扩容 故障恢复能力 利用哨兵机制 实现健康检测和自动恢复 RDB RDB全称R

热门标签