京东秒杀系统模块的Redis分布式锁深度剖析,没给你讲明白你打我!

2023-05-16

1|0背景

目前开发过程中,按照公司规范,需要依赖框架中的缓存组件。不得不说,做组件的大牛对CRUD操作的封装,连接池、缓存路由、缓存安全性的管控都处理的无可挑剔。但是有一个小问题,该组件没有对分布式锁做实现,那就要想办法依靠缓存组件自己去实现一个分布式锁了。

什么,为啥要自己实现?有现成的开源组件直接拿过来用不就行了,比如Spring-Integration-Redis提供RedisLockRegistry,Redisson,不比自己去实现快的多。那我得声明一下,本人也不喜欢重复造轮子。具体原因呢,首先是项目中的缓存组件是不能替换的,连接池还可能没有办法复用,其次就是如果对开源组件实现原理不熟悉,那么出了问题,维护起来又需要更多成本。

先说一下当前需要分布式锁的两个场景,一个是微信端access_token刷新(分布式锁可以保证access_token只刷新一次,刷新完成之后放入缓存,其他请求直接从缓存读取);一个是分布式部署的定时任务(分布式锁可以保证同一时刻只有一个节点的定时任务执行)。

2|0什么是分布式锁

 

在单机部署的情况下,要想保证特定业务在顺序执行,通过JDK提供的synchronized关键字、Semaphore、ReentrantLock,或者我们也可以基于AQS定制化锁。单机部署的情况下,锁是在多线程之间共享的,但是分布式部署的情况下,锁是多进程之间共享的。那么分布式锁要保证锁资源的唯一性,可以在多进程之间共享。

3|0分布式锁特性

 

  • 保证同一个方法在某一时刻只能在一台机器里一个进程中一个线程执行;
  • 要保证是可重入锁(避免死锁);
  • 要保证获取锁和释放锁的高可用;

4|0分布式锁实现方案对比

 

  • Mysql:一般项目都会用到缓存,不可能都用数据库,强依赖数据库不现实。虽然实现乐观锁和悲观锁很简单,但是性能不佳。
  • Redis:首先集群可以提高可用性,其次借助Redis实现分布式锁也很简单,另外有很多框架已经帮我们实现好了,直接拿来用就可以了,很方便。同时定期失效的机制可以解决因网络抖动锁删除失败的问题,所以我比较倾向Redis实现。
  • Zookeeper:和Mysql一样,不可能为了用分布式锁而去新增并维护一套Zookeeper集群,其次实现起来还是比较复杂的,实现不好的话还会引起“羊群效应”。如果不是原有系统就依赖Zookeeper,同时压力不大的情况下,一般不使用Zookeeper实现分布式锁。

5|0分布式锁考虑要点

 

  • 锁释放(finally);
  • 锁超时设置;
  • 锁刷新(定时任务,每2/3的锁生命周期执行);
  • 如果锁超时了,防止删除其他线程的锁(其他线程会拿到锁),考虑 value值用线程id标识,当前线程释放锁的时候要判断是否为当前线程的线程id;
  • 可重入;

6|0Redis分布式锁

 

6|1RedisLockRegistry

 

RedisLockRegistry是spring-integration-redis中提供redis分布式锁实现类。主要是通过redis锁+本地锁双重锁的方式实现的一个比较好的锁。

京东秒杀系统模块的Redis分布式锁深度剖析,没给你讲明白你打我

 

OBTAIN_LOCK_SCRIPT是一个上锁的lua脚本。KEYS[1]代表当前锁的key值,ARGV[1]代表当前的客户端标识,ARGV[2]代表过期时间。

基本逻辑是:根据KEYS[1]从redis中拿到对应的客户端标识,如已存在的客户端标识和ARGV[1]相等,那么重置过期时间为ARGV[2];如果值不存在,设置KEYS[1]对应的值为ARGV[1],并且过期时间是ARGV[2]。

京东秒杀系统模块的Redis分布式锁深度剖析,没给你讲明白你打我

 

京东秒杀系统模块的Redis分布式锁深度剖析,没给你讲明白你打我

 

获取锁的过程也很简单,首先通过本地锁(localLock,对应的是ReentrantLock实例)获取锁,然后通过RedisTemplate执行OBTAIN_LOCK_SCRIPT脚本获取redis锁。

为什么要使用本地锁呢,首先是为了锁的可重入,其次是减轻redis服务压力。

京东秒杀系统模块的Redis分布式锁深度剖析,没给你讲明白你打我

 

释放锁的过程也比较简单,第一步通过本地锁判断当前线程是否持有锁,第二步通过本地锁判断当前线程持有锁的计数。

如果当前线程持有锁的计数 > 1,说明本地锁被当前线程多次获取,这时只释放本地锁(释放之后当前线程持有锁的计数-1)。

如果当前线程持有锁的计数 = 1,释放本地锁和redis锁。

京东秒杀系统模块的Redis分布式锁深度剖析,没给你讲明白你打我

 

RedisLockRegistry使用如上所示。

首先定义RedisLockRegistry对应的Bean,需要依赖redis的ConnectionFactory。

然后在服务层中注入RedisLockRegistry实例。

通过lock方法和unlock方法将业务逻辑包起来,需要注意的是unlock方法要写在finally代码块中。

6|2Redisson

 

Redisson是架设在Redis基础上的一个Java驻内存数据网格(In-Memory Data Grid)。

充分的利用了Redis键值数据库提供的一系列优势,基于Java实用工具包中常用接口,为使用者提供了一系列具有分布式特性的常用工具类。

使得原本作为协调单机多线程并发程序的工具包获得了协调分布式多机多线程并发系统的能力,大大降低了设计和研发大规模分布式系统的难度。

同时结合各富特色的分布式服务,更进一步简化了分布式环境中程序相互之间的协作。

  

首先感受一下通过Redisson Api使用redis分布式锁。

定义RedissonBuilder,通过redis集群地址构建RedissonClient。

京东秒杀系统模块的Redis分布式锁深度剖析,没给你讲明白你打我

 

定义RedissonClient类型的Bean。

京东秒杀系统模块的Redis分布式锁深度剖析,没给你讲明白你打我

 

业务代码里,通过RedissonClient获取分布式锁。

京东秒杀系统模块的Redis分布式锁深度剖析,没给你讲明白你打我

 

由于对Redisson分布式锁实现原理了解的也不是很透彻,这里推荐一篇文章:Redisson 分布式锁实现分析。

6|3Redisson和RedisLockRegistry对比

 

  • RedisLockRegistry通过本地锁(ReentrantLock)和redis锁,双重锁实现,Redission通过Netty Future机制、Semaphore (jdk信号量)、redis锁实现。
  • RedisLockRegistry和Redssion都是实现的可重入锁。
  • RedisLockRegistry对锁的刷新没有处理,Redisson通过Netty的TimerTask、Timeout 工具完成锁的定期刷新任务。
  • RedisLockRegistry仅仅是实现了分布式锁,而Redisson处理分布式锁,还提供了了队列、集合、列表等丰富的API。

7|0动手实现分布式锁

 

7|1实现原理

 

本地锁(ReentrantLock)+ redis锁

7|2获取锁lua脚本

 

京东秒杀系统模块的Redis分布式锁深度剖析,没给你讲明白你打我

 

7|3锁刷新lua脚本

 

京东秒杀系统模块的Redis分布式锁深度剖析,没给你讲明白你打我

 

7|4锁释放lua脚本

 

京东秒杀系统模块的Redis分布式锁深度剖析,没给你讲明白你打我

 

7|5本地锁定义

 

每一个lock key对应唯一的一个本地锁

京东秒杀系统模块的Redis分布式锁深度剖析,没给你讲明白你打我

 

7|6 线程标识定义

 

分布式环境下,每一个线程对应一个唯一标识

京东秒杀系统模块的Redis分布式锁深度剖析,没给你讲明白你打我

 

7|7 锁刷新定时任务定义

 

通过JDK ConcurrentTaskScheduler完成定时任务执行,ScheduledFuture完成定时任务销毁。其中taskId对应线程标识。

京东秒杀系统模块的Redis分布式锁深度剖析,没给你讲明白你打我

 

7|8定义分布式锁注解

 

京东秒杀系统模块的Redis分布式锁深度剖析,没给你讲明白你打我

 

7|9分布式锁切面

 

京东秒杀系统模块的Redis分布式锁深度剖析,没给你讲明白你打我

 

通过RedisLock注解实例lockInfo获取到锁key值、锁过期时间信息。

7|10获取锁过程

 

京东秒杀系统模块的Redis分布式锁深度剖析,没给你讲明白你打我

 

  1. 通过lockInfo.key()方法获取到锁key值,通过锁key值拿到对应的本地锁(ReentrantLock)
  2. 本地锁获取锁对象
  3. 进入获取redis锁的循环
  4. 通过缓存服务组件执行获取锁的lua脚本
  5. 如果获取到redis锁,判断当前线程是否第一次获取到锁并且开启了锁刷新,相应的注册锁刷新定时任务
  6. 如果没有获取到redis锁,休眠lockInfo.sleep()毫秒的时间,再次重试

7|11释放锁过程

 

京东秒杀系统模块的Redis分布式锁深度剖析,没给你讲明白你打我

 

  1. 获取到当前锁key值对应的本地锁
  2. 判断当前线程是否为本地锁锁的持有者
  3. 如果本地锁的重入次数大于1,则只释放本地锁
  4. 如果本地锁的重入次数等于1,释放本地锁和redis锁

7|12分布式锁测试

 

定义测试类,测试方法注上@RedisLock注解,制定锁的key值为 "redis-lock-test",测试方法内随机休眠。

京东秒杀系统模块的Redis分布式锁深度剖析,没给你讲明白你打我

 

开启20个线程,同时调用测试方法。

京东秒杀系统模块的Redis分布式锁深度剖析,没给你讲明白你打我

 

多线程redis分布式锁测试结果如下。

京东秒杀系统模块的Redis分布式锁深度剖析,没给你讲明白你打我

 

  

定义可重入测试类,方法内获取当前代理对象,递归调用测试方法。

京东秒杀系统模块的Redis分布式锁深度剖析,没给你讲明白你打我

 

测试方法中,调用可重入测试类注有@RedisLock的测试方法。

京东秒杀系统模块的Redis分布式锁深度剖析,没给你讲明白你打我

 

分布式锁可重入测试结果如下。

京东秒杀系统模块的Redis分布式锁深度剖析,没给你讲明白你打我

 

8|0分布式锁实际应用

 

8|1定义access_token刷新服务

 

京东秒杀系统模块的Redis分布式锁深度剖析,没给你讲明白你打我

 

refreshAccessToken方法上标注@RedisLock注解,表明此方法在分布式环境下会串行执行。

首先从缓存里获取access_token。

如果缓存里的access_token为空或者和失效的access_token相等,通过TokenAPI生成新的access_token并放入缓存。

如果缓存里的access_token不为空并且和失效的access_token不相等,直接返回缓存里的access_token。

8|2定义access_token获取服务

 

京东秒杀系统模块的Redis分布式锁深度剖析,没给你讲明白你打我

 

如果缓存中的access_token为空,直接刷新access_token并放入缓存。

如果缓存中的access_token不为空且和失效的access_token相等则刷新access_token并放入缓存,否则直接返回缓存中的access_token。

8|3分布式锁应用场景

 

在分布式环境下,涉及线程间并发问题和进程间并发问题都是可以通过分布式锁解决的。如果是单节点线程之间共享资源的并发问题可以通过JDK提供的线程锁来解决,如果是多节点多线程之间共享资源的并发问题就需要借助分布式锁。比如最常见的秒杀、抢红包,后台服务中涉及到库存扣减、金额扣减、以及其他高并发串行化场景的操作都可用分布式锁来解决问题。本文讲述的例子主要是应用在微信公众号和微信小程序access_token刷新、微信分享jsapi_ticket刷新,分布式锁可以保证access_token和jsapi_ticket在高并发下只有一个线程去执行刷新动作,避免多次刷新后access_token或者jsapi_ticket失效的问题。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

京东秒杀系统模块的Redis分布式锁深度剖析,没给你讲明白你打我! 的相关文章

随机推荐

  • 【go-1】使用VS Code写GO程序

    一 安装go 1 下载 xff1a Downloads The Go Programming Language 下载的时候选择对应的操作系统的版本 xff0c 下图为Windows 64位 安装文件 xff1a 2 安装 一路点next即可
  • DLNA 共享多媒体电脑到电视(Win11)

    电脑设置 1 win11系统 xff0c 进入控制面板 xff0c 进入 网络和Internet 2 进入 网络和共享中心 3 进入 媒体流式处理选项 4 点击允许 电视设置 进入共享网络 xff0c 不同电视位置不一样 xff0c 但是一
  • unity发布到4399的webgl模式问题:FRAMEWORK.JS中的WEBREQUEST_SEND括号内的函数(不能有通讯代码)...

    在发布4399的时候 xff0c 之前遇到过这个问题 xff0c 解决方法当然就是删除这个函数啦 步骤也很简单 xff0c 但是刚开始摸不着头脑搞了好久 xff0c 最后发现发布的时候有个加密选项 xff0c 选择不加密 xff0c 后面b
  • 什么是Spring? 什么是 Spring Boot ?

    概述 对于 Spring和 SpringBoot到底有什么区别 xff0c 我听到了很多答案 xff0c 刚开始迈入学习 SpringBoot的我当时也是一头雾水 xff0c 随着经验的积累 我慢慢理解了这两个框架到底有什么区别 xff0c
  • Java线程池是如何实现线程复用的?

    前言 没看本文 xff0c 面试挂了 xff0c 别说没提醒你 xff01 没看本文 xff0c 面试挂了 xff0c 别说没提醒你 xff01 没看本文 xff0c 面试挂了 xff0c 别说没提醒你 xff01 相信很多人都接触过线程池
  • 为什么SpringBoot中Service实现类添加@Service会无法注入?

    最近一直在研究Spring Boot 从GitHub上下载了一个my Blog源码 xff0c 一边看 xff0c 一边自己尝试去实现 xff0c 结果掉在坑了 xff0c 研究了近一周才爬出来 xff0c 特地来这博客园记录下来 xff0
  • STM32 Keil5 Bug记录 汇总和解决办法

    STM32 Keil5 Bug记录 汇总和解决办法 文章目录 STM32 Keil5 Bug记录 汇总和解决办法前言一 Warning1 warning no newline at end of file2 warning function
  • 十道泛型面试题,你答得上来吗?

    问题一 xff1a 为什么需要泛型 xff1f 答 xff1a 使用泛型机制编写的代码要比那些杂乱的使用Object变量 xff0c 然后再进行强制类型转换的代码具有更好的安全性和可读性 xff0c 也就是说使用泛型机制编写的代码可以被很多
  • 程序员年初裸辞,至今没找到工作

    4月初裸辞 xff0c 找了近2个多月的工作了 xff0c 至今还没找到 xff0c 感觉心好慌 xff0c 不知道该怎么办了 xff1f 裸辞多久找不到工作 xff0c 心态会崩 xff1f 找不到工作的时候压力很大 xff0c 有人说自
  • 编程语言决定程序员性格,你的性格有没有被带偏?

    人的性格非常容易受到周遭环境影响 xff0c 据说 xff0c 编程环境也会影响一个人的性格哦 xff0c 某种语言用久了 xff0c 性格都会和编程语言的特点挂钩 快来看看你的性格有没有被带偏吧 xff01 1 Python程序员的特征
  • 总结一些IT项目经理的管理方法与经验

    项目经理在大作业中担任的角色 xff0c 既有项目参与者 xff0c 又有共同承担的项目经理的任务 项目经理不一定需要很强的开发能力 xff0c 只要能有效的调动团队 但是良好的开发背景会让你很容易和员工沟通 项目经理需要具备以下几个能力
  • 深度揭秘,中国程序员们的生活现状!

    如果没有程序员 xff0c 整个虚拟世界都会消失不见 全中国7亿多网民 xff0c 再也不能愉快滴发自拍 xff0c 看视频 xff0c 打游戏 xff0c 甚至连打电话都成了一种幻想 绝大部分电子设备都会变成废铁 xff0c 人类的生活将
  • 阿里技术岗招聘专家给求职者的10条建议

    前阵子 xff0c 我和阿里的薪酬福利专家M同学聊了一下午 xff0c M同学做了9年薪酬 xff0c 和我们吐槽了很多薪酬方面的现象 xff0c 也道出了少有人关注的薪酬逻辑和常识 这一次 xff0c 我又找了一位阿里技术岗位的招聘专家T
  • ubuntu18.04依赖于OpenCV3.4.13版本的cv_bridge使用

    前言 ROS原装的cv bridge位于 opt ros melodic include cv bridge 它依赖于OpenCV 3 2 在当前ROS包中为了使用基于新的OpenCV 3 4 10的cv bridge xff0c 网上有博
  • 百度(表格OCR异步接口)API调用流程

    目录 1 调用费用 xff1a 2 调用流程 1 xff09 注册百度账号并进行个人 企业认证 2 xff09 领取免费资源流程 2 xff09 1 xff09 百度智能云 控制台 产品服务 文字识别 2 xff09 2 xff09 领取免
  • 通俗地、有效地学习Linux驱动&应用(只要没更完有空就更)

    目录 食用方法 Warning Linux系统分层的意义 系统移植和烧写 Windows系统下通过OTG烧写 Ubuntu脚本烧写 Windows脚本烧写 通过uboot进行操作 Debian移植 xff08 EBF6ULL系列请看 xff
  • ROS+Opencv的双目相机标定和orbslam双目参数匹配

    本文承接ROS调用USB双目摄像头模组 目录 先完成单目标定双目标定生成可用于ORB SLAM2的yaml文件生成可用于ORB SLAM3的yaml文件参考 按照上面链接配置好后 xff0c 执行 rostopic list 你应该可以找到
  • 双目相机 -- IMU联合标定

    声明 xff1a 一些图片是不该有水印的 xff0c CSDN把图片链接的格式改了 xff0c 暂时还不知道怎么去掉 xff0c 请见谅 xff01 xff01 xff01 目录 声明 xff1a 一些图片是不该有水印的 xff0c CSD
  • window子系统wsl2安装kali及桌面

    一 先升级wsl2 xff08 1 xff09 wsl1没有Linux的内核 xff0c 所以很多Linux版本的工具都无法在wsl1中运行 xff0c 比如 xff1a docker xff0c Linux版本的浏览器等等 所以需要升级为
  • 京东秒杀系统模块的Redis分布式锁深度剖析,没给你讲明白你打我!

    1 0背景 目前开发过程中 xff0c 按照公司规范 xff0c 需要依赖框架中的缓存组件 不得不说 xff0c 做组件的大牛对CRUD操作的封装 xff0c 连接池 缓存路由 缓存安全性的管控都处理的无可挑剔 但是有一个小问题 xff0c