PaxosStore解读

2023-11-12

PaxosStore解读
1.   QuorumKV (NWR)
      微信有大量分布式存储(QuorumKV)使用这个算法保证一致性,我们对这个算法做了改进,创造性地把数据副本分离出版本编号和数据存到不同设备,其中N=3(数据只有2份,版本编号有3份),在R=W=2时仍然可以保证强一致性。因为版本编号存放3份,对版本编号使用Quorum方式,通过版本编号协商,只有版本序号达成一致的情况下读写单机数据,从而在保证强一致性的同时实现高读写性能。实际数据只写入一台数据节点,使用流水日志的方式进行同步,并更新版本编号。但是我们的分布式存储(QuorumKV)仍存在数据可靠性比Paxos低的问题,因为数据只写一份副本,依靠异步同步。如果数据节点故障,故障节点上没有同步到另一个节点,数据将无法访问。版本节点故障时,如果Quorum协议没有设置W=3,也可能无法访问正确的数据节点副本。 
2.  PaxosStore (paxos)
2.1  paxosStore介绍
        paxosStore是一个在跨园区数据中心间同步复制,提供灵活的数据模式和访问接口并支持单表亿行,具备快速伸缩能力,低延迟低成本,强一致和高可用的分布式存储系统。
       特点:1) 无租约Paxos工程化,多主多写,高可用;
                   2) 针对业务特性优化,合并整体优化成本15+%;
                   3) 同一容灾、迁移框架下,支持多种插件化存储引擎、亿行大表;
                   4) 快速伸缩能力,基于反馈的自适应迁移系统。
       paxosStore的整体架构:
      
             
     编程模型针对各种外部应用提供多种数据架构。一致性层(consensus layer)执行基于 Paxos 的存储协议。存储层包含了多个根据不同存储模型构建的存储引擎,这些引擎可以满足各种各样的性能要求。PaxosStore 的架构与传统存储设计的不同之处主要在于它能将一致性协议应用提取出来作为一个中间件,为所有潜在的存储引擎提供数据一致性保证。
2.2 一致性层详解
2.2.1  paxos
                             1.4.png
2.2.2  paxos
     paxosLog的结构:
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

PaxosStore解读 的相关文章

随机推荐

  • Entity Framework Core系列教程-5-第一个应用程序

    第一个EF Core控制台应用程序 在这里 您将逐步学习如何将Entity Framework Core与Code First方法结合使用 为了演示这一点 我们将使用Visual Studio 2019创建一个 NET Core Conso
  • iMX6ULL学习(二)

    文章目录 Makefile机制规则 一 通配符 二 PHONY假想目标 三 即时变量和延迟变量 四 make函数 foreach VAR LIST TEXT filter out PATTERN TEXT filter out patter
  • 如何根据利用企业微信机器人群自动推送消息

    如何根据利用企业微信机器人群自动推送消息 1 自动推送文字 消息 艾特所有人或指定人等等 import request 发起https requests请求 url 此处填入自己创建的企业微信机器人的url def bot txt url
  • Unix 时间戳(stm32实现解析与转换)

    1 什么是Unix时间戳 Unix时间戳是从1970年1月1日 UTC GMT的午夜 开始所经过的秒数 不考虑闰秒 1 Unix时间戳 英文为Unix epoch Unix time POSIX time 或 Unix timestamp
  • 轻松理解HTTP协议

    一起深入了解http和https协议吧 了解http协议 1 http是什么 2 认识URL 2 1URL 2 2urlencode和urldecode 3 http传输格式 3 1http请求 3 2http响应 4 http请求方法 4
  • ftp将网站发布到服务器,ftp工具将网站上传到服务器

    ftp工具将网站上传到服务器 内容精选 换一换 支持将华为云服务器上的音视频文件通过内网方式上传到与服务器在同一区域的视频点播服务中 但您需要先将服务器当前使用的DNS切换为华为云的内网DNS 具体请参见怎样切换内网DNS 然后使用视频点播
  • 二分查找法和顺序查找法

    二分查找1 二分查找 Binary Search 二分查找又称折半查找 它是一种效率较高的查找方法 二分查找要求 线性表是有序表 即表中结点按关键字有序 并且要用向量作为表的存储结构 不妨设有序表是递增有序的 2 二分查找的基本思想 二分查
  • system和vendor分区挂载解析(Android O)

    首先我们知道init进程在运行时会调用自身 所以init进程分为stage1和stage2两个阶段 而分区挂载操作也分为两个阶段 stage1挂载操作是利用device tree中的配置项来读取配置挂载的 stage2挂载操作则是我们常见的
  • 数据库一对多查询

    环境搭建 实体类 Data public class Teacher private int id private String name private List
  • anaconda不同设备之间的环境复制问题

    问题 由于一些原因 需要从别的机器上复制环境到新的机器上 直接找到anaconda3 envs 下的环境 整个包复制到新的机器上的相同路径下 但是这样虽然能够使用python 并且import其中的库 但是如果要使用pip的时候 会报错 b
  • QT 信号与槽

    QT核心便是信号与槽 通过信号将数据在界面和类中 在本类和其他类中发送和接收 信号负责发送数据 也可以单纯的发送信号 槽负责接收 系统自定义的槽 在相应组件上单机右键转到槽即可看见这列表 例如 一般按钮事件的点击 clicked 松开 re
  • RecyclerView详解 —— 自定义动画

    RecyclerView的强大之处相信大家已经体验到了 在上一篇RecyclerView详解 自定义分割线我们学习了如何定义分割线 本篇将介绍如何自定义动画 Google为我们提供了一个默认的动画实现 DefaultItemAnimator
  • index.android.js打包,Taro 打包apk步骤(Android 打包)

    前提 已经在taro壳子中做了相关打包的配置 已经在taro壳子中做了相关打包的配置 已经在taro壳子中做了相关打包的配置 taro版本2 2 13 1 把项目根目录下的rn temp文件夹复制到壳子根目录 taro native she
  • 打开tensorboard时出现错误:module ‘tensorflow‘ has no attribute ‘estimator‘

    打开tensorboard时出现错误 module tensorflow has no attribute estimator 一 错误现象 二 解决方法 三 错误原因 一 错误现象 二 解决方法 1 打开python的安装目录 找到文件
  • mathjax 数学公式的使用

    这里使用的是mathjax2 7 5版本 其他版本或有不同 下载地址 https github com mathjax MathJax releases tag 2 7 5 MathJax默认样式在被鼠标focus的时候 会有蓝色边框出现
  • 电脑分盘怎么分?分盘详细教程来了,图文教学

    电脑作为小伙伴日常生活使用的工具 很多事情都需要使用电脑来进行处理 虽然小伙伴使用电脑比较多 但是还是有不少的小伙伴不知道电脑分盘怎么分 其实电脑分盘很简单 下面小编就以图文教学的方式 详细的向小伙伴介绍电脑分盘教程 电脑分盘怎么分 很多小
  • 复化中矩形matlab函数法,MATLAB–Mupad 初学者(四)~(八)

    四 函数的创建 一 用赋值运算符创建函数 y 2 x 1 二 用映射创建函数 格式 f x gt body 简化函数后再创建函数 f x gt body直接创建函数 f x gt x 2 1 注意有无等号的区别 三 创建分段函数 1 pie
  • 计算机组成原理(2)-软件设计(二十三)

    计算机组成原理 1 软件设计 二十二 https blog csdn net ke1ying article details 129372288 一 层次化存储结构 速度由慢到快 外存 辅存 硬盘 光盘 U盘 gt 内存 主存 gt cac
  • 【无标题】如何实现权限过滤

    springboot mybatis plus关于数据权限过滤应该怎么实现 spring boot java 角色和部门关联 每个角色可以设置一个数据范围 1全部数据权限 2自定数据权限 3本部门数据权限 4本部门及以下数据权限 5仅本人数
  • PaxosStore解读

    PaxosStore解读 1 QuorumKV NWR 微信有大量分布式存储 QuorumKV 使用这个算法保证一致性 我们对这个算法做了改进 创造性地把数据副本分离出版本编号和数据存到不同设备 其中N 3 数据只有2份 版本编号有3份 在