redis查看某一个key的大小_分析redis key大小的几种方法

2023-05-16

当redis被用作缓存时,有时我们希望了解key的大小分布,或者想知道哪些key占的空间比较大。本文提供了几种方法。

一. bigKeys

这是redis-cli自带的一个命令。对整个redis进行扫描,寻找较大的key。例:

redis-cli -h b.redis -p 1959 --bigkeys

输出

# Scanning the entire keyspace to find biggest keys as well as# average sizes per key type. You can use-i 0.1 to sleep 0.1sec

# per100SCAN commands (not usually needed).

[00.00%] Biggest hash found so far 's_9329222' with 3fields

[00.00%] Biggest string found so far 'url_http://mini.eastday.com/mobile/170722090206890.html?qid=sgllq&ch=east_sogou_push&pushid=13' with 8bytes

[00.00%] Biggest string found so far 'foo' with 40bytes

[00.00%] Biggest hash found so far 's_9329084' with 4fields

[00.23%] Biggest zset found so far 'region_hot_菏泽地' with 625members

[00.23%] Biggest zset found so far 'region_hot_葫芦岛' with 914members

[00.47%] Biggest string found so far 'top_notice_list' with 135193bytes

[00.73%] Biggest zset found so far 'region_hot_自贡' with 2092members

[01.90%] Biggest hash found so far 'uno_facet_2018-12-20' with 59fields

[11.87%] Biggest zset found so far 'region_hot_上海' with 2233members

[27.05%] Biggest set found so far 'blacklist_set_key' with 31832members

[73.87%] Biggest string found so far 'PUSH_NEWS' with 3104237bytes

[86.18%] Biggest zset found so far 'region_hot_北京' with 2688members-------- summary -------Sampled4263 keys in the keyspace!Total key lengthin bytes is 174847 (avg len 41.02)

说明:

该命令使用scan方式对key进行统计,所以使用时无需担心对redis造成阻塞。

输出大概分为两部分,summary之上的部分,只是显示了扫描的过程。summary部分给出了每种数据结构中最大的Key。

统计出的最大key只有string类型是以字节长度为衡量标准的。list,set,zset等都是以元素个数作为衡量标准,不能说明其占的内存就一定多。所以,如果你的Key主要以string类型存在,这种方法就比较适合。

二. debug object key

redis的命令,可以查看某个key序列化后的长度。

例:

连接上redis后执行如下命令

b.redis:1959>hmset myhash k1 v1 k2 v2 k3 v3

OK

b.redis:1959> debug objectmyhash

Value at:0x7f005c6920a0 refcount:1 encoding:ziplist serializedlength:36 lru:3341677 lru_seconds_idle:2

关于输出的项的说明:

Value at:key的内存地址

refcount:引用次数

encoding:编码类型

serializedlength:序列化长度

lru_seconds_idle:空闲时间

几个需要注意的问题

serializedlength是key序列化后的长度(redis在将key保存为rdb文件时使用了该算法),并不是key在内存中的真正长度。这就像一个数组在json_encode后的长度与其在内存中的真正长度并不相同。不过,它侧面反应了一个key的长度,可以用于比较两个key的大小。

serializedlength会对字串做一些可能的压缩。如果有些字串的压缩比特别高,那么在比较时会出现问题。比如下列:

b.redis:1959> set str1 aaaaaaaaaaaaaaaaaaaaaaaaaaaaaa

OK

b.redis:1959> set str2 abcdefghijklmnopqrstuvwxyz1234

OK

b.redis:1959> debug object str1

Value at:0x7f007c035b80 refcount:1 encoding:embstr serializedlength:12 lru:3342615 lru_seconds_idle:13

b.redis:1959> debug object str2

Value at:0x7f00654df400 refcount:1 encoding:embstr serializedlength:31 lru:3342622 lru_seconds_idle:7

两个字串的实际长度都是30, 但str1的serializedlength为12, str2的为31。

redis的官方文档不是特别建议在客户端使用该命令,可能因为计算serializedlength的代价相对高。所以如果要统计的key比较多,就不适合这种方法。

三. redis rdb tools

这是一个redis rdb file的分析工具,可以根据rdb file生成内存报告。

3.1 安装

需要python2.4以上版本和pip。

pip install rdbtools

3.2 生成内存报告

首先我们需要有一份rdb文件,如果你在配置中开启了rdb,那么redis会自动生成rdb文件。如果没有,可以手动执行bgsave。如果是线上机器,执行时要考虑机器负载等问题。拿到rdb文件后,我们就可以生成内存报告了。命令如下:

rdb -c memory file

例:

rdb -c memory /tmp/dump.rdb

database,type,key,size_in_bytes,encoding,num_elements,len_largest_element,expiry

0,hash,data:index_flow_yingshi,10492,hashtable,1,8992,2019-01-14T08:20:10.236000

0,hash,data:index_movie,22068,hashtable,7,2896,2019-01-14T07:29:19.685000

0,string,block:index_module_novel,8296,string,7694,7694,2019-01-13T00:27:46.128000

0,string,block:index_bottom_baike_aikan,8296,string,7632,7632,2019-01-14T02:27:11.850000

0,string,block:index_bottom_tools,5224,string,4549,4549,2019-01-13T01:02:09.171000

0,string,block:index_module_travel,7272,string,6408,6408,2019-01-13T00:43:39.478000

...

输出了db,数据类型,key, 大小, 编码等多列信息。至于分析数据,你可以用shell,也可以保存成csv用excel排序,或者干脆存到db里,想怎么排怎么排。

如果只要知道最大的N个key, 可以使用-l选项。例:

[@sjs_73_171 ~]$ rdb -c memory -l 3 /tmp/dump.rdb

database,type,key,size_in_bytes,encoding,num_elements,len_largest_element,expiry

0,hash,city_tong,724236,hashtable,3113,216,2019-01-14T01:10:59.407000

0,hash,iplocsearch,406292,hashtable,383,180190,2019-01-30T05:37:56.082000

0,hash,weather_tong3,583844,hashtable,319,1658,2019-01-07T10:22:33.742000

3.3 查看单个key

如果我们只需要查询单个key所使用的内存可以不必依赖rdb file, 使用redis-memory-for-key命令即可。

例:

[@sjs_73_171 WEB-INF]$ redis-memory-for-key -s b.redis -p 1959 myhash

Key myhash

Bytes 83

Type hash

Encoding ziplist

Number of Elements 3

Length of Largest Element 2

[@sjs_73_171 WEB-INF]$ redis-memory-for-key -s b.redis -p 1959 str1

Key str1

Bytes 80

Type string

[@sjs_73_171 WEB-INF]$ redis-memory-for-key -s b.redis -p 1959 str2

Key str2

Bytes 80

Type string

3.4 更多

工具得出的内存值为近似值,这点可以参看作者的说明。“Why doesn’t reported memory match actual memory used?”

工具通过分析rdb file中的key及value,反算出该kv在内存中的大小。计算时充分考虑了数据类型的影响,key本身长度的影响,内存分配等多种因素。虽然得出的大小不是真实值,但用于key大小的比较是完全可以的。

rdb的功能不仅于此,它还可以将kv导成json格式,也可以按正则表达式只导出部分key,

更多使用方法可以查看

rdb --help

也可以查看git上的帮助文档。

四. 总结

如果想粗略的看下最大key, 可以使用bigKeys。

如果查询的key不多,key的压缩比又没有明显差异,可以使用debug object key。

如果不介意安装个工具,那么redis rdb tools似乎是最佳选择。

github地址:

https://github.com/sripathikrishnan/redis-rdb-tools

参考地址:

https://blog.csdn.net/yanyan19880509/article/details/79325191

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

redis查看某一个key的大小_分析redis key大小的几种方法 的相关文章

  • abp 打包部署到ubuntu_如何在Ubuntu中安装Docker和运行 Docker容器

    Docker是一种开源且流行的操作系统级虚拟化 俗称 容器化 技术 xff0c 主要在Linux和Windows上运行 Docker使用容器可以更轻松地创建 xff0c 部署和运行应用程序 使用容器 xff0c 开发人员 和系统管理员 可以
  • 一个按钮提交两个form表单_【第1535期】前端 Form 的表单的一个通用解决方案

    前言 今日早读文章由阿里 64 布达投稿分享 64 布达 xff0c Alibaba Fusion项目组的 花名潕量 主要专注在设计系统 组件 可视化搭建这个领域 正文从这开始 xff5e xff5e Fusion Next Form 表单
  • ROS报错备忘:IOError: [Errno 13] Permission denied: '/home/lishuwei/.ros/roscore-11311.pid'

    1 roscore启动出差 IOError Errno 13 Permission denied 39 home lishuwei ros roscore 11311 pid 39 解决 xff1a 这个问题是由于该路径下ros文件权限造成
  • c语言实践-图像缩放

    简单代码实现 xff1a include lt stdio h gt include lt stdlib h gt include lt memory h gt define HEIGHT 1080 define WIDTH 1440 in
  • ros-melodic-docker安装和使用

    本人小白一个 xff0c 为了简单使用镜像 xff0c 简化操作 xff0c 参考泡泡机器人基础上 xff0c 搞了一些操作 xff0c 欢迎大佬来指出错误 xff0c 优化方案 xff0c 也可以提需求哈哈哈 构建docker镜像 xff
  • 一个完整的Windows驱动程序示例(应用与内核通信)

    驱动程序DriverEntry c span class token macro property span class token directive keyword include span span class token strin
  • 密码认证-SHA加盐密码

    密码认证 xff0c 首先是密码加密算法 xff0c 然后密码咋存储 xff0c 如图所示 密码加密分为不可加密和可逆加密算法 安全存储策略 xff0c 有明文保存和加盐保存 xff0c 明文保持容易导致密码丢失 xff0c 一般采用加盐密
  • c++/c-获取随机长度的字符串

    实现跨平台的实现随机长度的字符串获取 xff0c 两种方法 xff1a 随机字符串实现1 xff1a std random device rd std mt19937 generator rd std string get uuid int
  • Linux-常用软件源整理

    目录 1 ubuntu软件源 2 Centos软件源 1 ubuntu软件源 步骤1 xff1a 打开 etc apt sources list sudo gedit etc apt sources list 步骤2 xff1a 在文件中添
  • 机器人专业需要学习那些理论知识

    专业与产业 我认为 xff0c 机器人是一门应用性比较强的专业 xff0c 如果脱离应用背景 xff0c 那么就不容易理解和把握机器人的发展 所以我开篇先不谈 专业 而要谈 产业 xff0c 专业 和 产业 一字之差 xff0c 它们有什么
  • 机器人控制算法

    工业机器人的算法分为感知算法和控制算法 xff0c 更进一步细分为环境感知算法 xff0c 路径规划和行为决策算法 xff08 ai xff0c 运动控制算法 xff0c 后两个也可以统称为控制算法 环境感知算法获取环境各种数据 机器人视觉
  • Windows的active工具

    链接 https pan baidu com s 1gjp 67E3y4Vj3a8s n8dOA 提取码 u4ny 软件解压 xff0c 右键管理员运行Activation cmd 确认是否永久active xff0c 可以在命令提示符执行
  • Bundle Adjustment简述

    转载https blog csdn net OptSolution article details 64442962 在SFM xff08 structure from motion xff09 的计算中BA xff08 Bundle Ad
  • 基于ROS平台的STM32小车-2-小车底盘控制

    本博文将介绍小车底盘控制的原理 xff0c 如PID控制 xff0c 控制程序的编写等 小车控制思想 控制电机转动 电机的控制我们分为两部分 xff0c 一部分为电机转动方向的控制 xff0c 另一个为电机转速的控制 电机转动的方向我们用两
  • Pangolin 安装及其使用

    Pangolin是对OpenGL进行封装的轻量级的OpenGL输入 输出和视频显示的库 可以用于3D视觉和3D导航的视觉图 xff0c 可以输入各种类型的视频 并且可以保留视频和输入数据用于debug 安装 安装的链接是Pangolin的地
  • KPI异常检测

    异常 xff1a 预期值与真实值有很大的差异 统计的方法 3 sigma 刻画异常的程度 xff0c 数据需要接近高斯分布 xff0c 如果不是可以通过高斯分布或者tan变换 可以先看一下数据分布图 xff0c 看一下数据的分布情况 box
  • 如何干掉那又丑又长的switch..case语句

    1 前言 在实际的编程中 xff0c 我们经常会使用到switch case语句 xff0c 这通常也是对一长串if else if语句的优化 对于一些简单的情况 xff08 只每个case代码中代码长度不会很长 xff0c 而且case分
  • 编译安装Openvins过程中遇到的问题

    openvins的编译是依赖opencv contrib库的 xff0c 需要重新下载编译安装opencv xff0c opencv和opencv contrib的版本要对应一致 遇到问题的解决方法参考如下链接 xff1a https bl
  • docker镜像启动后端口号是多少_RSS、智能家居、个人博客、维基百科……Docker 入门指南...

    如果你购买过 VPS 云主机 xff0c 那么或多或少 xff0c 你都可能听说过 Docker 如果你从未听说过 Docker xff0c 那么本文可能能够为你开启新世界 利用 Docker xff0c 你能够非常轻松地部署各类服务 xf
  • linux can接收数据出错,CAN为什么会发送失败

    CAN总线调试过程中出现报文发送失败 xff0c 很多工程师都对此只知其一不知其二 xff0c 这里就CAN报文发送失败的问题我们来做一次探讨 在了解CAN报文为什么会发送失败之前我们先看看一条正确的CAN报文到底应该是怎么样的 xff0c

随机推荐