一个简单的Mysql查询

2023-11-05

最近工作上遇到一个“神奇”的问题,或许对大家有帮助,因此形成本文。

问题大概是,我有两个表 TableA,TableB,其中 TableA 表大概百万行级别(存量业务数据),TableB 表几行(新业务场景,数据还未膨胀起来)。

image

语义上 TableA.columnA=TableB.columnA,其中 columnA 上建立了索引,但查询的时候确巨慢无比,基本上到 5-6 秒,明显跟预期不符合。

下面我以一个具体的例子来说明,模拟其中的 SQL 查询场景。

场景重现
user_info 表,为了场景尽量简单,我只 mock 了其中的三列数据。user_score 表,其中 uid 和 user_info.uid 语义一致。

 

image.png

其中数据情况如下, 都是很常见的场景:

 

image.png

索引情况如下图:

 

image.png

查询业务场景:已知 user_score.id,需要关联查询对应 user_info 的信息,(大家先忽略这个具体业务场景是否合理哈)。

那么对应的 SQL 很自然的如下:

 

image.png

请忽略其中的数据,我刚开始 mock 了 100W,然后又重复导入了两遍,因此数据有一些重复。

300W 数据,最后查询出来也是 1.18 秒,按道理应该更快的,老规矩 explain 看看啥情况?

 

image.png

发现 user_info 表没用上索引,全表扫描近 300W 数据?现象是这样,为什么呢?

你不妨思考一下,如果你遇到这种场景,应该怎么去排查?

image.png

我当时也是“一顿操作猛如虎”,然并卵?尝试了什么多种 SQL 写法来完成这个操作。

比如更换 Join 表的顺序(驱动表/被驱动表),再比如用子查询。最终,还是没有结果。但直接单表查询写 SQL 确能用上索引。

 

image.png

问题解决
尝试更换检索条件,比如更换 uid 直接关联查询,索引仍然用不上,差点放弃了都。

 

 

在准备求助 DBA 前,我看了下表的建表语句:

image.png

完全有理由怀疑因为字符集不一致的问题导致索引失效的问题。

于是修改了小表(真实线上环境可别乱操作)的字符集与大表一致,再测试下:

 

mysql> select * from user_score us
    -> inner join user_info ui on us.uid = ui.uid
    -> where us.id = 5;
+----+-----------+-------+---------+-----------+---------+
| id | uid       | score | id      | uid       | name    |
+----+-----------+-------+---------+-----------+---------+
|  5 | 111111111 |   100 |       1 | 111111111 | tanglei |
|  5 | 111111111 |   100 | 3685399 | 111111111 | tanglei |
|  5 | 111111111 |   100 | 3685400 | 111111111 | tanglei |
|  5 | 111111111 |   100 | 3685401 | 111111111 | tanglei |
|  5 | 111111111 |   100 | 3685402 | 111111111 | tanglei |
|  5 | 111111111 |   100 | 3685403 | 111111111 | tanglei |
+----+-----------+-------+---------+-----------+---------+
6 rows in set (0.00 sec)

mysql> explain
    -> select * from user_score us
    -> inner join user_info ui on us.uid = ui.uid
    -> where us.id = 5;
+----+-------------+-------+-------+-------------------+-----------+---------+-------+------+-------+
| id | select_type | table | type  | possible_keys     | key       | key_len | ref   | rows | Extra |
+----+-------------+-------+-------+-------------------+-----------+---------+-------+------+-------+
|  1 | SIMPLE      | us    | const | PRIMARY,index_uid | PRIMARY   | 4       | const |    1 | NULL  |
|  1 | SIMPLE      | ui    | ref   | index_uid         | index_uid | 194     | const |    6 | NULL  |
+----+-------------+-------+-------+-------------------+-----------+---------+-------+------+-------+
2 rows in set (0.00 sec)

果然 Work 了。

挖掘根因
其实深究原因,就是网上各种 MySQL 军规/规约所提到的, “索引列不要参与计算”。

这次这个 case,如果知道 explain extended+show warnings 这个工具的话,(以前都不知道 explain 后面还能加 extended 参数),可能就尽早“恍然大悟”了。(最新的 MySQL 8.0 版本貌似不需要另外加这个关键字)

看下效果:(啊,我还得把字符集改回去)

 

mysql> explain extended select * from user_score us  inner join user_info ui on us.uid = ui.uid where us.id = 5;
+----+-------------+-------+-------+-------------------+---------+---------+-------+---------+----------+-------------+
| id | select_type | table | type  | possible_keys     | key     | key_len | ref   | rows    | filtered | Extra       |
+----+-------------+-------+-------+-------------------+---------+---------+-------+---------+----------+-------------+
|  1 | SIMPLE      | us    | const | PRIMARY,index_uid | PRIMARY | 4       | const |       1 |   100.00 | NULL        |
|  1 | SIMPLE      | ui    | ALL   | NULL              | NULL    | NULL    | NULL  | 2989934 |   100.00 | Using where |
+----+-------------+-------+-------+-------------------+---------+---------+-------+---------+----------+-------------+
2 rows in set, 1 warning (0.00 sec)
mysql> show warnings;
+-------+------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| Level | Code | Message                                                                                                                                                                                                                                                                              |
+-------+------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| Note  | 1003 | /* select#1 */ select '5' AS `id`,'111111111' AS `uid`,'100' AS `score`,`test`.`ui`.`id` AS `id`,`test`.`ui`.`uid` AS `uid`,`test`.`ui`.`name` AS `name` from `test`.`user_score` `us` join `test`.`user_info` `ui` where (('111111111' = convert(`test`.`ui`.`uid` using utf8mb4))) |
+-------+------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1 row in set (0.00 sec)

索引列参与计算了,每次都要根据字符集去转换,全表扫描,你说能快得起来么?

至于这个问题为什么会发生?综合来看,就是因为历史原因,老业务场景中的原表是假 utf8,新业务新表采用了真 utf8mb4。

①考虑新表的时候,忽略和原库字符集的比较。其实,发现库里面的不同表可能都有不同的字符集,不同人建的时候可能都依据个人喜好去选择了不同的字符集。由此可见,开发规范有多重要。

②虽然知道索引列不能参与计算,但这个场景下都是相同的类型,varchar(64) 最终查询过程中仍然发生了类型转换。因此需要把字段字符集不一致等同于字段类型不一致。

③如果这个 case,利用 fail-fast 的理念的话,发现不一致,直接不让 join 会不会更好?(就像 char v.s varchar 不能 join 一样)

说明:本文测试场景基于 MySQL 5.6,另外,本文案例只是为了说明问题,其中的 SQL 并不规范(例如尽量别用 select * 之类的),请勿模仿(模仿了我也不负责)。

最后留一个思考题供讨论,欢迎留言说出你的看法。

你能解释如下情况吗?查询结果表现为何不一致?注意一下 SQL 的执行顺序,查询优化器工作流程,以及其中的 Using join buffer(Block Nested Loop)。

可以多看看 MySQL 官方手册深入了解背后的过程和原理:

 

https://dev.mysql.com/doc/refman/5.6/en/

 

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

一个简单的Mysql查询 的相关文章

  • 在 PHP 字符串中格式化 MySQL 代码

    是否有任何程序 IDE 可以在 PHP 字符串中格式化 MySQL 代码 例如 我使用 PHPStorm IDE 但它无法做到这一点 它对 PHP 和 MYSQL 执行此操作 但不适用于 php 字符串内的 MYSQL 我已准备好使用新的
  • 如何修改现有表以添加时区

    我有一个包含 500 多个表的大型应用程序 我必须将应用程序转换为时区感知 当前应用程序使用new java util Date GETDATE 与服务器的时区 即没有任何时区支持 我已将这项任务分为几个步骤 以便于开发 我确定的第一个步骤
  • 在mysql中的单个查询中更新多个表

    我有三个查询 我想要一个 这是我的查询 UPDATE tab1 SET a WHERE id 3 UPDATE tab2 SET b WHERE id 9 UPDATE tab3 SET c WHERE id 5 您可以尝试下面的代码 UP
  • 仅当值发生更改时如何插入数据库?

    我需要更新 替换 MySQL 数据库中的字段 但前提是它们已更改 该表包含 ID 文本字段和更改日期 用户根据更改日期通过 ID 查询数据 即 如果该日期早于用户上次查询数据的时间 则他不想要它 仅当文本字段与具有相同 ID 的现有文本字段
  • Galera 集群问题

    我想在我们的生产环境中使用Galera集群 但我有一些顾虑 每个表必须至少定义一个显式主键 每个表必须运行在InnoDB或XtraDB存储引擎下 分批处理您的大额交易 例如 不要让一个事务插入 100 000 行 而是将其分成更小的块 例如
  • 海量记录的bulk_create最佳实践

    I use bulk create将 1 mio 记录插入到新表中 需要 80 秒 Django 只使用一个 CPU 核心 大约 25 CPU 但没有一个核心达到 100 我相信有改进的潜力 这是代码 class Stock models
  • 如何在mysql中选择具有相同值集的列?

    我的桌子是 patients pid name city disease did dname has disease did pid 我想列出具有相同疾病组的患者 pid 和 did 分别是患者和疾病表中的主键 并且是 has diseas
  • 如何在 MySQL 中求和时间?

    正如您在图片中看到的 我有一份停机报告 显示了所选工厂在选定日期的停机时间 现在我想添加所有的值 Time Duration 列并将其显示在附近的单独显示中 TOTAL TIME DURATION 例如 在图像中 所选日期为 2015 年
  • covertJSONtoSQL 在 NiFi 中返回空值

    我正在设计一项工作 使用以下命令将数据从 MySQL 中的数据库转移到另一个数据库 MySQL 执行SQL处理器随后将Avro转换为Json then 将Json转换为SQL then PutSQL如下流程图所示 将JSON转换为SQL返回
  • 即使没有结果也返回一个值

    我有这种简单的查询 它返回给定 id 的非空整数字段 SELECT field1 FROM table WHERE id 123 LIMIT 1 问题是如果找不到 id 结果集就是空的 我需要查询始终返回一个值 即使没有结果 我有这个东西工
  • PHP MYSQL文件内容转义问题

    我正在尝试使用 php 将 pdf 文件上传到 mysql 数据库中 除了文件内容之外 一切都很好 无论我如何尝试转义特殊字符 查询总是失败 主要是 未知命令 n 我使用过addslashes mysql real escape strin
  • libmysqlclient.a 和 libmysqlclient_r.a 有什么区别?

    我应该使用哪个来链接 mysqlclient 库 它们之间有什么区别 我似乎找不到答案 谢谢 较新版本的 MySQL 客户端发行版不包含 r 版本 有些可能有从 libmyqslclient r a 到 libmyqslclient a 的
  • 非常大的字段会对 MySQL 数据库产生负面影响吗?

    我目前正在使用 Django 构建一个网站 并希望托管用户生物样式页面 该页面可能长达几 KB 这些字段不一定需要搜索 但在查找用户名时确实需要提供 将这些数据存储在数据库中会产生负面影响吗 如果我使用带有数据库链接的静态文本文件 我的服务
  • MySQL中如何声明变量?

    如何在mysql中声明一个变量 以便我的第二个查询可以使用它 我想写一些类似的东西 SET start 1 SET finish 10 SELECT FROM places WHERE place BETWEEN start AND fin
  • 如何从批量数据中的mysql列中删除所有非数字字符

    我想从列中删除所有非数字字符 我的数据库中有大量数据 目前我正在使用以下链接中描述的方法 http venerableagents wordpress com 2011 01 29 mysql numeric functions http
  • PHP MySql 百分比

    我的问题是关于百分比 我不是专家 所以我会尽力以更好的方式进行解释 我的 mysql 服务器中有一个表 假设有 700 条记录 如下所示 Name country language Birth Lucy UK EN 1980 Mari Ca
  • MySQL/PDO::quote() 尽管使用 PDO::PARAM_INT 参数,但仍在整数周围加上引号

    无论我传递给什么值 数据类型对 它都会出现 pdo gt quote value type 它总是将其引用为字符串 echo pdo gt quote foo PDO PARAM STR foo as expected echo pdo g
  • 删除行导致锁超时

    当我尝试从表中删除行时 我不断收到这些错误 这里的特殊情况是我可能同时运行5个进程 该表本身是一个 Innodb 表 约有 450 万行 我的 WHERE 子句中使用的列没有索引 其他指数按预期运行 这是在事务中完成的 首先删除记录 然后插
  • MYSQL从每个类别中随机选择一条记录

    我有一个数据库Items表看起来像这样 id name category int 有几十万条记录 每个item可以是 7 种不同的之一categories 对应于categories table id category 我想要一个从每个类别
  • 通过触发器应用表的列权限

    现在 我有一个名为 Members 的表 其中包含内容 分为联系人数据 银行数据 现在 管理员应该能够创建 更新 删除用户 这些用户保存在另一个表中 该表只能访问管理员 用户应该获得自己的 mysql 用户帐户 管理员还应该能够设置权限 例

随机推荐

  • grafana改用https登录

    grafana添加HTTPS证书 安装 openssl yum install y openssl 创建 certificates openssl req x509 out server crt keyout server key newk
  • mysql--排序

    在项目开发时 为了使查询的数据结果满足用户的要求 通常会对查询出的数据进行上升或下降的排序 MySQL针对不同的开发需求提供两种排序的方式 分别为单字段排序和多字段排序 接下来将对这两种排序方式的语法及使用进行详细讲解 1 单字段排序 单字
  • Android 7.0新特性总结

    2016年8月22日 谷歌正式推送Android 7 0 Nougat 牛轧糖 正式版 他们还会三个月一次推送开发版 而曝光的消息看 第一个开发版就是Android 7 1 Android N主要新增了以下的新特性和优化 一 新的Notif
  • LeetCode_433. 最小基因变化

    题目链接 力扣 这道题是一道经典的BFS题型 我觉得可能会踩坑导致不能一次AC的地方有两处 一是bankSize可能为0 那么我们开辟一个记录数组的时候会报错 二是题目所说的 起始基因序列 start 默认是有效的 但是它并不一定会出现在基
  • java 多线程 总结三

    本文转载至 http blog csdn net vking wang article details 9952063 1 synchronized 把代码块声明为 synchronized 有两个重要后果 通常是指该代码具有 原子性 at
  • MYSQL--基础--06--delete删除数据,磁盘空间未释放的解决办法

    MYSQL 基础 06 delete删除数据 磁盘空间未释放的解决办法 1 原因 使用delete删除数据 不会把数据文件删除 而是将数据文件的标识位删除 因此会留下数据碎片 当有新数据写入的时候 mysql会利用这些已删除的空间再写入 如
  • MIPI D-PHY TX 一致性测试实例解析 Part 02

    如果测过1 3 x 并对这组测试的细节已经熟悉的前提下 1 4 x的测试将会变得轻松 因为几乎相同的测试项被用于时钟通道的数据测量 因此 接下来 仅着重对其中的不同点进行讨论 由于小编的工程应用中 不需要时钟工作于LP模式 因此 本章节中部
  • 点云文件的格式转换:ply转pcd,pcd转pth,查看pth格式文件

    1 ply格式转pcd格式 import open3d as o3d def convert ply to pcd ply file pcd file 读取PLY文件 point cloud o3d io read point cloud
  • jdk-jmap命令

    jmap命令详解 jmap是JVM自带的堆内存转储 heap dump 生成工具 可以用来分析某JVM进程的堆内存占用 以及所有对象的概况 其用法说明如下所示 heap 打印堆配置信息和使用概况 在Heap Configuration一节
  • 努比亚Z11系统服务器选择,努比亚Z11系统升级,赶紧来感受一下脱胎换骨的流畅感...

    原标题 努比亚Z11系统升级 赶紧来感受一下脱胎换骨的流畅感 苹果正式发布了新系统后 可当满心欢喜的果粉们在升级系统后却发现新系统中存在各式花样漏洞与BUG 而且最无法忍受的是老旧型在更新系统之后手机续航能力急速下滑 相信每个人都收到系统推
  • Kconfig内容(详细)总结附示例快速掌握

    目录 一 简介 二 内容解析 2 1 menuconfig 2 2 choice endchoice 2 3 comment 2 4 menu endmunu 2 5 if endif 2 6 source 2 7 mainmenu 2 8
  • shell 中进行算术计算的各种方法

    shell中 无法直接进行算术运算 如果直接进行算术运算会出现如下情况 1 shell中进行算术运算的各种方法 默认情况下 shell不会直接进行算术运算 而是把 算术符号 当做 字符串 与两个变量的值连接在了一起 形成了一个新的字符串 那
  • 病虫害模型算法_AI识别病虫害 在线诊断“疑难杂症”

    来源 经济日报 中国经济网 我们的产品 识农 将人工智能技术应用于农作物病虫害的诊断 识别率能达到90 以上 近日 深圳市识农智能科技有限公司CEO谢秋发在接受经济日报 中国经济网采访时表示 谢秋发介绍说 目前我们主要是聚焦于柑橘 葡萄 苹
  • [Ubuntu] [Qt] Ubuntu安装并配置Qt5.15.2环境

    1 通过清华源下载qt镜像包 官网太慢了 新版本都只能在线安装 https mirrors tuna tsinghua edu cn qt official releases online installers qt unified lin
  • mysql5.7.24-win32安装及配置

    一 Mysql安装 安装包mysql 5 7 24 win32 zip 解压该安装包 将解压后的文件夹mysql 5 7 24 win32放到C盘根目录下 置mysql环境变量 系统变量 新建 变量名为MYSQL HOME 变量值为C my
  • java无重复字符的最长子串

    给定一个字符串 s 请你找出其中不含有重复字符的 最长子串 的长度 示例 1 输入 s abcabcbb 输出 3 解释 因为无重复字符的最长子串是 abc 所以其长度为 3 示例 2 输入 s bbbbb 输出 1 解释 因为无重复字符的
  • 如何用java实现增删改查

    使用Java实现增删改查操作需要连接数据库 例如使用JDBC或者其他ORM框架 下面是一个简单的例子 展示如何使用Java和JDBC进行增删改查操作 导入JDBC驱动程序 在Java项目中 需要将相应的JDBC驱动程序添加到项目的依赖中 建
  • qt-两个界面传值交互

    一 说明 A 子界面 B 主界面 实现A往B传值 B显示 二 利用emit和slot实现 2 1 对A h 添加声明 signals void sendData QString 用来传递数据的信号 2 2在A cpp中适当位置将数据进行发射
  • JDK1.8和JDK8是同一个版本吗?

    是的 JDK1 8和JDK8是同一个版本 最开始 命名为 JDK1 JDK2 后来就 命名为 JDK1 7 JDK1 8 Java Development Kit JDK 是Sun公司 已被Oracle收购 针对Java开发员的软件开发工具
  • 一个简单的Mysql查询

    最近工作上遇到一个 神奇 的问题 或许对大家有帮助 因此形成本文 问题大概是 我有两个表 TableA TableB 其中 TableA 表大概百万行级别 存量业务数据 TableB 表几行 新业务场景 数据还未膨胀起来 image 语义上