0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

mysql数据库索引失效的10种场景

科技绿洲 来源:Java技术指北 作者:Java技术指北 2023-10-07 16:31 次阅读

今天就跟大家一起聊聊,mysql数据库索引失效的10种场景,给曾经踩过坑,或者即将要踩坑的朋友们一个参考。图片

1. 准备工作

所谓空口无凭,如果我直接把索引失效的这些场景丢出来,可能没有任何说服力。

所以,我决定建表和造数据,给大家一步步演示效果,尽量做到有理有据。

我相信,如果大家耐心的看完这篇文章,一定会有很多收获的。

1.1 创建user表

创建一张user表,表中包含:idcodeagenameheight字段。

CREATE TABLE `user` (
  `id` int NOT NULL AUTO_INCREMENT,
  `code` varchar(20) COLLATE utf8mb4_bin DEFAULT NULL,
  `age` int DEFAULT '0',
  `name` varchar(30) COLLATE utf8mb4_bin DEFAULT NULL,
  `height` int DEFAULT '0',
  `address` varchar(30) COLLATE utf8mb4_bin DEFAULT NULL,
  PRIMARY KEY (`id`),
  KEY `idx_code_age_name` (`code`,`age`,`name`),
  KEY `idx_height` (`height`)
) ENGINE=InnoDB AUTO_INCREMENT=4 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin

此外,还创建了三个索引:

  • id:数据库的主键
  • idx_code_age_name:由code、age和name三个字段组成的联合索引。
  • idx_height:普通索引

1.2 插入数据

为了方便给大家做演示,我特意向user表中插入了3条数据:

INSERT INTO sue.user (id, code, age, name, height) VALUES (1, '101', 21, '周星驰', 175,'香港');
INSERT INTO sue.user (id, code, age, name, height) VALUES (2, '102', 18, '周杰伦', 173,'台湾');
INSERT INTO sue.user (id, code, age, name, height) VALUES (3, '103', 23, '苏三', 174,'成都');

周星驰和周杰伦是我偶像,在这里自恋了一次,把他们和我放到一起了。哈哈哈。

1.3 查看数据库版本

为了防止以后出现不必要的误会,在这里有必要查一下当前数据库的版本。不说版本就直接给结论,是耍流氓,哈哈哈。

select version();

查出当前的mysql版本号为:8.0.21

1.4 查看执行计划

在mysql中,如果你想查看某条sql语句是否使用了索引,或者已建好的索引是否失效,可以通过explain关键字,查看该sql语句的执行计划,来判断索引使用情况。

例如:

explain select * from user where id=1;

执行结果:图片从图中可以看出,由于id字段是主键,该sql语句用到了主键索引

当然,如果你想更深入的了解explain关键字的用法,可以看看我的另一篇文章《explain | 索引优化的这把绝世好剑,你真的会用吗?》,里面更为详细的介绍。

2. 不满足最左匹配原则

之前我已经给code、age和name这3个字段建好联合索引:idx_code_age_name。

该索引字段的顺序是:

  • code
  • age
  • name

如果在使用联合索引时,没注意最左前缀原则,很有可能导致索引失效喔,不信我们一起往下看。

2.1 哪些情况索引有效?

先看看哪些情况下,能走索引。

explain select * from user
where code='101';
explain select * from user
where code='101' and age=21
explain select * from user
where code='101' and age=21 and name='周星驰';

执行结果:图片上面三种情况,sql都能正常走索引。

其实还有一种比较特殊的场景:

explain select * from user
where code = '101'  and name='周星驰';

执行结果:图片查询条件原本的顺序是:code、age、name,但这里只有code和name中间断层了,掉了age字段,这种情况也能走code字段上的索引。

看到这里,不知道聪明的你,有没有发现这样一个规律:这4条sql中都有code字段,它是索引字段中的第一个字段,也就是最左边的字段。只要有这个字段在,该sql已经就能走索引。

这就是我们所说的最左匹配原则

2.2 哪些情况索引失效?

前面我已经介绍过,建立了联合索引后,在查询条件中有哪些情况索引是有效的。

接下来,我们重点看看哪些情况下索引会失效。

explain select * from user
where age=21;
explain select * from user
where name='周星驰';
explain select * from user
where age=21 and name='周星驰';

执行结果:图片从图中看出这3种情况下索引确实失效了。

说明以上3种情况不满足最左匹配原则,说白了是因为查询条件中,没有包含给定字段最左边的索引字段,即字段code。

3. 使用了select *

在《阿里巴巴开发手册》中明确说过,查询sql中禁止使用select *

那么,你知道为什么吗?

废话不多说,按照国际惯例先上一条sql:

explain 
select * from user where name='苏三';

执行结果:图片在该sql中用了select *,从执行结果看,走了全表扫描,没有用到任何索引,查询效率是非常低的。

如果查询的时候,只查我们真正需要的列,而不查所有列,结果会怎么样?

非常快速的将上面的sql改成只查了code和name列,太easy了:

explain 
select code,name from user 
where name='苏三';

执行结果:图片从图中执行结果不难看出,该sql语句这次走了全索引扫描,比全表扫描效率更高。

其实这里用到了:覆盖索引

如果select语句中的查询列,都是索引列,那么这些列被称为覆盖索引。这种情况下,查询的相关字段都能走索引,索引查询效率相对来说更高一些。

而使用select *查询所有列的数据,大概率会查询非索引列的数据,非索引列不会走索引,查询效率非常低。

4. 索引列上有计算

介绍本章节内容前,先跟大家一起回顾一下,根据id查询数据的sql语句:

explain select * from user where id=1;

执行结果:图片从图中可以看出,由于id字段是主键,该sql语句用到了主键索引

但如果id列上面有计算,比如:

explain select * from user where id+1=2;

执行结果:图片从上图中的执行结果,能够非常清楚的看出,该id字段的主键索引,在有计算的情况下失效了。

5. 索引列用了函数

有时候我们在某条sql语句的查询条件中,需要使用函数,比如:截取某个字段的长度。

假如现在有个需求:想查出所有身高是17开头的人,如果sql语句写成这样:

explain select * from user  where height=17;

该sql语句确实用到了普通索引:图片但该sql语句肯定是有问题的,因为它只能查出身高正好等于17的,但对于174这种情况,它没办法查出来。

为了满足上面的要求,我们需要把sql语句稍稍改造了一下:

explain select * from user  where SUBSTR(height,1,2)=17;

这时需要用到SUBSTR函数,用它截取了height字段的前面两位字符,从第一个字符开始。

执行结果:图片你有没有发现,在使用该函数之后,该sql语句竟然走了全表扫描,索引失效了。

6. 字段类型不同

在sql语句中因为字段类型不同,而导致索引失效的问题,很容易遇到,可能是我们日常工作中最容易忽略的问题。

到底怎么回事呢?

请大家注意观察一下t_user表中的code字段,它是varchar字符类型的。

在sql语句中查询数据时,查询条件我们可以写成这样:

explain 
select * from user where code="101";

执行结果:图片从上图中看到,该code字段走了索引。

温馨提醒一下,查询字符字段时,用双引号和单引号'都可以。

但如果你在写sql时,不小心把引号弄掉了,把sql语句变成了:

explain 
select * from user where code=101;

执行结果:图片你会惊奇的发现,该sql语句竟然变成了全表扫描。因为少写了引号,这种小小的失误,竟然让code字段上的索引失效了。

这时你心里可能有一万个为什么,其中有一个肯定是:为什么索引会失效呢?

答:因为code字段的类型是varchar,而传参的类型是int,两种类型不同。

此外,还有一个有趣的现象,如果int类型的height字段,在查询时加了引号条件,却还可以走索引:

explain select * from user 
where height='175';

执行结果:图片从图中看出该sql语句确实走了索引。int类型的参数,不管在查询时加没加引号,都能走索引。

这是变魔术吗?这不科学呀。

答:mysql发现如果是int类型字段作为查询条件时,它会自动将该字段的传参进行隐式转换,把字符串转换成int类型。

mysql会把上面列子中的字符串175,转换成数字175,所以仍然能走索引。

接下来,看一个更有趣的sql语句:

select 1 + '1';

它的执行结果是2,还是11呢?

好吧,不卖关子了,直接公布答案执行结果是2。

mysql自动把字符串1,转换成了int类型的1,然后变成了:1+1=2。

但如果你确实想拼接字符串该怎么办?

答:可以使用concat关键字。

具体拼接sql如下:

select concat(1,'1');

接下来,关键问题来了:为什么字符串类型的字段,传入了int类型的参数时索引会失效呢?

答:根据mysql官网上解释,字符串'1'、' 1 '、'1a'都能转换成int类型的1,也就是说可能会出现多个字符串,对应一个int类型参数的情况。那么,mysql怎么知道该把int类型的1转换成哪种字符串,用哪个索引快速查值?

感兴趣的小伙伴可以再看看官方文档:https://dev.mysql.com/doc/refman/8.0/en/type-conversion.html

7. like左边包含%

模糊查询,在我们日常的工作中,使用频率还是比较高的。

比如现在有个需求:想查询姓李的同学有哪些?

使用like语句可以很快的实现:

select * from user where name like '李%';

但如果like用的不好,就可能会出现性能问题,因为有时候它的索引会失效。

不信,我们一起往下看。

目前like查询主要有三种情况:

  • like '%a'
  • like 'a%'
  • like '%a%'

假如现在有个需求:想查出所有code是10开头的用户。

这个需求太简单了吧,sql语句如下:

explain select * from user
where code like '10%';

执行结果:图片图中看出这种%10右边时走了索引。

而如果把需求改了:想出现出所有code是1结尾的用户。

查询sql语句改为:

explain select * from user
where code like '%1';

执行结果:图片从图中看出这种%1左边时,code字段上索引失效了,该sql变成了全表扫描。

此外,如果出现以下sql:

explain select * from user
where code like '%1%';

该sql语句的索引也会失效。

下面用一句话总结一下规律:当like语句中的%,出现在查询条件的左边时,索引会失效。

那么,为什么会出现这种现象呢?

答:其实很好理解,索引就像字典中的目录。一般目录是按字母或者拼音从小到大,从左到右排序,是有顺序的。

我们在查目录时,通常会先从左边第一个字母进行匹对,如果相同,再匹对左边第二个字母,如果再相同匹对其他的字母,以此类推。

通过这种方式我们能快速锁定一个具体的目录,或者缩小目录的范围。

但如果你硬要跟目录的设计反着来,先从字典目录右边匹配第一个字母,这画面你可以自行脑补一下,你眼中可能只剩下绝望了,哈哈。

8. 列对比

上面的内容都是常规需求,接下来,来点不一样的。

假如我们现在有这样一个需求:过滤出表中某两列值相同的记录。比如user表中id字段和height字段,查询出这两个字段中值相同的记录。

这个需求很简单,sql可以这样写:

explain select * from user 
where id=height

执行结果:图片意不意外,惊不惊喜?索引失效了。

为什么会出现这种结果?

id字段本身是有主键索引的,同时height字段也建了普通索引的,并且两个字段都是int类型,类型是一样的。

但如果把两个单独建了索引的列,用来做列对比时索引会失效。

感兴趣的朋友可以找我私聊。

9. 使用or关键字

我们平时在写查询sql时,使用or关键字的场景非常多,但如果你稍不注意,就可能让已有的索引失效。

不信一起往下面看。

某天你遇到这样一个需求:想查一下id=1或者height=175的用户。

你三下五除二就把sql写好了:

explain select * from user 
where id=1 or height='175';

执行结果:图片没错,这次确实走了索引,恭喜被你蒙对了,因为刚好id和height字段都建了索引。

但接下来的一个夜黑风高的晚上,需求改了:除了前面的查询条件之后,还想加一个address='成都'。

这还不简单,sql走起:

explain select * from user 
where id=1 or height='175' or address='成都';

执行结果:图片结果悲剧了,之前的索引都失效了。

你可能一脸懵逼,为什么?我做了什么?

答:因为你最后加的address字段没有加索引,从而导致其他字段的索引都失效了。

注意:如果使用了or关键字,那么它前面和后面的字段都要加索引,不然所有的索引都会失效,这是一个大坑。

10. not in和not exists

在我们日常工作中用得也比较多的,还有范围查询,常见的有:

  • in
  • exists
  • not in
  • not exists
  • between and

今天重点聊聊前面四种。

10.1 in关键字

假如我们想查出height在某些范围之内的用户,这时sql语句可以这样写:

explain select * from user
where height in (173,174,175,176);

执行结果:图片从图中可以看出,sql语句中用in关键字是走了索引的。

10.2 exists关键字

有时候使用in关键字时性能不好,这时就能用exists关键字优化sql了,该关键字能达到in关键字相同的效果:

explain select * from user  t1
where  exists (select 1 from user t2 where t2.height=173 and t1.id=t2.id)

执行结果:图片从图中可以看出,用exists关键字同样走了索引。

10.3 not in关键字

上面演示的两个例子是正向的范围,即在某些范围之内。

那么反向的范围,即不在某些范围之内,能走索引不?

话不多说,先看看使用not in的情况:

explain select * from user
where height not in (173,174,175,176);

执行结果:图片你没看错,索引失效了。

看如果现在需求改了:想查一下id不等于1、2、3的用户有哪些,这时sql语句可以改成这样:

explain select * from user
where id  not in (173,174,175,176);

执行结果:图片你可能会惊奇的发现,主键字段中使用not in关键字查询数据范围,任然可以走索引。而普通索引字段使用了not in关键字查询数据范围,索引会失效。

10.4 not exists关键字

除此之外,如果sql语句中使用not exists时,索引也会失效。具体sql语句如下:

explain select * from user  t1
where  not exists (select 1 from user t2 where t2.height=173 and t1.id=t2.id)

执行结果:图片从图中看出sql语句中使用not exists关键后,t1表走了全表扫描,并没有走索引。

11. order by的坑

在sql语句中,对查询结果进行排序是非常常见的需求,一般情况下我们用关键字:order by就能搞定。

但我始终觉得order by挺难用的,它跟where或者limit关键字有很多千丝万缕的联系,一不小心就会出问题。

Let go

11.1 哪些情况走索引?

首先当然要温柔一点,一起看看order by的哪些情况可以走索引。

我之前说过,在code、age和name这3个字段上,已经建了联合索引:idx_code_age_name。

11.1.1 满足最左匹配原则

order by后面的条件,也要遵循联合索引的最左匹配原则。具体有以下sql:

explain select * from user
order by code limit 100;

explain select * from user
order by code,age limit 100;

explain select * from user
order by code,age,name limit 100;

执行结果:图片从图中看出这3条sql都能够正常走索引。

除了遵循最左匹配原则之外,有个非常关键的地方是,后面还是加了limit关键字,如果不加它索引会失效。

11.1.2 配合where一起使用

order by还能配合where一起遵循最左匹配原则。

explain select * from user
where code='101'
order by age;

执行结果:图片code是联合索引的第一个字段,在where中使用了,而age是联合索引的第二个字段,在order by中接着使用。

假如中间断层了,sql语句变成这样,执行结果会是什么呢?

explain select * from user
where code='101'
order by name;

执行结果:图片虽说name是联合索引的第三个字段,但根据最左匹配原则,该sql语句依然能走索引,因为最左边的第一个字段code,在where中使用了。只不过order by的时候,排序效率比较低,需要走一次filesort排序罢了。

11.1.3 相同的排序

order by后面如果包含了联合索引的多个排序字段,只要它们的排序规律是相同的(要么同时升序,要么同时降序),也可以走索引。

具体sql如下:

explain select * from user
order by code desc,age desc limit 100;

执行结果:图片该示例中order by后面的code和age字段都用了降序,所以依然走了索引。

11.1.4 两者都有

如果某个联合索引字段,在where和order by中都有,结果会怎么样?

explain select * from user
where code='101'
order by code, name;

执行结果:图片code字段在where和order by中都有,对于这种情况,从图中的结果看出,还是能走了索引的。

11.2 哪些情况不走索引?

前面介绍的都是正面的用法,是为了让大家更容易接受下面反面的用法。

好了,接下来,重点聊聊order by的哪些情况下不走索引?

11.2.1 没加where或limit

如果order by语句中没有加where或limit关键字,该sql语句将不会走索引。

explain select * from user
order by code, name;

执行结果:图片从图中看出索引真的失效了。

11.2.2 对不同的索引做order by

前面介绍的基本都是联合索引,这一个索引的情况。但如果对多个索引进行order by,结果会怎么样呢?

explain select * from user
order by code, height limit 100;

执行结果:图片从图中看出索引也失效了。

11.2.3 不满足最左匹配原则

前面已经介绍过,order by如果满足最左匹配原则,还是会走索引。下面看看,不满足最左匹配原则的情况:

explain select * from user
order by name limit 100;

执行结果:图片name字段是联合索引的第三个字段,从图中看出如果order by不满足最左匹配原则,确实不会走索引。

11.2.4 不同的排序

前面已经介绍过,如果order by后面有一个联合索引的多个字段,它们具有相同排序规则,那么会走索引。

但如果它们有不同的排序规则呢?

explain select * from user
order by code asc,age desc limit 100;

执行结果:图片从图中看出,尽管order by后面的code和age字段遵循了最左匹配原则,但由于一个字段是用的升序,另一个字段用的降序,最终会导致索引失效。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据库
    +关注

    关注

    7

    文章

    3164

    浏览量

    62842
  • MySQL
    +关注

    关注

    1

    文章

    640

    浏览量

    25680
  • 索引
    +关注

    关注

    0

    文章

    48

    浏览量

    10348
  • select
    +关注

    关注

    0

    文章

    17

    浏览量

    3816
收藏 人收藏

    评论

    相关推荐

    labview有调用mysql数据库问题????

    mysql数据库,请问labview打包成exe安装档,怎么把mysql数据库打包进来,是mysql数据库,不是其他的啊?求高手
    发表于 05-19 16:17

    数据库变快的10方法

    10.使用
    发表于 12-27 17:06

    MySQL数据库使用

    MySQL数据库的简单操作
    发表于 10-24 14:32

    分析一下MySQL数据库与ElasticSearch的实际应用

    MySQL会将这些词汇与对应检索的数据库表的属性进行匹对得出结果集,但如果是“白色的64GB苹果手机”这样的组合词汇,需要得到的结果往往不能检索。因此
    发表于 06-15 17:15

    MySQL数据库索引的底层是怎么实现的

    MySQL目前已经作为绝大数项目的数据库选择。但是经常会需要去处理慢sql导致的各类问题。索引,作为一常见的处理方式。思考两个问题:1.为什么加了索引以后,数据库的查询效率会加
    发表于 07-28 15:30

    MYSQL数据库中大小写敏感是如何控制的

    mysql过程中,可能会遇到类似以下的问题:模糊匹配 jg%,结果以JG开头的字符串也出现在结果集中,大家很自然的认为是大小写敏感的问题。那么mysql中大小写敏感是如何控制的;
    发表于 10-21 14:35

    数据库索引技术应用

    数据库索引技术进行讨论和研究,论述如何准确有效的设置数据库索引,并结合具体的实例对数据库索引技术的应用进行了论述,以期给数据库设计者提供参考。
    发表于 11-04 11:28 26次下载

    什么是MySQL数据库?ASPNET和MySQL数据库的入门简介

    数据库驱动的web站点,那么你可以选择环很多钱的微软SQL SERVER数据库或者选择要花很多时间来寻找达到性能和稳定性统一的ACCESS数据库,但在.NET时代你有另一选择,那就是:
    发表于 11-22 16:20 4次下载

    MySQL数据库如何安装和使用说明

    MySQL数据库开发 基础概念 1.
    的头像 发表于 02-13 16:13 2386次阅读

    一百道关于MySQL索引解答

    数据库 1. MySQL索引使用有哪些注意事项呢? 可以从三个维度回答这个问题:索引哪些情况会失效索引不适合哪些场景索引规则 索引哪些情况会失效 查询条件包含or,可能导致索引失效 如何字
    的头像 发表于 06-13 15:51 1619次阅读

    数据库索引使用策略及优化

    索引背后的机制,那么选择高性能的策略就变成了纯粹的推理,并且可以理解这些策略背后的逻辑。 示例数据库 为了讨论索引策略,需要一个数据量不算小的数据库作为示例。本文选用MySQL官方文档中提供的示例数据库之一:empl
    的头像 发表于 11-02 15:13 1253次阅读
    <b>数据库</b><b>索引</b>使用策略及优化

    华为云数据库-RDS for MySQL数据库

    MySQL)为辅。 MySQL数据库是全球最受欢迎的一种数据库,它是属于 Oracle旗下的一款产品,MySQL是一关系型数据库管理系统,关系数据库数据保存在不同的表中,而不是将所有数据放在一个大
    的头像 发表于 10-27 11:06 737次阅读

    数据库数据恢复】MySQL数据库Delete误删除的数据恢复案例

    MySQL数据库属于关系型数据库。SQL是一用于操作关系型数据库的结构化语言。关系型数据库就是指在关系模型的基础上建立起来的数据库,是一借助了集合代数等一些数学方法和数学概念处理数据数据库
    的头像 发表于 12-07 11:49 2183次阅读
    【<b>数据库</b><b>数据</b>恢复】<b>MySQL</b><b>数据库</b>Delete误删除的<b>数据</b>恢复案例

    有哪些不同的MySQL数据库引擎?

    数据库引擎是MySQL组件,可以处理SQL操作,例如从数据库创建、读取和更新数据MySQL中有两种类型的引擎:事务性和非事务性。
    的头像 发表于 04-03 16:38 646次阅读

    MySQL数据库管理与应用

    MySQL数据库管理与应用 MySQL是一广泛使用的关系型数据库管理系统,被认为是最流行和最常见的开源数据库之一。它可以被用于多种不同的应用程序,包括网站开发、数据分析、游戏开发、物联网等。本文将
    的头像 发表于 08-28 17:15 167次阅读