redis缓存击穿 缓存雪崩_redis雪崩和穿透、击穿的解决方法

redis缓存击穿 缓存雪崩_redis雪崩和穿透、击穿的解决方法图解缓存击穿、缓存穿透、缓存雪崩的区别在实际开发中会面临的缓存异常可能会出现三个问题,分别是缓存雪崩、缓存击穿和缓存穿透。这三个问题会导致大量请求从缓存转移到数据库,如果请求的并发量很大的话,就会导致数据库崩溃。那么,我们应该

图解缓存击穿、缓存穿透、缓存雪崩的区别

在实际开发中会面临的缓存异常可能会出现三个问题,分别是缓存雪崩、缓存击穿和缓存穿透。这三个问题会导致大量请求从缓存转移到数据库,如果请求的并发量很大的话,就会导致数据库崩溃。那么,我们应该如何来应对呢?

下面就针对每种情况,提供相应的解决方案。

缓存穿透

指查询一个数据库一定不存在的数据。

redis缓存击穿 缓存雪崩_redis雪崩和穿透、击穿的解决方法

正常的使用缓存流程大致是,数据查询先进行缓存查询,如果key不存在或者key已经过期,再对数据库进行查询,并把查询到的对象,放进缓存。如果数据库查询对象为空,则不放进缓存。

假如有恶意攻击,就可以利用这个漏洞,对数据库造成压力,甚至压垮数据库。

解决办法

缓存空对象

  1. 如果数据库查询对象为空,就缓存空对象,再次访问这个数据,就会从缓存中,以此保护后端数据源。

如果缓存NULL,是做无用功,还是会造成缓存穿透。

缓存空对象遇到的两个问题:

1、 如果是网络恶意攻击(每次key不一样,且数据库不存在),缓存占用了更多的内存。

解决方案:

缓存空对象要考虑到缓存时间的设置。这时候设置一个较短的过期时间(通常设定的缓存过期为60秒),就会自动剔除这些键。

  1. 如果过期时间设置的过大,数据库在此期间正好添加了该数据,就会出现数据不一致场景。

解决方案:

通过消息系统或者其它方式来清除缓存中的空对象。

使用布隆过滤器

布隆过滤器由一个初值都为0的bit数组和N个哈希函数组成,可以用来快速判断某个数据是否存在。当数据写入数据库时,布隆过滤器会通过三个操作完成标记:

  • 使用N个hash函数,分别计算这个数据的hash值,得到N个hash值。
  • 把这N个hash值对bit数组的长度取模,得到每个hash值在数组中对位置。
  • 把对应位置设置为1。如果数据不存在,那么就没用使用布隆过滤器标记过数据,那么,bit数组对应的bit位为零。只要bit数组有一个不为1,就表明布隆过滤器就没标记过该数据。
  • 把数据写入数据库时,使用布隆过滤器做标记.
  • 当缓存消失后,在去数据库查询之前,通过查询布隆过滤器判断数据是否存在,如果不存在,就不查询数据库。

请求入库添加检测

把恶意请求(参数不合理、参数非法、参数不存在或者id小于0)直接过滤掉。

缓存击穿

是指一个key非常热点,在不停的扛着大并发,大并发集中对这一个点进行访问,当这个key在失效的瞬间,持续的大并发就穿破缓存,直接请求数据库,就像在一个屏障上凿开了一个洞。

redis缓存击穿 缓存雪崩_redis雪崩和穿透、击穿的解决方法

解决方法

设置热点数据永远不过期

从redis上看,确实没有设置过期时间,这就保证了,不会出现热点key过期问题,也就是“物理”不过期。

从功能上看,如果不过期,那不就成静态的了吗?所以我们把过期时间存在key对应的value里,如果发现要过期了,通过一个后台的异步线程进行缓存的构建。

redis缓存击穿 缓存雪崩_redis雪崩和穿透、击穿的解决方法

从实战上看,这种方法对于性能非常友好,唯一不足的就是构建缓存时候,其余线程(非构建缓存的线程)可能访问的是老数据,但是对于一般的互联网功能来说这个还是可以忍受。

加互斥锁(mutex key)

大体思路就是只让一个线程构建缓存,其他线程等待构建缓存的线程执行完,重新从缓存数据就可以了,如下图所示。

redis缓存击穿 缓存雪崩_redis雪崩和穿透、击穿的解决方法

大道至简,通常情况下,设置热点数据永远不过期就好了,互斥锁(mutex key)真心用不上。

缓存雪崩

指在某一个时间段,缓存集中过期失效。

redis缓存击穿 缓存雪崩_redis雪崩和穿透、击穿的解决方法

当某一个时刻出现大规模的缓存失效的情况,那么就会导致大量的请求直接打在数据库上面,导致数据库压力巨大,如果在高并发的情况下,可能瞬间就会导致数据库宕机。这时候如果运维马上又重启数据库,马上又会有新的流量把数据库打死。这就是缓存雪崩。

造成缓存雪崩的原因是什么?

造成缓存雪崩的关键在于在同一时间大规模的key失效。

为什么会出现这个问题呢,有下面几种可能:

  • 第一种可能是Redis宕机,
  • 第二种可能是采用了相同的过期时间。

解决方法

过期时间设置随机值

在原有的失效时间上加上一个随机值,比如,1-5分钟随机。这样就避免了同一时间大量数据过期现象的发生而导致缓存雪崩。

分布式部署且均匀分布热点数据

如果缓存数据库是分布式部署,将热点数据均匀分布在不同搞得缓存数据库中。同时,分布式集群可以防止Redis宕机导致缓存雪崩的问题。

热点数据永不过期

设置热点数据永远不过期。

缓存雪崩的兜底措施

如果真的发生了缓存雪崩,有没有什么兜底的措施?

1、使用熔断机制。当流量到达一定的阈值时,就直接返回“系统拥挤”之类的提示,防止过多的请求打在数据库上。至少能保证一部分用户是可以正常使用,其他用户多刷新几次也能得到结果。

redis缓存击穿 缓存雪崩_redis雪崩和穿透、击穿的解决方法

redis缓存击穿 缓存雪崩_redis雪崩和穿透、击穿的解决方法

2、提高数据库的容灾能力,可以使用分库分表,读写分离的策略。

举例说明

比如,针对电商项目,一般是采取不同分类商品,缓存不同周期。

在同一分类中的商品,加上一个随机因子。这样能尽可能分散缓存过期时间, 而且,热门类目的商品缓存时间长一些,冷门类目的商品缓存时间短一些,也能节省缓存服务的资源。

其实集中过期,倒不是非常致命,比较致命的缓存雪崩,是缓存服务器某个节点宕机或断网。

因为自然形成的缓存雪崩,一定是在某个时间段集中创建缓存,那么那个时候数据库能顶住压力,这个时候,数据库也是可以顶住压力的。无非就是对数据库产生周期性的压力而已。

而如果因为缓存服务节点的宕机,对数据库服务器造成的压力是不可预知的,很有可能瞬间就把数据库压垮。

总结

缓存雪崩和缓存击穿主要是数据不在缓存上,而缓存穿透是数据既不在缓存上,也不在数据上。

缓存穿透的解决方法

  • 入口进行合法性验证
  • 缓存空值或者缺省值
  • 使用布隆过滤器快速判断

缓存击穿的解决方法

  • 不设置过期时间
  • 加互斥锁

缓存雪崩的解决方法

  • 给过期时间加上小的随机数
  • 服务降级
  • 服务熔断
  • 请求限流
  • redis 设置主从集群

缓存穿透、缓存击穿、缓存雪崩的预防方案:

使用服务降级、请求熔断、请求限制会影响用户使用体验,最好使用预防方案。

  • 针对缓存穿透,在请求入口做规范校验,以及使用布隆过滤器判断数据是否存在。
  • 针对缓存击穿,不要设置过期时间。
  • 针对缓存雪崩,合理设置数据过期时间,以及搭建redis主从集群。

参考文档

  • 缓存雪崩、缓存击穿以及缓存穿透
  • 缓存雪崩、缓存击穿以及缓存穿透
  • 什么是缓存雪崩、缓存击穿、缓存穿透?

2024最新激活全家桶教程,稳定运行到2099年,请移步至置顶文章:https://sigusoft.com/99576.html

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。 文章由激活谷谷主-小谷整理,转载请注明出处:https://sigusoft.com/10839.html

(0)
上一篇 2024年 5月 12日 下午7:10
下一篇 2024年 5月 12日 下午7:21

相关推荐

关注微信