最近做的几个需求与延迟队列有点关系,引入MQ成本又有点高,通过对redis的了解,redis中zset可以做延迟队列功能,通过score排序进行实现,每次获取排序的top数据进行处理。写一篇文章和大家分享一下。本篇先介绍一下zset是什么和zset的一些原理。
Sorted Set (有序集合)zset 通常包含 3 个 关键字操作:
key (与我们 redis 通常操作的 key value 中的key 一致)score (排序的分数,该分数是有序集合的关键,可以是双精度或者是整数)member (指我们传入的 obj,与 key value 中的 value 一致)Redis 的有序集合保留了集合的特性(元素不能重复),而且在此基础上的元素是可以排序的(分数可以重复)。
但是,redis 的有序集合的排序和列表的排序不同,有序集合并非使用索引下标来排序,而是使用每个元素设置了一个分数(score),来做为排序的依据。
相关命令介绍ZADD 将一个带有给定分值的成员添加到有序集合中,返回添加元素的个数ZRANGE 根据元素在有序排列中的位置,从有序集合里面获取多个元素ZRANGEBYSCORE zrangebyscore key min max [withscores] [LIMIT offset count] 根据一个分值段来获取在该分值段的指定数量的元素ZREM ZREM key member-------如果给定成员存在于该有序集合,则删除该成员ZCARD ZCARD key--------返回有序集合包含的成员数量ZCOUNT ZCOUNT key min max----------返回分值介于min 和max之间的成员数量ZSCORE ZSOCRE key member --------返回成员的分值ZINCRBY ZINCRBY key increment member -----将member成员的分值加上increment// 添加1个元素127.0.0.1:6379> zadd azy 100 pine (integer) 1127.0.0.1:6379> zadd azy 101 jack(integer) 1// 添加多个元素127.0.0.1:6379> zadd azy 1 jack01 2 jack02 3 jack03 (integer) 3// 查看元素和score值递增(从小到大)来排序127.0.0.1:6379> ZRANGE azy 0 -1 WITHSCORES 1) "jack01" 2) "1" 3) "jack02" 4) "2" 5) "jack03" 6) "3" 7) "pine" 8) "100" 9) "jack"10) "101"11) "tom"12) "102"// 查看元素score值递增(从小到大)来排序127.0.0.1:6379> ZRANGE azy 0 -1 1) "jack01"2) "jack02"3) "jack03"4) "pine"5) "jack"6) "tom"// 查看元素score值递增(从大到小)来排序127.0.0.1:6379> ZREVRANGE azy 0 -1 1) "tom"2) "jack"3) "pine"4) "jack03"5) "jack02"// zrem 移除单个元素127.0.0.1:6379> zrem azy jack01 (integer) 1127.0.0.1:6379> 127.0.0.1:6379> Zrange azy 0 -11) "jack02"2) "jack03"3) "pine"4) "jack"5) "tom"// 移除多个元素127.0.0.1:6379> zrem azy jack02 jack03(integer) 2// 返回key的成员个数127.0.0.1:6379> ZCARD azy(integer) 3// 返回指定 key 的 分数在 min 与 max 之间的 member 个数127.0.0.1:6379> ZCOUNT azy 50 100(integer) 1以上是常用的部分命令,如果还想学习其他命令大家可以自己再去查阅相关资料。
zset底层实现方式ziplist:满足以下两个条件的时候元素数量少于128的时候每个元素的长度小于64字节skiplist:不满足上述两个条件就会使用跳表,具体来说是组合了map和skiplistmap用来存储member到score的映射,这样就可以在O(1)时间内找到member对应的分数skiplist按从小到大的顺序存储分数skiplist每个元素的值都是[score,value]对skiplist优势skiplist本质上是并行的有序链表,但它克服了有序链表插入和查找性能不高的问题。它的插入和查询的时间复杂度都是O(logN)。
skiplist原理跳表大家可以想象成一种目录,有助于大家理解。
普通有序链表的插入需要一个一个向前查找是否可以插入,所以时间复杂度为O(N),比如下面这个链表插入23,就需要一直查找到22和26之间。
如果节点能够跳过一些节点,连接到更靠后的节点就可以优化插入速度:
在上面这个结构中,插入23的过程是
先使用第2层链接head->7->19->26,发现26比23大,就回到19再用第1层连接19->22->26,发现比23大,那么就插入到26之前,22之后上面这张图就是跳表的初步原理,但一个元素插入链表后,应该拥有几层连接呢?跳表在这块的实现方式是随机的,也就是23这个元素插入后,随机出一个数,比如这个数是3,那么23就会有如下连接:
第3层head->23->end第2层19->23->26第1层22->23->26下面这张图展示了如何形成一个跳表
在上述跳表中查找/插入23的过程为:
总结一下跳表原理:
每个跳表都必须设定一个最大的连接层数MaxLevel第一层连接会连接到表中的每个元素插入一个元素会随机生成一个连接层数值[1, MaxLevel]之间,根据这个值跳表会给这元素建立N个连接插入某个元素的时候先从最高层开始,当跳到比目标值大的元素后,回退到上一个元素,用该元素的下一层连接进行遍历,周而复始直到第一层连接,最终在第一层连接中找到合适的位置skiplist在redis zset的使用redis中skiplist的MaxLevel设定为32层
skiplist原理中提到skiplist一个元素插入后,会随机分配一个层数,而redis的实现,这个随机的规则是:
一个元素拥有第1层连接的概率为100%一个元素拥有第2层连接的概率为50%一个元素拥有第3层连接的概率为25%以此类推...为了提高搜索效率,redis会缓存MaxLevel的值,在每次插入/删除节点后都会去更新这个值,这样每次搜索的时候不需要从32层开始搜索,而是从MaxLevel指定的层数开始搜索
查找过程对于zrangebyscore命令:score作为查找的对象,在跳表中跳跃查询,就和上面skiplist的查询一样
插入过程zadd [zset name] [score] [value]:
在map中查找value是否已存在,如果存在现需要在skiplist中找到对应的元素删除,再在skiplist做插入插入过程也是用score来作为查询位置的依据,和skiplist插入元素方法一样。并需要更新value->score的map如果score一样怎么办?根据value再排序,按照顺序插入
删除过程zrem [zset name] [value]:从map中找到value所对应的score,然后再在跳表中搜索这个score,value对应的节点,并删除
排名是怎么算出来的zrank [zset name] [value]的实现依赖于一些附加在跳表上的属性:
跳表的每个元素的Next指针都记录了这个指针能够跨越多少元素,redis在插入和删除元素的时候,都会更新这个值然后在搜索的过程中按经过的路径将路径中的span值相加得到rank后面再和大家介绍一下如何利用zset实现延迟队列。
参考文档:https://juejin.cn/post/6844904033589657607