Redis源码解析2

DICT数据结构 Dict其实就是一个hash表,但在Redis中,已经存在一种叫Hash的数据结构,所以,就把Hash表改名成Dict吧。。。 Dict是Redis进行键值处理的灵魂,不管多大的数据量,始终维持O(1)的时间复杂度(排除bucket下链表很长的情况) 全局保存的所有key,

DICT数据结构

dict其实就是一个hash表,但在redis中,已经存在一种叫“hash”的数据结构,所以,就把hash表改名成dict吧。。。
dict是redis进行键值处理的灵魂,不管多大的数据量,始终维持o(1)的时间复杂度(排除bucket下链表很长的情况)
全局保存的所有key,都存在于一个dict中
而且别的数据结构,比如set、hash也可能会用到dict

Dict实现于 dict.h  dict.c 两个文件中

其类型定义如下图:

Redis源码解析2

1. dict:表示一个独立的dict结构,提供给外部使用

1 typedef struct dict {*privdata;rehashidx; iterators; } dict;

2. dictht:表示一个独立的dict容器,内部使用,外部程序不建议直接操作该结构

1 typedef struct dictht {unsigned unsigned unsigned } dictht;

3. dictEntry:数据结点,香港服务器租用,其实就是一个kv键值对,还包含一个next指针

1 typedef struct dictEntry {2void *key;3void *val;4struct dictEntry *next;5 } dictEntry;

4. dictType:定义了一组回调函数,进行数据结点的操作

typedef struct dictType {unsigned *(*keyDup)(*(*valDup)((*keyCompare)(*key2); (*keyDestructor)((*valDestructor)(void *privdata, void *obj); //销毁val} dictType;

 

 

DICT操作

Redis源码解析2

Redis中的dict是一个标准的 “bucket + 开链” 的哈希表
并未进行更复杂的处理
包括防止哈希冲突导致开链过长的问题,也没有考虑
如果精心构造一串key来打redis,很容易打死的
所以,企业级应用的同学们,如果你的Redis服务对用户比较Open,别下个源码就用了,还是动手改改HashFunction再用吧!

 

Redis用两个dictht结构,作用是为了能够渐进地导数据,防止Rehash时阻塞时间太长
这种做法在memcache中就已经用了,不过memcache中是开辟一个线程专门做rehash而已
相比之下,不开线程的处理方式不用锁,BUG更少一些

 

命名空间 

Redis中的Dict分为两类:

1. 系统级Dict,具有全局的命名空间,其定义如下:

typedef struct redisDb {dict *dict;dict *expires;dict *blocking_keys;dict *io_keys;dict *watched_keys; id;} redisDb;

2. 应用级Dict,由metadata数据结构自己维护,主要是一些 set、hash结构中的dict

    如下图: 

代码小浣熊 代码小浣熊

代码小浣熊是基于商汤大语言模型的软件智能研发助手,覆盖软件需求分析、架构设计、代码编写、软件测试等环节

代码小浣熊 51 查看详情 代码小浣熊

Redis源码解析2

Rehash

当满足以下条件时,会启动Rehash

1 // 当有效空间使用率 htNeedsResize(dict *dict) { size, used; 5 6size = dictSlots(dict); 7used = dictSize(dict); 8return (size && used && size > DICT_HT_INITIAL_SIZE && 9(used*100/size REDIS_HT_MINFILL));10 }

 

1 // 当有效空间使用率 > 100%时,_dictExpandIfNeeded(dict *d) 4 { 5 … …(d->ht[0].used >= d->ht[0].size && 8(dict_can_resize || 9d->ht[0].used/d->ht[0].size > dict_force_resize_ratio))10 {11return dictExpand(d, ((d->ht[0].size > d->ht[0].used) ?12d->ht[0].size : d->ht[0].used)*2);13 }14return DICT_OK;15 }

 

Rehash启动后,就要开始进行Rehash操作了
但是,Rehash的代价是很大的,特别是当容量超过千万级以后,往往会耗费数十秒来进行操作(视机器性能)
所以,Redis采用了渐进式的Rehash,把操作分片,一步步来,总不能阻塞用户响应吧

根据Dict的类型不同,会采用不同的Rehash策略:
1. 全局性的DICT结构(就是全局命名空间中的key),会周期性的进行rehash,每次进行 1ms
    而且,不受稍后提到的 SafeIterator的干扰,可以一直执行(但是,虚拟主机,不受干扰是一回事,在iterator循环空间中,还是得用Safe模式的,所以,源码中也会看到大量针对全局dict的SafeIterator,这一点需要理解一下)
    毕竟,全局的,是重要的嘛,挤也要挤出1ms来,用吧!而且还甭想打扰它,别不服气了

2. 应用级DICT结构(就是用户自定义的一些DICT),Redis会采取一种 Lazy Rehash 的策略
    所谓 Lazy Rehash,就是用得越多,处理得越快;用得越少,处理得越慢
    什么叫“用”呢?
    很好理解,“增删查”操作都叫用,源码里对应:dictAdd、dictGenericDelete、dictFind、dictGetRandomKey操作,都会促发_dictRehashStep函数进行Rehashing
    但别高兴太早,每次只触发一条而已,所以,慢慢来吧~~

    

Redis源码解析2

Iterator

由于Dict内部结构的复杂性,虚拟主机,提供一个遍历所有数据的iterator,是非常必要的

Dict提供两种Iterator:

1. dictGetIterator:普通iter,在遍历时不可对dict做更多操作,否则会引起数据遗漏或重复

2. dictGetSafeIterator:安全iter,什么操作都能做,安全的,你懂的。

可以参考上图理解这一点,不再赘述

DictType

dictType 定义了dict的操作行为。Redis预定义了一组dictType,规范各种类型dict的操作

相关代码如下:

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/471684.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2025年11月8日 07:44:53
下一篇 2025年11月8日 07:46:02

相关推荐

  • 深入学习响应式布局框架:适合初学者到专家的详尽指南

    响应式布局框架解析:从初学者到专家的必备指南 随着移动设备的普及和多样化,响应式布局成为了现代Web设计的必备技能。响应式布局框架以其简单、灵活和可维护的特点,成为了开发者们的首选工具。然而,对于初学者来说,学习和理解响应式布局框架可能会感到有些困惑。本文将从初学者到专家,为您提供一个详细的指南,帮…

    2025年12月24日
    000
  • 揭秘静态定位的不同类型:揭示常见的静态定位类型详解

    静态定位类型大揭秘:解析常见的静态定位类型有哪些 引言: 随着移动互联网和定位技术的迅速发展,静态定位在现代生活中扮演了重要的角色。静态定位是指通过对目标物体或者人体的位置信息进行测量和计算,来确定其准确位置的技术。它在导航、地图应用、智能交通系统等方面具有广泛的应用。本文将为大家揭秘常见的静态定位…

    2025年12月24日
    000
  • 优化CSS解析过程中的回流和重绘技巧

    CSS回流和重绘解析及优化技巧 近年来,网页性能优化成为了前端开发中的重要环节,其中包括对CSS回流和重绘的解析及优化。在优化CSS的过程中,我们需要了解回流和重绘的定义,并学习一些具体的优化技巧。 什么是回流和重绘? 回流(reflow)和重绘(repaint)是浏览器渲染引擎对网页进行布局和绘制…

    2025年12月24日
    000
  • 探秘五种流行的CSS布局框架

    CSS布局框架大揭秘:五种流行框架解析 引言:在网页设计和开发过程中,如何实现良好的布局一直是一个重要的挑战。CSS布局框架通过提供强大的工具和组件,帮助我们更轻松地创建复杂的布局,提高开发效率。在本文中,我们将探讨五种流行的CSS布局框架,并提供具体的代码示例。 一、BootstrapBootst…

    2025年12月24日 好文分享
    000
  • 深入了解五种常见的CSS布局框架解析

    了解CSS布局框架:五种常见布局解析 在网页设计与开发中,CSS布局是一个非常重要的方面。一个好的布局可以使网页更加美观、功能更加完善。而了解CSS布局框架的知识,则能够帮助我们更好地掌握网页的布局技巧。本文将介绍五种常见的CSS布局,并提供具体的代码示例。 一、流式布局(流式定位) 流式布局是一种…

    2025年12月24日
    000
  • 揭秘CSS框架:常见框架解析及特点研究

    CSS框架大揭秘:解析常见的几种框架及其特点,需要具体代码示例 引言:在现代网页设计中,CSS框架扮演着重要的角色,它们能够极大地简化我们的开发工作,提高开发效率。本文将深入解析常见的几种CSS框架,并提供详细的代码示例,帮助读者更好地理解和应用这些框架。 一、Bootstrap:Bootstrap…

    2025年12月24日
    000
  • 解析CSS伪类和伪元素的常见用法和实例

    深入探讨CSS伪类和伪元素的常见用法和实例解析 在前端开发中,CSS是我们常用的样式设计语言之一。除了基本的选择器和属性,CSS还提供了一些特殊的选择器,称为伪类和伪元素。本文将深入探讨CSS伪类和伪元素的常见用法和实例解析,并附上具体的代码示例。 一、伪类的常见用法和实例解析 :hover伪类 :…

    2025年12月24日
    000
  • CSS3的学习轨迹和常见误区解析

    CSS3的学习轨迹和常见误区解析 引言:随着Web技术的不断发展,CSS3已经成为了前端工程师必备的技能之一。通过掌握CSS3的各种功能和特效,我们能够创建出更加丰富多彩的网页布局和交互效果。本文将介绍CSS3的学习轨迹,同时分析一些常见的误区,并提供一些代码示例。 一、学习轨迹: 1.掌握基本语法…

    2025年12月24日
    000
  • canvas线条的属性解析

    本文主要和大家介绍了canvas线条的属性详解的相关资料,小编觉得挺不错的,现在分享给大家,希望能帮助到大家。 一、线条的帽子lineCap 取值:butt(默认值),round圆头,square方头 var canvas=document.getElementById(“canvas”);canv…

    2025年12月24日 好文分享
    000
  • Redis3.2开启远程访问详细步骤

    redis是一个开源的使用ansi c语言编写、支持网络、可基于内存亦可持久化的日志型、key-value数据库,并提供多种语言的api。redis支持远程访问,详细步骤小编已为大家整理出来了,具体步骤如下: redis默认只允许本地访问,要使redis可以远程访问可以修改redis.conf打开r…

    好文分享 2025年12月24日
    000
  • Redis配置文件redis.conf详细配置说明

    本文列出了redis的配置文件redis.conf的各配置项的详细说明,简单易懂,有需要的盆友可以参考哦。 redis.conf 配置项说明如下 redis配置文件详解 # vi redis.confdaemonize yes #是否以后台进程运行pidfile /var/run/redis/red…

    好文分享 2025年12月24日
    000
  • 对CSS继承的深度解析

      我酷爱模块化设计。长期以来我都热衷于将网站分离成组件,而不是页面,并且动态地将那些组件合并到界面上。这种做法灵活,高效并且易维护。   但是我不想我的设计看上去是由一些不相关的东西组成的。我是在创造一个界面,而不是一张超现实主义的照片。   很幸运的是,已经有一项叫做 CSS 的技术,就是特意设…

    2025年12月23日
    000
  • 解析CSS3中nth-child与nth-of-type的区别

    css3中nth-child与nth-of-type的区别其实很简单::nth-of-type为什么要叫:nth-of-type?因为它是以”type”来区分的。也就是说:ele:nth-of-type(n)是指父元素下第n个ele元素, 而ele:nth-child(n)是…

    2025年12月23日 好文分享
    000
  • Flask应用中动态图片更新与上传教程

    本教程详细介绍了如何在flask web应用中展示静态图片,并通过%ignore_a_1%实现图片的定时刷新,解决浏览器缓存问题。同时,文章还涵盖了如何在flask后端处理图片上传,并将其与前端展示及刷新机制相结合,提供了一个完整的图片管理与动态显示解决方案。 1. Flask应用中静态图片的基本展…

    2025年12月23日 好文分享
    000
  • PHP 多语言网站切换:会话管理与翻译函数实践

    本教程详细介绍了使用 php 构建多语言网站的实现方法。文章涵盖了如何通过 url 参数和会话管理实现语言切换,以及如何设计一套健壮的翻译加载与显示机制,以避免常见的变量未定义和字符串偏移错误。通过封装的辅助函数,确保翻译内容正确加载和渲染,提升代码的可维护性和用户体验。 构建多语言网站的核心挑战 …

    2025年12月23日
    300
  • 将独立Python逻辑集成到Django Web应用:以计时器项目为例

    本教程旨在指导初学者如何将一个独立的Python命令行计时器应用改造并集成到Django Web项目中。文章将详细介绍如何通过Django的视图、表单和模板机制处理用户输入、执行核心Python逻辑,并最终在HTML页面上展示结果,同时探讨将命令行应用特性迁移到Web环境的关键考量。 理解从命令行到…

    2025年12月23日
    000
  • 如何将Python后端逻辑与Django和HTML进行集成

    本教程旨在指导初学者如何将独立的Python命令行应用程序转换为基于Django的Web应用。文章将详细阐述如何通过Django的视图、URL配置和表单系统,将Python逻辑与HTML前端进行交互,实现用户输入捕获和结果展示。重点在于重构Python代码以适应Web环境,并利用Django For…

    2025年12月23日
    000
  • 将Python命令行应用集成到Django Web项目:以计时器为例

    本文将指导您如何将一个独立的python命令行计时器应用程序改造并集成到django web项目中。我们将详细介绍如何利用django的视图、模板和表单系统来捕获用户输入,并将原有的python逻辑适配到web环境,同时探讨在web应用中处理后台任务和用户通知的策略,帮助初学者顺利过渡。 从命令行到…

    好文分享 2025年12月23日
    000
  • 部署与调度Node.js爬虫:从本地执行到云端集成

    本教程详细指导如何部署和调度一个基于node.js的网页爬虫,使其能够每日自动运行并将其数据提供给前端应用。文章将区分客户端与服务器端javascript的运行环境,介绍本地任务调度方法,并探讨将爬虫集成到在线服务以实现数据共享的策略,同时涵盖数据持久化、cors处理及部署最佳实践。 1. 理解No…

    2025年12月23日
    000
  • HTML5WebSocket怎么通信_HTML5WebSocket实现实时通信的原理与代码

    WebSocket基于TCP实现全双工通信,通过HTTP握手升级协议后进行持久化双向数据传输,适用于聊天、通知等高频交互场景;前端使用JavaScript的WebSocket API建立连接并监听事件,后端可用Node.js的ws库创建服务器;需注意代理配置、自动重连、JSON格式消息及安全认证等问…

    2025年12月23日
    000

发表回复

登录后才能评论
关注微信