MySQL的Query Cache原理分析

QueryCache(下面简称QC)是根据SQL语句来cache的。一个SQL查询如果以select开头,那么MySQL服务器将尝试对其使用QC。每个Cache都是以SQL文本作为key来存的。

原理
QueryCache(下面简称QC)是根据SQL语句来cache的。一个SQL查询如果以select开头,那么MySQL服务器将尝试对其使用QC。每个Cache都是以SQL文本作为key来存的。在应用QC之前,SQL文本不会被作任何处理。也就是说,两个SQL语句,只要相差哪怕是一个字符(例如大小写不一样;多一个空格等),那么这两个SQL将使用不同的一个CACHE。
不过SQL文本有可能会被客户端做一些处理。例如在官方的命令行客户端里,在发送SQL给服务器之前,会做如下处理:

过滤所有注释
去掉SQL文本前后的空格,TAB等字符。注意,是文本前面和后面的。中间的不会被去掉。

下面的三条SQL里,因为SELECT大小写的关系,最后一条和其他两条在QC里肯定是用的不一样的存储位置。而第一条和第二条,区别在于后者有个注释,在不同客户端,会有不一样的结果。所以,保险起见,请尽量不要使用动态的注释。在PHP的mysql扩展里,SQL的注释是不会被去掉的。也就是三条SQL会被存储在三个不同的缓存里,虽然它们的结果都是一样的。

select * FROM people where name=’surfchen’;
select * FROM people where /*hey~*/name=’surfchen’;
SELECT * FROM people where name=’surfchen’;
目前只有select语句会被cache,其他类似show,use的语句则不会被cache。

因为QC是如此前端,如此简单的一个缓存系统,所以如果一个表被更新,那么和这个表相关的SQL的所有QC都会被失效。假设一个联合查询里涉及到了表A和表B,如果表A或者表B的其中一个被更新(update或者delete),这个查询的QC将会失效。

也就是说,如果一个表被频繁更新,那么就要考虑清楚究竟是否应该对相关的一些SQL进行QC了。一个被频繁更新的表如果被应用了QC,可能会加重数据库的负担,而不是减轻负担。我一般的做法是默认打开QC,而对一些涉及频繁更新的表的SQL语句加上SQL_NO_CACHE关键词来对其禁用CACHE。这样可以尽可能避免不必要的内存操作,尽可能保持内存的连续性。

那些查询很分散的SQL语句,也不应该使用QC。例如用来查询用户和密码的语句——“select pass from user where name=’surfchen’”。这样的语句,在一个系统里,很有可能只在一个用户登陆的时候被使用。每个用户的登陆所用到的查询,都是不一样的SQL文本,QC在这里就几乎不起作用了,因为缓存的数据几乎是不会被用到的,它们只会在内存里占地方。

存储块
在本节里“存储块”和“block”是同一个意思
QC缓存一个查询结果的时候,一般情况下不是一次性地分配足够多的内存来缓存结果的。而是在查询结果获得的过程中,逐块存储。当一个存储块被填满之后,一个新的存储块将会被创建,并分配内存(allocate)。单个存储块的内存分配大小通过query_cache_min_res_unit参数控制,默认为4KB。最后一个存储块,如果不能被全部利用,那么没使用的内存将会被释放。如果被缓存的结果很大,那么会可能会导致分配内存操作太频繁,系统系能也随之下降;而如果被缓存的结果都很小,那么可能会导致内存碎片过多,这些碎片如果太小,就很有可能不能再被分配使用。

除了查询结果需要存储块之外,每个SQL文本也需要一个存储块,而涉及到的表也需要一个存储块(表的存储块是所有线程共享的,每个表只需要一个存储块)。存储块总数量=查询结果数量*2+涉及的数据库表数量。也就是说,第一个缓存生成的时候,至少需要三个存储块:表信息存储块,SQL文本存储块,查询结果存储块。而第二个查询如果用的是同一个表,那么最少只需要两个存储块:SQL文本存储块,查询结果存储块。

通过观察Qcache_queries_in_cache和Qcache_total_blocks可以知道平均每个缓存结果占用的存储块。它们的比例如果接近1:2,则说明当前的query_cache_min_res_unit参数已经足够大了。如果Qcache_total_blocks比Qcache_queries_in_cache多很多,则需要增加query_cache_min_res_unit的大小。

Qcache_queries_in_cache*query_cache_min_res_unit(sql文本和表信息所在的block占用的内存很小,可以忽略)如果远远大于query_cache_size-Qcache_free_memory,那么可以尝试减小query_cache_min_res_unit的值。

调整大小
如果Qcache_lowmem_prunes增长迅速,意味着很多缓存因为内存不够而被释放,而不是因为相关表被更新。尝试加大query_cache_size,尽量使Qcache_lowmem_prunes零增长。
启动参数
show variables like ‘query_cache%’可以看到这些信息。
query_cache_limit:如果单个查询结果大于这个值,则不Cache
query_cache_size:分配给QC的内存。如果设为0,则相当于禁用QC。要注意QC必须使用大约40KB来存储它的结构,如果设定小于40KB,则相当于禁用QC。QC存储的最小单位是1024 byte,所以如果你设定了一个不是1024的倍数的值,这个值会被四舍五入到最接近当前值的等于1024的倍数的值。
query_cache_type:0 完全禁止QC,不受SQL语句控制(另外可能要注意的是,即使这里禁用,上面一个参数所设定的内存大小还是会被分配);1启用QC,可以在SQL语句使用SQL_NO_CACHE禁用;2可以在SQL语句使用SQL_CACHE启用。
query_cache_min_res_unit:每次给QC结果分配内存的大小
状态
show status like ‘Qcache%’可以看到这些信息。
Qcache_free_blocks:当一个表被更新之后,和它相关的cache blocks将被free。但是这个block依然可能存在队列中,除非是在队列的尾部。这些blocks将会被统计到这个值来。可以用FLUSH QUERY CACHE语句来清空free blocks。
Qcache_free_memory:可用内存,如果很小,考虑增加query_cache_size
Qcache_hits:自mysql进程启动起,cache的命中数量
Qcache_inserts:自mysql进程启动起,被增加进QC的数量
Qcache_lowmem_prunes:由于内存过少而导致QC被删除的条数。加大query_cache_size,尽可能保持这个值0增长。
Qcache_not_cached:自mysql进程启动起,没有被cache的只读查询数量(包括select,show,use,desc等)
Qcache_queries_in_cache:当前被cache的SQL数量
Qcache_total_blocks:在QC中的blocks数。一个query可能被多个blocks存储,而这几个blocks中的最后一个,未用满的内存将会被释放掉。例如一个QC结果要占6KB内存,如果query_cache_min_res_unit是4KB,则最后将会生成3个blocks,第一个block用来存储sql语句文本,这个不会被统计到query+cache_size里,第二个block为4KB,第三个block为2KB(先allocate4KB,然后释放多余的2KB)。每个表,当第一个和它有关的SQL查询被CACHE的时候,会使用一个block来存储表信息。也就是说,block会被用在三处地方:表信息,SQL文本,查询结果。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/814340.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
Python地信专题 | 基于geopandas的空间数据分析-文件IO篇
上一篇 2025年11月27日 00:20:04
微软爽歪歪,Win10预览版用户数量暴增
下一篇 2025年11月27日 00:20:06

相关推荐

  • PHP+Go游戏打点分析系统如何优化性能?

    提升PHP和Go游戏数据分析系统性能的策略 本文探讨如何优化一个由PHP后端分析系统、Go语言打点接口、Kafka异步计算以及MySQL数据库组成的游戏数据分析系统。该系统的设计逻辑清晰,但性能方面存在改进空间。 避免直接数据库写入:性能瓶颈的突破 当前架构中,Go打点接口直接写入MySQL数据库,…

    2026年9月1日
    000
  • mysql怎么查看数据库保存在哪

    mysql怎么查看数据库保存在哪mysql怎么查看数据库保存在哪mysql怎么查看数据库保存在哪mysql怎么查看数据库保存在哪

    在mysql中,可以利用“show variables”命令查看数据库的文件保存在哪,该命令用于显示系统变量的名称和值,语法为“SHOW VARIABLES LIKE ‘datadir’;”。 本教程操作环境:windows10系统、mysql8.0.22版本、Dell G3…

    2026年9月1日 用户投稿
    400
  • 使用 Composer 解决 RabbitMQ 消息消费的挑战

    在项目开发中,我需要从 rabbitmq 消息队列中消费消息,并根据消息内容执行不同的处理逻辑,最后将处理结果存储到 mysql 和 elasticsearch 中。这个过程看似简单,但实际操作起来却充满了挑战。首先,消息队列中的消息只包含了 mysql 中的 id 和一些额外的信息,这意味着我需要…

    用户投稿 2026年9月1日
    200
  • 如何设置文件隐藏_电脑文件隐藏显示教程

    隐藏和显示电脑文件最常用的方法是通过文件资源管理器右键点击文件选择“属性”,勾选“隐藏”复选框,然后在“查看”选项卡中勾选“隐藏的项目”即可显示;2. 隐藏文件主要用于保护隐私、整理界面和防止误删系统文件,但并不等于安全;3. 隐藏文件与加密有本质区别,隐藏仅改变文件可见性,而加密通过算法保护内容,…

    2026年9月1日
    000
  • mysql字段怎么判断是否存在

    方法:1、利用desc命令,语法为“desc 表名 字段”;2、利用“show columns”命令,语法为“show columns from 表名 like 字段”;3、利用describe命令,语法为“describe 表名 字段”。 本教程操作环境:windows10系统、mysql8.0.…

    2026年9月1日
    000
  • 俄罗斯Yandex搜索平台无需登录 Yandex免账号访问入口

    Yandex搜索无需登录即可使用,其国际版https://yandex.com/提供网页、图片、视频检索及新闻、地图、天气、翻译等服务,支持多语言切换与地区适配,满足全球用户需求。 俄罗斯Yandex搜索平台无需登录,这是不少网友都关注的,接下来由PHP小编为大家带来Yandex免账号访问入口,感兴…

    2026年9月1日
    000
  • mysql查询怎么区分大小写

    在mysql中,可以利用select查询语句配合binary关键字来区分大小写,select语句用于查询数据,binary关键字用于区分大小写,语法为“select * from 表名 WHERE binary 字段=字段值”。 本教程操作环境:windows10系统、mysql8.0.22版本、D…

    2026年9月1日
    000
  • 高并发游戏打点分析:PHP+Go组合如何高效处理海量数据?

    高效游戏打点分析:PHP和Go的完美结合 本文探讨如何构建一个高效的游戏打点分析系统,以应对高并发和海量数据带来的挑战。我们将重点介绍一种基于PHP和Go的组合方案,并分析其优缺点及改进建议。 系统架构: 本系统采用PHP和Go协同工作,数据处理流程如下: 立即学习“PHP免费学习笔记(深入)”; …

    2026年9月1日
    100
  • 使用 Composer 和 Docker 简化 Open Police Complaints 的安装与配置

    open police complaints 是一个基于 laravel 的 php 项目,旨在简化警察投诉的处理流程。该项目需要多个组件的支持,包括 nginx、php-fpm、postgresql 和 composer。我最初的尝试遇到了各种环境配置问题,最终通过使用 docker 和 comp…

    用户投稿 2026年9月1日
    000
  • mysql中什么是外键

    在mysql中,外键是用于建立和加强两个表数据之间的链接的一列或多列,它表示一个表中的一个字段被另一个表中的一个字段引用。外键对相关表中的数据造成了限制,使MySQL能够保持参照完整性。 本教程操作环境:windows7系统、mysql8版本、Dell G3电脑。 外键是相对主键而来的。 主键(pr…

    2026年9月1日
    100
  • 什么是mysql慢查询

    在mysql中,慢查询就是日志中记录运行比较慢的SQL语句,指的是执行超过“long_query_time”参数设定的时间阈值的SQL语句查询。慢查询记录在慢查询日志中,通过慢查询日志,可以查找出哪些查询语句的执行效率低,以便进行优化。 本教程操作环境:windows7系统、mysql8版本、Del…

    2026年9月1日
    200
  • mysql怎么查询数据库有多少张表

    在mysql中,可以通过“SELECT”语句查询“information_schema.TABLES”信息,获取指定数据库中数据表的元数据信息,并使用“COUNT(*)”函数统计元数据数量来计算数据库中表的个数。 本教程操作环境:windows7系统、mysql8版本、Dell G3电脑。 在mys…

    2026年9月1日
    000
  • 解决MySQL模式问题:TheliaMySQLModesChecker模块的使用体验

    可以通过一下地址学习composer:学习地址 在使用Thelia开发电商网站的过程中,我发现了一个让人头疼的问题:MySQL模式设置不当,导致某些功能无法正常运行。这个问题让我尝试了多种解决方案,但都未能奏效。幸运的是,我找到了一个名为TheliaMySQLModesChecker的模块,它能够自…

    用户投稿 2026年9月1日
    100
  • MySQL安全认证插件使用_MySQL提升登录安全性的方案

    MySQL安全认证插件使用_MySQL提升登录安全性的方案MySQL安全认证插件使用_MySQL提升登录安全性的方案MySQL安全认证插件使用_MySQL提升登录安全性的方案MySQL安全认证插件使用_MySQL提升登录安全性的方案

    mysql登录安全性核心在于认证插件,推荐使用caching_sha2_password。1.检查默认插件:show variables like ‘default_authentication_plugin’; 2.修改my.cnf配置default_authenticat…

    2026年9月1日 用户投稿
    200
  • Python中pip install sklearn和pip install scikit-learn有什么区别?

    pip install sklearn 与 pip install scikit-learn:细微差别与最佳实践 在 Python 的机器学习领域,您可能会遇到两种安装 scikit-learn 库的命令:pip install sklearn 和 pip install scikit-learn。…

    2026年9月1日
    100
  • mysql怎么实现升序查询

    在mysql中,可以利用“SELECT”语句和“ORDER BY”关键字实现升序查询,语法“SELECT {*|字段列名} FROM 表名 [WHERE 条件] GROUP BY 字段名 ASC;”。 本教程操作环境:windows7系统、mysql8版本、Dell G3电脑。 在mysql中,可以…

    2026年9月1日
    100
  • hbase与mysql的区别是什么

    hbase与mysql的区别是什么hbase与mysql的区别是什么hbase与mysql的区别是什么hbase与mysql的区别是什么

    区别:1、MySQL是行存储模式,hbase是列存储模式;2、MySQL的底层是binlog,hbase的底层是hdfs;3、MySQL主要用来存储业务数据,数据存储量较小,而HBase主要用来存储海量的业务数据和日志数据,数据存储量大。 本教程操作环境:windows7系统、mysql8版本、De…

    2026年9月1日 用户投稿
    300
  • VSCode标签怎么自动补齐_VSCodeHTML/XML标签自动补全设置教程

    答案:VSCode中HTML/XML标签自动补齐失效通常由Emmet未启用、文件类型识别错误或设置冲突导致。需检查emmet.triggerCharacters和editor.quickSuggestions设置,确认文件语言模式正确,并确保emmet.includeLanguages配置合理。同时…

    2026年9月1日
    100
  • mysql中blob和text有什么区别

    区别:1、MySQL中的BLOB用于保存二进制数据,而TEXT用于保存字符数据;2、BLOB列没有字符集,并且排序和比较基于列值字节的数值值,而TEXT列有一个字符集,并且根据字符集的校对规则对值进行排序和比较。 本教程操作环境:windows7系统、mysql8版本、Dell G3电脑。 在MyS…

    2026年9月1日
    300
  • 完全掌握MySql之写入Binary Log的流程

    本篇文章给大家带来了关于mysql中写入binary log流程的相关知识,其中包括“sync_binlog”、“binlog_cache_size”和“max_binlog_cache_size”的相关问题,希望对大家有帮助。 Binary Log写入流程 我们首先还是先看看官方文档对sync_b…

    2026年9月1日
    100

发表回复

登录后才能评论
关注微信