mysql的query_cache误区详解

本文章详细的介绍了关于大家在使用mysqlquery_cache认识误区以及后面详细的介绍了mysql的query_cache的用法及优点。

一直以来,对于的query_cache,在网上就流行着这样的说法,“对于mysql的query_cache键值就是mysql的query,所以,如果在query中有任何的不同,包括多了个空格,都会导致mysql认为是不同的查询”,其实,这一种说法是不完全正确的。首先第一点,mysql的query_cache的键值并不是简单的query,而是query加databasename加flag。这个从中就可以看出。在这里不做重点描述,后续可以针对于这一点再具体分析。重要的是第二点,是不是加了空格,mysql就认为是不同的查询呢?实际上这个是要分情况而言的,要看这个空格加在哪。 如果空格是加在query之前,比如是在query的起始处加了空格,这样是丝毫不影响query cache的结果的,mysql认为这是一条query, 而如果空格是在query中,那会影响query cache的结果,mysql会认为是不同的query。

下面我们通过实验及源码具体分析。首先,我们先试验一下:

首先,我们看一下mysql query_cache的状态:

首先,我们可以确认,mysql的query_cache功能是打开的。

其次,我们看一下状态:

因为这个db是新的db,所以hits,inset都为0,现在我们执行一条语句:

状态变为:

可以看到,执行一条select后,现在的qcache状态为,insert+1,这样我们就可以推断出,现在刚才那条select语句已经加入了qcache中。那我们现在再将刚才那条sql前面加上空格,看看会怎样呢?

请注意,这条sql,比刚才那条sql前面多了一个空格。

按照网上的理论,这条sql应该会作为另一个键而插入另一个cache,不会复用先前的cache,但结果呢?

稿定AI社区 稿定AI社区

在线AI创意灵感社区

稿定AI社区 60 查看详情 稿定AI社区

我们可以看到,hits变为了1,而inserts根本没变,这就说明了,这条在前面加了空格的query命中了没有空格的query的结果集。从这,我们就可以得出结论,网上先前流传的说法,是不严谨的。

 

那究竟是怎么回事呢?到底应该如何呢?为什么前面有空格的会命中了没有空格的query的结果集。其实,这些我们可以通过源码获得答案。

翻看下mysql的源码,我这翻看的是5.1的,在send_result_to_client(这个函数既是mysql调用query_cache的函数)这个函数里面有这样一段,

 

 /

 代码如下复制代码

*
 Test if the query is a SELECT
 (pre-space is removed in dispatch_command).

 First ‘/’ looks like comment before command it is not
 frequently appeared in real life, consequently we can
 check all such queries, too.
 */
    if ((my_toupper(system_charset_info, sql[i])     != ‘S’ ||
         my_toupper(system_charset_info, sql[i + 1]) != ‘E’ ||
         my_toupper(system_charset_info, sql[i + 2]) != ‘L’) &&
        sql[i] != ‘/’)
    {
      DBUG_PRINT(“qcache”, (“The statement is not a SELECT; Not cached”));
      goto err;
    }

这段代码,是在检验语句是否为select语句,重点是上面那段注释。特别是括弧中的,pre-space is removed in dispatch_command,也就是说,在语句开始之前的多余的空格已经被处理过了,在dispache_command这个函数中去掉了。

我们看下dispache_command这个方法,在这个方法里有这样一段:

 代码如下复制代码  if (alloc_query(thd, packet, packet_length))
      break;                    // fatal error is set
    char *packet_end= thd->query() + thd->query_length();
    /* ‘b’ stands for ‘buffer’ parameter’, special for ‘my_snprintf’ */
    const char* end_of_stmt= NULL;

在这里,会调用alloc_query方法,我们看下这个方法的内容:

 代码如下复制代码

bool alloc_query(THD *thd, const char *packet, uint packet_length)
{
  char *query;
  /* Remove garbage at start and end of query */
  while (packet_length > 0 && my_isspace(thd->charset(), packet[0]))
  {
    packet++;
    packet_length–;
  }
  const char *pos= packet + packet_length;     // Point at end null
  while (packet_length > 0 &&
     (pos[-1] == ‘;’ || my_isspace(thd->charset() ,pos[-1])))
  {
    pos–;
    packet_length–;
  }
  /* We must allocate some extra memory for query cache

 The query buffer layout is:
 buffer :==
  The input statement(s)
 ‘’ Terminating null char (1 byte)
  Length of following current database name (size_t)
  Name of current database
  Flags struct
 */
  if (! (query= (char*) thd->memdup_w_gap(packet,
                                          packet_length,
                                          1 + sizeof(size_t) + thd->db_length +
                                          QUERY_CACHE_FLAGS_SIZE)))
      return TRUE;
  query[packet_length]= ‘’;
  /*
 Space to hold the name of the current database is allocated. We
 also store this length, in case current database is changed during
 execution. We might need to reallocate the ‘query’ buffer
 */
  char *len_pos = (query + packet_length + 1);
  memcpy(len_pos, (char *) &thd->db_length, sizeof(size_t));

  thd->set_query(query, packet_length);

  /* Reclaim some memory */
  thd->packet.shrink(thd->variables.net_buffer_length);
  thd->convert_buffer.shrink(thd->variables.net_buffer_length);

  return FALSE;
}

这个方法在一开始就会对query进行处理(代码第4行),将开头和末尾的garbage remove掉。

大部分的 MySQL 分发版本中,Query Cache 功能默认都是打开的,我们可以通过调整 MySQL Server 的参数选项打开该功能。主要由以下5个参数构成:

query_cache_limit:允许 Cache 的单条 Query 结果集的最大容量,默认是1MB,超过此参数设置的 Query 结果集将不会被 Cache
query_cache_min_res_unit:设置 Query Cache 中每次分配内存的最小空间大小,也就是每个 Query 的 Cache 最小占用的内存空间大小
query_cache_size:设置 Query Cache 所使用的内存大小,默认值为0,大小必须是1024的整数倍,如果不是整数倍,MySQL 会自动调整降低最小量以达到1024的倍数
query_cache_type:控制 Query Cache 功能的开关,可以设置为0(OFF),1(ON)和2(DEMAND)三种,意义分别如下:
0(OFF):关闭 Query Cache 功能,任何情况下都不会使用 Query Cache
1(ON):开启 Query Cache 功能,但是当 SELECT 语句中使用的 SQL_NO_CACHE 提示后,将不使用Query Cache
2(DEMAND):开启 Query Cache 功能,但是只有当 SELECT 语句中使用了 SQL_CACHE 提示后,才使用 Query Cache
query_cache_wlock_invalidate:控制当有写锁定发生在表上的时刻是否先失效该表相关的 Query Cache,如果设置为 1(TRUE),则在写锁定的同时将失效该表相关的所有 Query Cache,如果设置为0(FALSE)则在锁定时刻仍然允许读取该表相关的 Query Cache。
Query Cache 如何处理子查询的?
这是我遇到的最为常见的一个问题。其实 Query Cache 是以客户端请求提交的 Query 为对象来处理的,只要客户端请求的是一个 Query,无论这个 Query 是一个简单的单表查询还是多表 Join,亦或者是带有子查询的复杂 SQL,都被当作成一个 Query,不会被分拆成多个 Query 来进行 Cache。所以,存在子查询的复杂 Query 也只会产生一个Cache对象,子查询不会产生单独的Cache内容。UNION[ALL] 类型的语句也同样如此。

Query Cache 是以 block 的方式存储的数据块吗?
不是,Query Cache 中缓存的内容仅仅只包含该 Query 所需要的结果数据,是结果集。当然,并不仅仅只是结果数据,还包含与该结果相关的其他信息,比如产生该 Cache 的客户端连接的字符集,数据的字符集,客户端连接的 Default Database等。

Query Cache 为什么效率会非常高,即使所有数据都可以 Cache 进内存的情况下,有些时候也不如使用 Query Cache 的效率高?
Query Cache 的查找,是在 MySQL 接受到客户端请求后在对 Query 进行权限验证之后,SQL 解析之前。也就是说,当 MySQL 接受到客户端的SQL后,仅仅只需要对其进行相应的权限验证后就会通过 Query Cache 来查找结果,甚至都不需要经过 Optimizer 模块进行执行计划的分析优化,更不许要发生任何存储引擎的交互,减少了大量的磁盘 IO 和 CPU 运算,所以效率非常高。

客户端提交的 SQL 语句大小写对 Query Cache 有影响吗?
有,由于 Query Cache 在内存中是以 HASH 结构来进行映射,HASH 算法基础就是组成 SQL 语句的字符,所以必须要整个 SQL 语句在字符级别完全一致,才能在 Query Cache 中命中,即使多一个空格也不行。

一个 SQL 语句在 Query Cache 中的内容,在什么情况下会失效?
为了保证 Query Cache 中的内容与是实际数据绝对一致,当表中的数据有任何变化,包括新增,修改,删除等,都会使所有引用到该表的 SQL 的 Query Cache 失效。

为什么我的系统在开启了 Query Cache 之后整体性能反而下降了?
当开启了 Query Cache 之后,尤其是当我们的 query_cache_type 参数设置为 1 以后,MySQL 会对每个 SELECT 语句都进行 Query Cache 查找,查找操作虽然比较简单,但仍然也是要消耗一些 CPU 运算资源的。而由于 Query Cache 的失效机制的特性,可能由于表上的数据变化比较频繁,大量的 Query Cache 频繁的被失效,所以 Query Cache 的命中率就可能比较低下。所以有些场景下,Query Cache 不仅不能提高效率,反而可能造成负面影响。

如何确认一个系统的 Query Cache 的运行是否健康,命中率如何,设置量是否足够?
MySQL 提供了一系列的 Global Status 来记录 Query Cache 的当前状态,具体如下:

Qcache_free_blocks:目前还处于空闲状态的 Query Cache 中内存 Block 数目
Qcache_free_memory:目前还处于空闲状态的 Query Cache 内存总量
Qcache_hits:Query Cache 命中次数
Qcache_inserts:向 Query Cache 中插入新的 Query Cache 的次数,也就是没有命中的次数
Qcache_lowmem_prunes:当 Query Cache 内存容量不够,需要从中删除老的 Query Cache 以给新的 Cache 对象使用的次数
Qcache_not_cached:没有被 Cache 的 SQL 数,包括无法被 Cache 的 SQL 以及由于 query_cache_type 设置的不会被 Cache 的 SQL
Qcache_queries_in_cache:目前在 Query Cache 中的 SQL 数量
Qcache_total_blocks:Query Cache 中总的 Block 数量
可以根据这几个状态计算出 Cache 命中率,计算出 Query Cache 大小设置是否足够,总的来说,我个人不建议将 Query Cache 的大小设置超过256MB,这也是业界比较常用的做法。

 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/491525.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2025年11月8日 15:55:01
下一篇 2025年11月8日 16:01:49

相关推荐

  • Web 2.0和Web 3.0有什么区别?一文带你搞懂两者的区别

    从互联网诞生至今,我们经历了从静态信息展示到动态交互的巨大变迁。Web 2.0时代,也就是我们当前所处的互联网环境,其核心特征是互动性和用户生成内容。社交媒体、博客、维基百科等都是Web 2.0的典型产物,它们将用户从单纯的信息接收者转变为内容的创造者和传播者。而Web 3.0则代表了一种新的网络范…

    2025年12月11日
    000
  • 使用通配符进行 MySQL 表单查询

    本文旨在指导开发者如何在 PHP 中使用 PDO 连接 MySQL 数据库,并通过表单提交的数据进行模糊查询。文章将详细介绍如何在 SQL 查询语句中使用通配符,以及如何安全地处理用户输入,从而实现灵活且强大的搜索功能。 在使用 PHP 连接 MySQL 数据库并进行表单数据查询时,经常需要用到模糊…

    2025年12月11日
    000
  • PHP如何处理POST请求_PHP POST请求的处理方法与实践

    <blockquote>PHP处理POST请求的核心是通过超全局数组$_POST接收数据,Web服务器解析请求体后由PHP填充该数组,开发者可直接访问如$_POST[‘username’]获取表单值;但需警惕安全风险,如SQL注入、XSS、CSRF及文件上传漏洞,…

    好文分享 2025年12月11日
    000
  • PHP如何过滤数据库查询_PHP数据库查询安全规范

    答案是全面采用预处理语句并结合输入验证、最小权限原则和输出转义等多层防御措施。核心在于不信任用户输入,使用PDO或MySQLi的预处理功能将SQL逻辑与数据分离,通过绑定参数防止恶意代码执行;同时对动态查询部分采用白名单机制或动态生成占位符,在确保安全的前提下实现灵活性。 数据库查询的安全性,在我看…

    2025年12月11日
    000
  • PHP怎么配置缓存_PHP各种缓存配置教程

    PHP的缓存配置,本质上是为了让你的应用跑得更快,更稳定。它不是一个单一的技术,而是一套组合拳,涵盖了从PHP代码本身到数据存储的多个层面。核心观点在于,通过减少重复计算、重复查询或重复加载,来节省资源和时间。常见的手段包括利用操作码缓存(如OpCache)加速脚本执行,以及使用数据缓存(如Redi…

    2025年12月11日
    000
  • PHP代码注入检测手动方法_PHP代码注入手动检测步骤详解

    手动检测PHP代码注入需从输入源、危险函数、数据流和日志入手,通过审查用户输入是否被未经净化地传递给eval()、system()、include()等高风险函数,追踪数据流向,分析日志异常,并结合业务逻辑判断漏洞存在。 手动检测PHP代码注入,本质上就是扮演一个“侦探”的角色,通过细致入微的观察和…

    2025年12月11日
    000
  • php如何执行数据库事务?PHP数据库事务处理与应用

    PHP通过PDO实现数据库事务,确保操作的原子性与数据一致性。首先创建PDO连接并开启事务,执行SQL操作后根据结果提交或回滚。示例中插入用户并更新商品库存,成功则提交,异常则回滚。常见错误包括SQL语法错误、约束违反、连接中断和死锁。应对措施有使用预处理语句、捕获异常、设置重试机制及优化查询减少锁…

    2025年12月11日
    000
  • php如何获取最后插入的记录ID?PHP获取自增ID操作方法

    在PHP中获取最后插入记录ID的方法因数据库扩展而异,MySQLi通过insert_id属性或mysqli_insert_id()函数,PDO则使用lastInsertId()方法,两者均基于当前连接会话确保并发安全,且需紧随INSERT操作执行。 在PHP中获取最后插入的记录ID,通常是为了在数据…

    2025年12月11日
    000
  • PHP如何过滤用户输入_PHP用户输入安全过滤方法详解

    过滤用户输入可降低SQL注入、XSS等风险,核心是对$_GET、$_POST、$_COOKIE处理。使用filter_var()进行通用过滤,如FILTER_SANITIZE_STRING、FILTER_VALIDATE_EMAIL;防SQL注入应使用预处理语句(PDO/MySQLi);防XSS需用…

    2025年12月11日 好文分享
    000
  • php如何获取数据库查询结果的行数?php查询结果行数统计方法

    使用mysqli_num_rows()或PDOStatement::rowCount()可获取PHP查询结果行数,前者适用于mysqli扩展的SELECT语句,后者在PDO中可用于SELECT、UPDATE、DELETE等,但行为因数据库而异;面向对象风格可用mysqli_result::num_r…

    2025年12月11日
    000
  • PHP如何防止UNION注入_PHPUNION注入攻击防护措施

    防止UNION注入的核心是使用参数化查询,通过预处理语句将用户输入作为数据而非SQL代码处理,从而彻底阻断注入路径。 防止PHP中的UNION注入,核心在于永远不要将用户输入直接拼接进SQL查询字符串中,而是要使用参数化查询(预处理语句)。这是最直接、最可靠的防御手段,它能确保用户输入的数据只被当作…

    2025年12月11日
    100
  • PHP代码注入检测注意事项_PHP代码注入检测需要注意的问题

    检测PHP代码注入需重点审查用户输入与代码执行点,确保对GET、POST等输入进行类型验证、白名单过滤及特殊字符转义;禁用eval、assert等高危函数,避免动态代码执行;使用预处理语句防SQL注入,限制文件包含路径,防止恶意文件上传;通过静态与动态分析结合日志监控,及时发现并修复漏洞。 PHP代…

    2025年12月11日
    200
  • PHP怎么配置虚拟主机_PHP虚拟主机设置教程

    配置PHP虚拟主机需选择支持PHP的服务商并购买主机,解析域名至主机IP,上传网站文件到指定目录,通过控制面板设置PHP版本、数据库连接及伪静态规则,最后测试访问。 配置PHP虚拟主机,简单来说,就是让你的网站能够跑起来,并且能用域名访问。这涉及到服务器配置、域名解析以及文件上传等几个关键步骤。 解…

    2025年12月11日
    100
  • PHP如何获取URL中的参数_PHP从URL查询字符串中获取参数的方法

    &lt;blockquote&gt;使用$_GET数组可直接获取URL参数,如$_GET[‘param’];需通过isset()检查参数存在,并用filter_var()验证类型、htmlspecialchars()转义输出以防XSS,预处理语句防SQL注入;…

    好文分享 2025年12月11日
    000
  • 解决AJAX中FormData与额外数据传递难题

    本文旨在解决在使用jQuery AJAX结合FormData进行文件上传时,如何正确地传递额外变量(如ID)到服务器端的问题。我们将深入探讨常见错误及其原因,并提供一个安全高效的解决方案,即通过FormData.append()方法将所有数据统一封装,确保服务器能够正确接收。此外,文章还将强调并提供…

    2025年12月11日
    100
  • 使用 AJAX 上传文件时传递额外数据的方法

    本文档详细介绍了在使用 AJAX 上传文件时,如何正确地将额外数据(如ID)传递到服务器端。重点讲解了 FormData 对象的使用,以及如何避免常见的错误配置,并提供代码示例。同时,本文也强调了服务器端代码安全性,特别是防止 SQL 注入攻击的重要性,并给出了相关的安全建议和资源链接。 通过 Fo…

    2025年12月11日
    000
  • php如何连接到MySQL数据库?php连接MySQL数据库的方法与实践

    PHP连接MySQL推荐使用mysqli或PDO扩展,二者均支持预处理语句以防止SQL注入。mysqli专用于MySQL,提供面向对象和过程式接口;PDO则支持多种数据库,具备更好的可移植性。两者都优于已废弃的旧mysql函数,因后者不支持预处理且存在安全缺陷。实际开发中应通过错误处理机制(如mys…

    2025年12月11日
    000
  • PHP如何防止SQL注入_PHP防范SQL注入攻击的核心策略

    防范SQL注入的核心是预处理语句,它通过将SQL逻辑与数据分离,确保用户输入始终作为数据处理;结合参数绑定,使用PDO或MySQLi扩展可有效阻止恶意SQL执行,从根本上避免注入风险。 PHP防范SQL注入的核心策略,毫无疑问是采用预处理语句(Prepared Statements)配合参数绑定(P…

    2025年12月11日
    000
  • MySQL条件聚合:使用SUM与CASE语句实现字段的按条件求和

    本教程详细介绍了如何在MySQL中实现基于特定条件的字段求和。通过结合SUM()聚合函数和CASE语句,可以精确地对满足特定条件的记录进行数值累加,例如计算特定状态下的总时长,从而解决传统SUM()无法按条件聚合的问题,极大地增强了数据查询的灵活性和精确性。 1. 问题背景与挑战 在数据库查询中,我…

    2025年12月11日
    000
  • WordPress插件开发:自定义数据表的创建与数据初始化策略

    本文探讨在WordPress插件开发中,如何高效地创建自定义数据库表,并在此过程中同步初始化数据。文章将详细介绍dbDelta()函数进行表结构管理,以及$wpdb->insert()和$wpdb->get_results()组合实现数据从现有表到新表的导入,确保插件更新时数据初始化逻辑…

    2025年12月11日
    000

发表回复

登录后才能评论
关注微信