MySQL调优三步曲(慢查询、explain profile)

mysql profile explain slow_query_log分析优化查询 在做性能测试中经常会遇到一些sql的问题,其实做性能测试这几年遇到问题最多还是数据库这块,要么就是IO高要么就是cpu高,所以对数据的优化在性能测试过程中占据着很重要的地方,下面我就介绍一些msyql性能

mysql profile explain slow_query_log分析优化查询

在做性能测试中经常会遇到一些sql的问题,其实做性能测试这几年遇到问题最多还是数据库这块,要么就是IO高要么就是cpu高,所以对数据的优化在性能测试过程中占据着很重要的地方,下面我就介绍一些msyql性能调优过程中经常用到的三件利器:

1、慢查询 (分析出现出问题的sql)

2、Explain (显示了mysql如何使用索引来处理select语句以及连接表。可以帮助选择更好的索引和写出更优化的查询语句)

3、Profile(查询到 SQL 会执行多少时间, 并看出 CPU/Memory 使用量, 执行过程中 Systemlock, Table lock 花多少时间等等.)

首先我们先讲一讲mysql的慢查询

1,配置开启

Linux:

在mysql配置文件my.cnf中增加

log-slow-queries=/var/lib/mysql/slowquery.log (指定日志文件存放位置,可以为空,系统会给一个缺省的文件host_name-slow.log)

long_query_time=2 (记录超过的时间,默认为10s)

log-queries-not-using-indexes (log下来没有使用索引的query,可以根据情况决定是否开启)

log-long-format (如果设置了,所有没有使用索引的查询也将被记录)

Windows:

在my.ini的[mysqld]添加如下语句:

log-slow-queries =E:\web\mysql\log\mysqlslowquery.log

long_query_time = 2(其他参数如上)

2,查看方式

Linux:

使用mysql自带命令mysqldumpslow查看

常用命令

-s ORDER what to sort by (t, at, l, al, r, aretc), ‘at’ is default

-t NUM just show the top n queries

-g PATTERN grep: only consider stmts that includethis string

eg:

s,是order的顺序,说明写的不够详细,俺用下来,包括看了代码,主要有 c,t,l,r和ac,at,al,ar,分别是按照query次数,时间,lock的时间和返回的记录数来排序,前面加了a的时倒序 -t,是top n的意思,即为返回前面多少条的数据 -g,后边可以写一个正则匹配模式,大小写不敏感的

mysqldumpslow -s c -t 20 host-slow.log

mysqldumpslow -s r -t 20 host-slow.log

上述命令可以看出访问次数最多的20个sql语句和返回记录集最多的20个sql。

mysqldumpslow -t 10 -s t -g “left join” host-slow.log这个是按照时间返回前10条里面含有左连接的sql语句。

接下来就是explain

使用方法:

 

执行EXPLAIN SELECT * FROM res_user ORDER BYmodifiedtime LIMIT 0,1000 得到如下结果:

显示结果分析:

table |  type | possible_keys | key |key_len  | ref | rows | Extra
EXPLAIN列的解释:
table
显示这一行的数据是关于哪张表的
type
这是重要的列,显示连接使用了何种类型。从最好到最差的连接类型为const、eq_reg、ref、range、indexhe和ALL
possible_keys
显示可能应用在这张表中的索引。如果为空,没有可能的索引。可以为相关的域从WHERE语句中选择一个合适的语句
key
实际使用的索引。如果为NULL,则没有使用索引。很少的情况下,MYSQL会选择优化不足的索引。这种情况下,可以在SELECT语句中使用USE INDEX(indexname)来强制使用一个索引或者用IGNORE INDEX(indexname)来强制MYSQL忽略索引
key_len
使用的索引的长度。在不损失精确性的情况下,长度越短越好
ref
显示索引的哪一列被使用了,如果可能的话,是一个常数
rows
MYSQL认为必须检查的用来返回请求数据的行数
Extra
关于MYSQL如何解析查询的额外信息。将在表4.3中讨论,但这里可以看到的坏的例子是Using temporary和Using filesort,意思MYSQL根本不能使用索引,结果是检索会很慢

extra列返回的描述的意义
Distinct
一旦MYSQL找到了与行相联合匹配的行,就不再搜索了
Not exists
MYSQL优化了LEFT JOIN,一旦它找到了匹配LEFT JOIN标准的行,
就不再搜索了
Range checked for each
Record(index map:#)
没有找到理想的索引,因此对于从前面表中来的每一个行组合,MYSQL检查使用哪个索引,并用它来从表中返回行。这是使用索引的最慢的连接之一
Using filesort
看到这个的时候,查询就需要优化了。MYSQL需要进行额外的步骤来发现如何对返回的行排序。它根据连接类型以及存储排序键值和匹配条件的全部行的行指针来排序全部行
Using index
列数据是从仅仅使用了索引中的信息而没有读取实际的行动的表返回的,这发生在对表的全部的请求列都是同一个索引的部分的时候
Using temporary
看到这个的时候,查询需要优化了。这里,MYSQL需要创建一个临时表来存储结果,这通常发生在对不同的列集进行ORDER BY上,而不是GROUP BY上
Where used
使用了WHERE从句来限制哪些行将与下一张表匹配或者是返回给用户。如果不想返回表中的全部行,并且连接类型ALL或index,这就会发生,或者是查询有问题

不同连接类型的解释(按照效率高低的顺序排序)
system
表只有一行:system表。这是const连接类型的特殊情况
const
表中的一个记录的最大值能够匹配这个查询(索引可以是主键或惟一索引)。因为只有一行,这个值实际就是常数,因为MYSQL先读这个值然后把它当做常数来对待
eq_ref
在连接中,MYSQL在查询时,从前面的表中,对每一个记录的联合都从表中读取一个记录,它在查询使用了索引为主键或惟一键的全部时使用
ref
这个连接类型只有在查询使用了不是惟一或主键的键或者是这些类型的部分(比如,利用最左边前缀)时发生。对于之前的表的每一个行联合,全部记录都将从表中读出。这个类型严重依赖于根据索引匹配的记录多少—越少越好
range
这个连接类型使用索引返回一个范围中的行,比如使用>或index
这个连接类型对前面的表中的每一个记录联合进行完全扫描(比ALL更好,因为索引一般小于表数据)
ALL
这个连接类型对于前面的每一个记录联合进行完全扫描,这一般比较糟糕,应该尽量避免

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/464544.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
猫眼电影票提前多久购买合适_猫眼电影票最佳购买时间建议
上一篇 2025年11月8日 04:59:39
zabbix最新漏洞,可绕过认证登陆!
下一篇 2025年11月8日 04:59:42

相关推荐

  • Yii如何配置数据库连接(MySQL/PostgreSQL等)?

    yii框架配置数据库连接可以通过以下步骤实现:1) 在config/db.php文件中定义连接,2) 修改dsn参数以支持mysql或postgresql,3) 使用环境变量或独立文件管理敏感信息,4) 配置连接池和启用模式缓存优化性能,5) 支持多数据库连接,6) 动态加载配置以适应不同环境,7)…

    2026年8月27日
    000
  • 在MyBatis多数据源环境下,为什么会出现”No operations allowed after connection closed”错误?添加哪些配置能解决这个问题?

    在mybatis多数据源环境下,如何解决”no operations allowed after connection closed”错误? 在使用MyBatis进行数据库操作时,切换到多数据源配置后,可能会遇到”No operations allowed aft…

    2026年8月27日
    600
  • MyBatis多数据源配置中为什么会出现连接关闭错误?如何解决?

    在使用mybatis配置多数据源时,可能会遇到”no operations allowed after connection closed.”的错误。之前在单数据源环境下没有遇到过这样的问题,并且也没有配置过类似的参数,例如test-while-idle=true。以下是详细…

    2026年8月27日
    300
  • MySQL如何支持强化学习环境 使用MySQL管理强化学习状态和动作数据

    mysql可通过设计episodes、transitions、policies和hyperparameters等表构建结构化数据模型,支持强化学习的数据持久化;2. 数据写入采用批量插入策略以减少i/o开销,读取时利用索引提升采样效率,并结合json或blob字段存储复杂状态与动作;3. 为应对高并…

    2026年8月27日
    000
  • 使用Yii作为微服务架构的后端

    使用yii框架可以有效地构建微服务架构的后端。1) yii的restful api支持强大,适合定义和管理api端点。2) 依赖注入容器便于管理服务间依赖。3) 模块化设计有助于功能拆分和重组。4) 性能优化和最佳实践,如缓存和日志系统,提升服务性能和可靠性。 你想知道如何使用Yii框架来构建微服务…

    2026年8月27日
    000
  • java中文乱码问题 乱码产生原因和修复方案

    java 中文乱码问题主要由字符编码不一致导致,修复方法包括确保系统编码一致性和正确处理编码转换。1. 统一使用 utf-8 编码,从文件到数据库和程序。2. 读取文件时明确指定编码,如使用 bufferedreader 和 inputstreamreader。3. 设置数据库字符集,如 mysql…

    2026年8月26日
    000
  • java中文乱码怎么解决 中文编码问题的排查与修复

    %ignore_a_1%是由于字符编码不一致导致的。解决方法包括:1. 源代码编码设置为utf-8;2. 编译时使用-encoding参数指定utf-8;3. 运行时设置系统属性file.encoding为utf-8;4. 数据库和web应用编码设置为utf-8。 解决Java中文乱码问题是每个开发…

    2026年8月26日
    100
  • 如何在IbexaDXP中实现强大的数据持久化,Composer助你轻松搭建内容平台

    最近在开发一个处理用户提交数据的程序时,遇到了一个棘手的问题:用户输入的文本中包含各种非ASCII字符,例如中文、日文、特殊符号等等。这些字符导致程序在处理字符串时效率低下,甚至出现错误。为了解决这个问题,我尝试了多种方法,最终找到了voku/portable-ascii这个库。Composer在线…

    用户投稿 2026年8月26日
    000
  • MySQL分区表功能详解_大数据量管理与查询效率提升方案

    MySQL分区表功能详解_大数据量管理与查询效率提升方案MySQL分区表功能详解_大数据量管理与查询效率提升方案MySQL分区表功能详解_大数据量管理与查询效率提升方案MySQL分区表功能详解_大数据量管理与查询效率提升方案

    mysql分区表通过将大表按规则拆分为多个物理片段,实现查询性能提升。1.核心机制是“分区裁剪”,使查询仅扫描相关分区;2.降低i/o负载,减少磁盘访问;3.优化范围和等值查询效率;4.局部索引提升写操作效率并增强缓存命中率。常见应用于时间序列数据、历史订单表等场景,选择策略包括合理分区键、类型(r…

    2026年8月26日 用户投稿
    100
  • Laravel Forge服务器管理工具使用指南

    laravel forge是用于部署和管理laravel应用的强大服务器管理工具。使用forge的步骤包括:1. 创建服务器,选择云服务提供商并自动配置;2. 管理站点,通过输入git仓库地址自动克隆和配置;3. 创建和管理数据库,支持mysql和postgresql;4. 设置负载均衡,添加服务器…

    2026年8月26日
    000
  • MySQL中如何实现分页查询_性能优化有哪些技巧?

    MySQL中如何实现分页查询_性能优化有哪些技巧?MySQL中如何实现分页查询_性能优化有哪些技巧?MySQL中如何实现分页查询_性能优化有哪些技巧?MySQL中如何实现分页查询_性能优化有哪些技巧?

    分页查询优化需避免大offset,利用索引提升效率。1.基础分页使用limit,但大数据量时性能差;2.优化方法是通过where条件结合索引跳过前面数据,如select id, name from users where id > 1000 order by id limit 10;3.分页加…

    2026年8月26日 用户投稿
    000
  • 高并发下的连接断开问题分析

    在高并发环境下,连接断开问题可以通过以下措施解决:1. 网络问题:使用重试机制和心跳检测保持连接稳定性。2. 服务器负载:通过负载均衡和资源优化避免连接被强制断开。3. 客户端超时:调整超时时间以防止连接断开。4. 数据库连接池:合理配置连接池参数防止连接资源耗尽。通过这些措施,可以大大降低连接断开…

    2026年8月26日
    100
  • MySQL如何利用缓存提升性能 MySQL查询缓存与Redis结合实践

    mysql查询缓存因写操作频繁导致缓存频繁失效,在多数读写混合场景中弊大于利,常被关闭;2. redis作为外部缓存,凭借内存存储、丰富数据结构和高并发处理能力,可灵活高效地缓存热点数据;3. 采用cache-aside模式,读时先查redis,未命中则查mysql并回填缓存,写时先更新mysql再…

    2026年8月26日
    000
  • 如何用Swoole实现数据库连接池?

    需要数据库连接池是因为它能减少频繁创建和销毁数据库连接的性能开销。1) 数据库连接池预先创建连接供复用,2) 提高系统响应速度和稳定性,3) 降低数据库服务器负担。 在探索如何用Swoole实现数据库连接池之前,让我们先来回答一个关键问题:为什么需要数据库连接池? 数据库连接池的存在是为了解决频繁创…

    2026年8月26日
    000
  • Maestro函数执行指南

    Maestro函数执行指南Maestro函数执行指南Maestro函数执行指南Maestro函数执行指南

    首先,打开SQL Maestro应用程序,并建立与MySQL数据库的连接,以便进行后续操作。 接着,在程序界面的顶部菜单中找到并点击相应选项,以开启数据库浏览器窗口。 然后,从数据库列表中选择需要操作的目标数据库,并完成连接。 进入数据库后,展开对象树,定位到函数节点,准备执行相关管理任务。 在函数…

    2026年8月26日 用户投稿
    100
  • Linux下如何使用yum安装MySQL

    Linux下如何使用yum安装MySQLLinux下如何使用yum安装MySQLLinux下如何使用yum安装MySQLLinux下如何使用yum安装MySQL

    Linux下yum安装MySQL具体步骤  1、先检查系统是否安装有mysql [root@localhost ~]#yum list installed mysql*“[root@localhost ~]#rpm –qa|grep mysql*  2、查看有没有安装包 [root@l…

    2026年8月26日 用户投稿
    100
  • MySQL中的distinct与group by如何使用

    先说大致的结论 : 在语义相同,有索引的情况下:group by和 distinct 都能使用索引,效率相同。 在语义相同,无索引的情况下:distinct 效率高于group by。原因是 distinct 和 group by都会进行分组操作,但group by可能会进行排序,触发 fileso…

    用户投稿 2026年8月26日
    300
  • 备份策略(数据库/代码/文件)设计

    设计有效备份策略至关重要,因为它是数据保护和业务连续性的基石。1)数据库备份:使用mysql脚本自动备份并管理生命周期。2)代码备份:使用git并定期备份到外部存储。3)文件备份:使用云存储并分类管理。 设计一个有效的备份策略对于任何组织或个人来说都是至关重要的,特别是在处理数据库、代码和文件时。这…

    2026年8月26日
    200
  • golang怎么连接mysql数据库

    golang操作mysql 安装 go get “github.com/go-sql-driver/mysql”go get “github.com/jmoiron/sqlx” 连接数据库 var Db *sqlx.DBdb, err := sqlx.Open(“mysql”,”username:p…

    用户投稿 2026年8月26日
    000
  • MySql存储过程循环使用的方法

    MySql存储过程循环使用的方法MySql存储过程循环使用的方法MySql存储过程循环使用的方法MySql存储过程循环使用的方法

    场景描述 我们举一个简单的场景,首先我们可能会有这样一种情况,考试成绩表(t_achievement)有一堆的sql脚本处理,需要依赖另一个学生表(t_student)数据对部分学生做考试成绩汇总记录到成绩汇总表(t_achievement_report)。 解决方案 有一种方式就是通过代码优先将要…

    2026年8月26日 用户投稿
    000

发表回复

登录后才能评论
关注微信