手把手教你把MySQL的binlog玩溜

本篇文章给大家带来了mysql删库和binlog的相关知识,mysql 中的日志比较重要的有 binlog、redo log以及undo log,那么跟我们本文相关的主要是binlog,希望对大家有帮助。

手把手教你把MySQL的binlog玩溜

MySQL 中的日志比较重要的有 binlog(归档日志)、redo log(重做日志)以及 undo log,那么跟我们本文相关的主要是 binlog。

1. binlog

binlog 我们中文一般称作归档日志,如果大家看过松哥之前发的 MySQL 主从搭建,应该对这个日志有印象,当我们搭建 MySQL 主从的时候就离不开 binlog。

binlog 是 MySQL Server 层的日志,而不是存储引擎自带的日志,它记录了所有的 DDL 和 DML(不包含数据查询语句)语句,而且是以事件形式记录,还包含语句所执行的消耗的时间等,需要注意的是:

binlog 是一种逻辑日志,他里边所记录的是一条 SQL 语句的原始逻辑,例如给某一个字段 +1,注意这个区别于 redo log 的物理日志(在某个数据页上做了什么修改)。

binlog 文件写满后,会自动切换到下一个日志文件继续写,而不会覆盖以前的日志,这个也区别于 redo log,redo log 是循环写入的,即后面写入的可能会覆盖前面写入的。

一般来说,我们在配置 binlog 的时候,可以指定 binlog 文件的有效期,这样在到期后,日志文件会自动删除,这样避免占用较多存储空间。

根据 MySQL 官方文档的介绍,开启 binlog 之后,大概会有 1% 的性能损耗,不过这还是可以接受的,一般来说,binlog 有两个重要的使用场景:

MySQL 主从复制时:在主机上开启 binlog,主机将 binlog 同步给从机,从机通过 binlog 来同步数据,进而实现主机和从机的数据同步。

MySQL 数据恢复,通过使用 mysqlbinlog 工具再结合 binlog 文件,可以将数据恢复到过去的某一时刻。

2. 开启 binlog

为了演示方便,松哥这里在 Docker 中安装了 MySQL,我们以此为例来开始今天的演示。如果小伙伴们还不懂 docker 的使用,可以在公众号后台回复 docker,有松哥写的教程。

首先我们在 docker 中安装好 MySQL,然后进入到容器中,通过如下命令可以查看 binlog 是否开启:

01.png

这个 OFF 就表示 binlog 是一个关闭状态,没有开启,接下来我们来开启 binlog。

开启 binlog 主要是修改 MySQL 的配置文件 mysqld.cnf,该文件在容器的 /etc/mysql/mysql.conf.d 目录下。

02.png

针对该配置文件,我们做如下修改:

# 这个参数表示启用 binlog 功能,并指定 binlog 的存储目录log-bin=javaboy_logbin# 设置一个 binlog 文件的最大字节# 设置最大 100MBmax_binlog_size=104857600# 设置了 binlog 文件的有效期(单位:天)expire_logs_days = 7# binlog 日志只记录指定库的更新(配置主从复制的时候会用到)#binlog-do-db=javaboy_db# binlog 日志不记录指定库的更新(配置主从复制的时候会用到)#binlog-ignore-db=javaboy_no_db# 写缓存多少次,刷一次磁盘,默认 0 表示这个操作由操作系统根据自身负载自行决定多久写一次磁盘# 1 表示每一条事务提交都会立即写磁盘,n 则表示 n 个事务提交才会写磁盘sync_binlog=0# 为当前服务取一个唯一的 id(MySQL5.7 之后需要配置)server-id=1

各项配置的含义已经在注视中说明了。截图如下:

03.png

配置完成后,执行如下命令重启 mysql 容器(mysql1 是我这里容器的名字):

docker restart mysql1

重启之后,再次执行 show variables like ‘log_bin%’; 即可看到 binlog 已经开启了。

04.png

这里除了 log_bin 变量外,还有两个变量名也值得我们关注:

log_bin_basename:这个是将来产生的 binlog 日志文件的名称前缀,换句话说,根据大家目前所看到的配置,将来产生的 binlog 日志文件名为 javaboy_logbin.xxx,这个文件中将会用来记录所有的 DDL 和 DML 语句事件。

log_bin_index:这个是 binlog 的索引文件,保存了所有 binlog 的目录,因为 binlog 可能会有多个。我们可以来查看一下现在的 javaboy_logbin.index 文件:

05.png

可以看到,目前只有一个 logbin 文件。

3. 常见 binlog 操作

接下来我们再来介绍几个常见的 binlog 操作命令。

查看所有 binlog 日志

通过如下方式我们可以查看 binlog 日志列表:

show master logs;

06.png

可以看到,我这里目前只有一个日志文件,文件名为 javaboy_logbin.000001,File_size 表示这个文件占用的字节大小是 154。

查看 master 状态

这个命令我们在搭建 MySQL 主从的时候经常会用到,如下:

07.png

这个时候可以看到最新的 binlog 日志文件名称以及最后一个操作事件的 Position 值(这个值有啥用,我们后面会给大家详细介绍)。

刷新 binlog

正常来说,一个 binlog 写满之后,会自动切换到下一个 binlog 开始写,不过我们也可以执行一个 flush logs 命令来手动刷新 binlog,手动刷新 binlog 之后,就会产生一个新的 binlog 日志文件,接下来所有的 binlog 日志都将记录到新的文件中。如下:

08.png

由上图可以看到,我们刷新日志之后,再通过 show master logs 去查看日志,发现日志文件已经多了一个新产生的了,然后再通过 show master status 去查看最新的日志文件信息,发现也已经变为 javaboy_logbin.000002。

重置 binlog

reset master 可以重置 binlog 日志文件,让日志重新从 000001 开始记录,不过如果当前主机有一个或者多个从机在运行,那么该命令就运行不了(因为从机是通过 binlog 来实现数据库同步的,主机把 binlog 清空了,从机会报找不到 binlog 的错误)。

09.png

查看 binlog

由于 binlog 是二进制日志文件,所以要是直接打开,那肯定是看不了的:

10.png

没有看到任何有用的信息。

为了查看 binlog,MySQL 为我们提供了两个官方工具,我们一个一个来看,首先是 mysqlbinlog 命令,如下:

11.png

虽然看起来乱糟糟的,不过仔细看着其实都有迹可循。因为我这里是一个新安装的数据库,里边只是创建了一个名为 javaboy 的库,然后创建了一个名为 user 的表加了两条数据,其他什么事情都没做,所以创建库的脚本我们其实能够从纷杂的文件中找到。

产生的日志文件中有一个 end_log_pos 是日志文件的 pos 点,这个将来在数据恢复的时候有用。

不过这种查看方式不够人性化,我们说 binlog 是按照事件来记录日志的,所以如果我们能够按照事件的方式查看日志,就会好很多,我们再来看看如下一个命令:

show binlog events [IN 'log_name'] [FROM pos] [LIMIT [offset,] row_count];

这个表示以事件的方式来查看 binlog,这里涉及到几个参数:

log_name:可以指定要查看的 binlog 日志文件名,如果不指定的话,表示查看最早的 binlog 文件。

pos:从哪个 pos 点开始查看,凡是 binlog 记录下来的操作都有一个 pos 点,这个其实就是相当于我们可以指定从哪个操作开始查看日志,如果不指定的话,就是从该 binlog 的开头开始查看。

offset:这是是偏移量,不指定默认就是 0。

row_count:查看多少行记录,不指定就是查看所有。

我们来看一个简单的例子:

show binlog events in 'javaboy_logbin.000001';

12.png

这下就清晰多了,我们可以看到之前的所有操作,例如:

在 Pos 219-322 之间创建了一个库。

在 Pos 387-537 之间创建了一张表。

在 Pos 677-780 之间添加了一条记录。

4. 数据恢复实战

好啦,有了前面的基础知识准备,接下来松哥来给大家手把手演示一个删库/恢复的场景。

我先来说说我这个数据库目前的情况。

这是一个新安装的数据库,里边我新建了一个数据库名为 javaboy,javaboy 库中新建了一张表名为 user,user 中有两条记录,如下:

13.png

现在假设我们定期(每周三凌晨三点)对数据库进行备份。

现在凌晨三点了,数据库自动备份开始了,我们通过如下命令将数据库备份成 SQL 脚本,如下:

mysqldump -uroot -p --flush-logs --lock-tables -B javaboy>/root/javaboy.bak.sql

14.png

这里有几个参数跟大家解释下:

-u、-p 这两个就不用说了。

–flush-logs:这个表示在导出之前先刷新 binlog,刷新 binlog 之后将会产生新的 binlog 文件,后续的操作都存在新的 binlog 中。

–lock-tables:这个表示开始导出前,锁定所有表。需要注意的是当导出多个数据库时,–lock-tables 分别为每个数据库锁定表,因此这个选项不能保证导出文件中的表在数据库之间的逻辑一致性,不同数据库表的导出状态可以完全不同。

-B:这个表示指定导出的数据库名称,如果使用 –all-databases 或者 -A 代替 -B 表示导出所有的数据库。

以上命令执行完成后,会在 /root 目录下生成一个 javaboy.bak.sql 文件,该文件就是备份的 sql 文件了。

这是星期三凌晨三点发生的事情。

接下来到了星期四早上,来上班了,一顿操作后,往数据库中又添加了两条操作,如下:

15.png

接下来,小 X 今天跟领导吵架了很不爽,决定删除跑路:

16.png

领导发现了大惊,当即要求立马恢复数据。这时候该你表现了。

首先,我们有星期三凌晨的备份文件,先用那个文件进行数据恢复:

17.png

恢复之后,现在到星期三早上凌晨三点的数据有了。

从星期三早上凌晨三点到星期四的数据现在没了。

这个时候我们就要借助于 binlog 来恢复了。大家还记得,我们星期三凌晨三点执行备份的时候,用了一个参数叫做 –flush-logs,使用了该参数表示从备份那一刻起,新的 binlog 将产生在一个新的日志文件中,对于我们这里来说,新的 binlog 文件当然就是 javaboy_logbin.000002 了,我们去查看一下该文件:

show binlog events in 'javaboy_logbin.000002';

我这里生成的该文件比较长,我截取其中一部分:

18.png

可以看到,在 764-865 这个 Pos 中发生了删库跑路事件,那么我们只需要回放该文件将数据恢复到 764 这个位置即可。

由于 javaboy_logbin.000002 文件是在星期三凌晨三点备份之后产生的新文件,因此这个文件从起始到 764 这个 Pos 之间的操作,就是星期三凌晨三点到删库之前的操作了。

那么我们来看下通过 binlog 来恢复数据的命令:

mysqlbinlog /var/lib/mysql/javaboy_logbin.000002 --stop-position=764 --database=javaboy | mysql -uroot -p

那么这里涉及到两个参数:

–stop-position=764 表示恢复到 764 这个 Pos,不指定的话就把按整个文件恢复了,如果按当前文件恢复的话,由于这个 binlog 文件中有删除数据库的语句,那么就会导致执行完该 binlog 之后,javaboy 库又被删除了。

–database=javaboy 表示恢复 javaboy 这个库。

另外还有一个我们这里没用到的参数叫做 –start-position,这个表示起始的 Pos,不指定的话表示从头开始数据恢复。

好啦,弄完之后,再来查看数据库:

19.png

数据恢复啦~

注意:所有操作之前,记得该备份就备份(防止你操作错了又回不去),松哥为了省事上面省略了一些备份操作。

5. 小结

好啦,今天这篇文章主要是和小伙伴们分享了 MySQL 的 binlog 日志,并通过一个小案例来演示如何通过 binlog 实现数据库的删库恢复。好啦,感兴趣的小伙伴可以试试哦(别在生产库上试哦)~

推荐学习:mysql视频教程

以上就是手把手教你把MySQL的binlog玩溜的详细内容,更多请关注创想鸟其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/180139.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2025年11月1日 07:01:49
下一篇 2025年11月1日 07:02:39

相关推荐

  • SOAP与数据库交互?如何连接数据库?

    SOAP通过中间层实现数据库交互,需接收并解析SOAP消息,连接数据库执行操作后返回响应;常见安全问题包括SQL注入、XXE、DoS及认证风险,应通过参数化查询、禁用外部实体、限流和RBAC等措施防范;性能优化可采用压缩、缓存、连接池、异步处理等手段;相比之下,RESTful API、GraphQL…

    2025年12月17日
    000
  • Kotlin怎么使用DOM方式解析XML配置文件?

    dom解析适用于文件较小且需频繁随机访问或修改的场景,局限性在于内存消耗大,不适合大文件解析;1. 使用documentbuilderfactory创建documentbuilder解析xml为document对象;2. 通过getelementsbytagname获取节点列表并遍历;3. 检查no…

    2025年12月17日
    000
  • RSS如何实现搜索功能?

    rss本身不提供搜索功能,需通过客户端或服务端实现。1.客户端本地搜索依赖阅读器存储的数据,优点是隐私性好,但仅限于已订阅内容;2.服务端搜索由网站提供,可搜索全部内容,速度快范围广;3.构建自定义搜索应用需考虑数据抓取、存储、索引、去重及用户界面设计。 RSS本身并没有内置的搜索功能。它更多是一种…

    2025年12月17日
    000
  • xml格式的数据库备份怎么恢复 分步指导恢复xml格式数据库备份文件

    要恢复xml数据库备份文件,需解析数据并插入对应表结构。具体步骤如下:一、确认xml结构,查看标签与表、字段的对应关系;二、准备目标数据库环境,确保表结构一致并处理主外键依赖;三、根据数据量选择恢复方式,小量可手动写sql插入,大量则用脚本(如python)自动解析并插入;四、恢复后执行查询验证数据…

    2025年12月17日
    000
  • xml怎么和数据库交互数据 实现xml与数据库数据交互的完整方案

    xml与数据库交互的核心是解析xml并映射字段至数据库表,具体步骤为:1.明确xml结构和数据库表结构;2.使用解析工具提取xml数据;3.通过参数化sql插入或更新数据库;4.从数据库查询数据并生成xml文件。整个过程需注意字段匹配、批量处理、空值及编码问题,确保数据准确性和完整性。 XML 和数…

    2025年12月17日
    000
  • 如何使用Golang实现基础论坛功能_Golang论坛模块拆解

    Golang论坛用户系统需实现注册、登录与权限管理:用Gin/Echo+GORM操作数据库,密码bcrypt哈希,JWT签发含user_id和role的token,中间件统一校验;注册校验唯一性,登录返回token及有效期,敏感操作按role严格控制。 用户系统:注册、登录与权限管理 论坛最基础的是…

    2025年12月17日
    000
  • Go中如何优雅处理数据库连接错误_Go DB Error处理方法

    Go中数据库错误处理核心是分层预防与精准归因:初始化时Ping验证连接,运行时用errors.Is和驱动错误类型区分网络超时、认证失败等场景,结合上下文超时与连接池配置实现可观测的健壮性。 Go 中处理数据库连接错误,关键不是“捕获 panic”,而是提前预防、分层判断、明确归因。标准库 datab…

    2025年12月17日
    000
  • 如何使用Golang反射构建灵活的工厂模式_Golang reflect工厂方法实现解析

    Golang反射工厂模式通过注册类型映射表实现运行时按名创建实例,支持带参构造与类型安全封装,适用于插件系统、配置驱动初始化等场景。 用 Golang 反射实现工厂模式,核心是绕过编译期类型绑定,让程序在运行时根据字符串、配置或用户输入动态创建结构体实例。它不替代传统接口+构造函数的工厂,而是解决“…

    2025年12月17日
    000
  • Golang如何优化数据库连接池使用_Golang数据库连接池性能管理实践

    合理配置Go的database/sql连接池可显著提升高并发服务性能。1. 理解连接池机制:SetMaxOpenConns控制最大并发连接,SetMaxIdleConns管理空闲连接,SetConnMaxLifetime和SetConnMaxIdleTime避免陈旧连接。2. 根据负载调优:OLTP…

    2025年12月16日
    000
  • Go database/sql 查询结果行数获取策略与实践

    在go语言的`database/sql`包中,直接获取`*sql.rows`返回的行数并非标准操作,因为它提供的是一个前向游标。本文将探讨两种主要策略:执行独立的`count(*)`查询(适用于分页等场景,但需注意竞态条件)和通过迭代`*sql.rows`游标进行计数(最可靠但需遍历全部结果)。我们…

    2025年12月16日
    000
  • 如何在Golang中开发问卷调查系统_Golang 问卷调查系统实战

    答案:基于Golang的问卷系统包含创建、发布、填写和查看结果功能,使用Gin框架与GORM操作数据库,通过HTML模板实现前端交互,结构清晰,便于扩展。 开发一个问卷调查系统在Golang中是一个实用且常见的项目,适合练习Web开发、数据库设计和用户交互处理。下面从需求分析到核心功能实现,一步步带…

    2025年12月16日
    000
  • Golang如何使用抽象工厂模式创建多产品族_Golang Abstract Factory模式应用技巧

    Go通过接口与组合实现抽象工厂模式,适用于创建多个相关产品族,如多数据库支持;定义产品与工厂接口,各产品族实现对应接口,结合配置动态切换工厂实例,提升系统可扩展性。 在Go语言中,虽然没有传统面向对象语言中的抽象类或接口继承机制,但通过接口(interface)和结构体组合,可以优雅地实现抽象工厂模…

    2025年12月16日
    000
  • Go database/sql:获取查询结果行数的策略与实践

    在go语言的`database/sql`包中,无法在不遍历结果集的情况下直接获取查询返回的行数。本文将深入探讨两种主流策略:一是通过独立的`count(*)`查询获取总行数,适用于分页场景但需注意并发问题;二是遍历`*sql.rows`结果集进行计数,确保获取实际处理的行数。我们将分析这两种方法的优…

    2025年12月16日
    000
  • Go语言中的Type Switch:深度解析接口类型判断机制

    本文深入探讨go语言中switch语句结合type关键字实现的类型切换(type switch)机制。它允许开发者在运行时根据接口变量的实际底层类型执行不同的代码逻辑,是处理多态性、实现灵活类型转换的关键工具,尤其适用于处理异构数据源或需要动态类型识别的场景,如数据库驱动和抽象语法树(ast)处理。…

    2025年12月16日
    000
  • 如何用Golang实现留言板功能_Golang 留言板功能实践

    首先定义留言结构体并实现HTTP路由处理,使用net/http包搭建服务,内存存储消息并支持GET/POST请求,前端通过JavaScript调用API实现展示与提交功能。 实现一个基础的留言板功能,使用 Golang 可以快速搭建出轻量、高效的后端服务。整个流程包括定义数据结构、处理 HTTP 请…

    2025年12月16日
    000
  • Go语言中switch … .(type)的用法与实践

    go语言中的类型切换(type switch)是一种强大的语言特性,它允许开发者在运行时根据接口变量的实际动态类型执行不同的代码逻辑。通过`switch v := interfacevar.(type)`语法,可以在不同的`case`分支中获取并处理接口变量的具体类型,这在处理泛型数据或实现特定接口…

    2025年12月16日
    000
  • Go语言中的类型开关(Type Switch)详解

    本文深入探讨Go语言中switch语句结合type关键字实现的类型开关(Type Switch)机制。它允许程序在运行时根据接口变量的实际底层类型执行不同的代码分支,是处理多态行为和实现灵活类型转换的关键工具,尤其适用于数据库驱动、抽象语法树(AST)处理等需要动态类型判断的场景。 在Go语言中,接…

    2025年12月16日
    000
  • Go语言中实现数据库查询结果的按列名映射:提升代码健壮性与可维护性

    在Go语言的`database/sql`包中,默认的查询结果扫描方式依赖于列的位置,这在数据库表结构变动时极易导致代码错误。本文将深入探讨如何克服这一限制,通过使用第三方库(如sqlx)或利用Go的反射机制,实现基于列名的字段值检索。这种方法能显著提升代码的健壮性和可维护性,同时解决仅获取部分查询结…

    2025年12月16日
    000
  • Golang如何使用延迟初始化提高启动性能_Golang 延迟初始化优化实践

    延迟初始化指将资源初始化推迟到首次使用时,Go中可通过sync.Once或Go 1.21的sync.Lazy实现,适用于数据库连接、配置加载等非核心组件,能显著降低启动耗时,提升微服务和Serverless场景下的冷启动性能。 在Go应用启动过程中,有些资源或组件并不需要在程序启动时立即初始化。如果…

    2025年12月16日
    000
  • 如何在Golang中实现用户积分管理_Golang 积分管理系统实践

    答案:在Golang中构建积分系统需设计UserPoint和PointRecord结构体,实现AddPoints函数并通过事务保证一致性,使用行锁或乐观锁解决并发问题,结合数据库持久化与索引优化,提供查询接口并建议引入日志与traceID追踪。 在 Golang 中实现用户积分管理系统,关键在于设计…

    2025年12月16日
    000

发表回复

登录后才能评论
关注微信