Mysql锁内部实现机制是什么

概述

尽管现代关系型数据库越来越相似,但它们的实现背后可能有着截然不同的机制。实际使用方面,因为sql语法规范的存在使得我们熟悉多种关系型数据库并非难事,但是有多少种数据库可能就有多少种锁的实现方法。

Microsoft Sql Server2005之前只提供页锁,直到2005版本才开始支持乐观并发、悲观并发,乐观模式下允许实现行级别锁,在Sql Server的设计中锁是一种稀缺资源,锁的数量越多,开销就越大,为了避免因为锁的数量快速攀升导致性能断崖式下跌,其支持一种称为锁升级的机制,一旦行锁升级为页锁,并发性能就又回到原点。

事实上,在同一个数据库中,不同的执行引擎对锁定功能的解释仍然存在许多争议。MyISAM只支持表级锁定,用于并发读取还好,但在并发修改方面存在一定局限性。Innodb则和Oracle非常相似,提供非锁定一致性读取、行锁支持,与Sql Server明显不同的是随着锁总数的上升,Innodb仅仅只需要付出一点点代价。

行锁结构

Innodb支持行锁,且对于锁的描述并不会存在特别大的开销。因此不需要锁升级这一机制作为大量锁导致性能下降之后的抢救措施。

摘自lock0priv.h文件,Innodb对于行锁的定义如下:

/** Record lock for a page */struct lock_rec_t {    /* space id */    ulint  space;    /* page number */    ulint  page_no;    /**     * number of bits in the lock bitmap;      * NOTE: the lock bitmap is placed immediately after the lock struct      */    ulint  n_bits;};

虽然并发控制可以在行级别进行细化,但锁的管理方式是以页为单位进行组织的。Innodb的设计中通过space id、page number两个必要条件就可以确定唯一一个数据页,n_bits表示描述该页行锁信息需要多少bit位。

同一数据页中每条记录都分配唯一的连续的递增序号:heap_no,若要知道某一行记录是否上锁,则只需要判断位图heap_no位置的数字是否为一即可。由于lock bitmap根据数据页的记录数量进行内存空间分配的,因此没有显式定义,且该页记录可能还会继续增加,因此预留了LOCK_PAGE_BITMAP_MARGIN大小的空间。

/**  * Safety margin when creating a new record lock: this many extra records * can be inserted to the page without need to create a lock with  * a bigger bitmap */#define LOCK_PAGE_BITMAP_MARGIN 64

假设space id = 20,page number = 100的数据页目前有160条记录,heap_no为2、3、4的记录已经被锁,则对应的lock_rec_t结构与数据页应该被这样刻画:

Mysql锁内部实现机制是什么

注:

内存中的lock bitmap应该是线性分布的,图中所示二维结构是为了方便描述

bitmap与lock_rec_t结构是一块连续内存,图中引用关系也是绘图需要

可以看到该页对应的bitmap第二三四位置全部置一,描述一个数据页行锁所消耗内存从感官上相当有限,那具体占用多少呢?我们可以计算一下:

160 / 8 + 8 + 1 = 29byte。

160条记录对应160bit

+8是因为需要预留出64bit

+1是因为源码中还预留了1字节

为了避免结果数值偏小的问题,这里额外添加了+1。这样可以避免整除导致误差产生。假如是161条记录如果不+1则计算出来的20byte不够描述所有记录的锁信息(不动用预留位)。

摘自lock0priv.h文件:

/* lock_rec_create函数代码片段 */n_bits = page_dir_get_n_heap(page) + LOCK_PAGE_BITMAP_MARGIN;n_bytes = 1 + n_bits / 8;/* 注意这里是分配的连续内存 */lock = static_cast(    mem_heap_alloc(trx->lock.lock_heap, sizeof(lock_t) + n_bytes));/** * Gets the number of records in the heap. * @return number of user records  */UNIV_INLINE ulint page_dir_get_n_heap(const page_t* page){    return(page_header_get_field(page, PAGE_N_HEAP) & 0x7fff);}

表锁结构

Innodb还支持表锁,表锁可分为两大类:意向锁,自增锁其数据结构定义如下:

灵机语音 灵机语音

灵机语音

灵机语音 56 查看详情 灵机语音

摘自lock0priv.h文件

struct lock_table_t {    /* database table in dictionary cache */    dict_table_t*  table;    /* list of locks on the same table */    UT_LIST_NODE_T(lock_t)  locks;};

摘自ut0lst.h文件

struct ut_list_node {    /* pointer to the previous node, NULL if start of list */    TYPE*  prev;    /* pointer to next node, NULL if end of list */    TYPE*  next;};#define UT_LIST_NODE_T(TYPE)  ut_list_node

事务中锁的描述

上述lock_rec_t、lock_table_t结构只是单独的定义,锁产生于事务之中,因此每个事务对应的行锁、表锁会有一个相应的锁的结构,其定义如下:

摘自lock0priv.h文件

/** Lock struct; protected by lock_sys->mutex */struct lock_t {    /* transaction owning the lock */    trx_t*  trx;    /* list of the locks of the transaction */    UT_LIST_NODE_T(lock_t)  trx_locks;    /**      * lock type, mode, LOCK_GAP or LOCK_REC_NOT_GAP,     * LOCK_INSERT_INTENTION, wait flag, ORed      */    ulint  type_mode;    /* hash chain node for a record lock */    hash_node_t  hash;    /*!< index for a record lock */    dict_index_t*  index;    /* lock details */    union {        /* table lock */        lock_table_t  tab_lock;        /* record lock */        lock_rec_t  rec_lock;    } un_member;};

lock_t是根据每个事务每个页(或表)来定义的,但是一个事务往往涉及到多个页,因此需要链表trx_locks串联起一个事务相关的所有锁信息。除了需要根据事务查询到所有锁信息,实际场景还要求系统必须能够快速高效的检测出某个行记录是否已经上锁。因此必须有一个全局变量支持对行记录进行锁信息的查询。Innodb选择了哈希表,其定义如下:

摘自lock0lock.h文件

/** The lock system struct */struct lock_sys_t {    /* Mutex protecting the locks */    ib_mutex_t  mutex;    /* 就是这里: hash table of the record locks */    hash_table_t*  rec_hash;    /* Mutex protecting the next two fields */    ib_mutex_t  wait_mutex;    /**      * Array  of user threads suspended while waiting forlocks within InnoDB,     * protected by the lock_sys->wait_mutex      */    srv_slot_t*  waiting_threads;    /*     * highest slot ever used in the waiting_threads array,     * protected by lock_sys->wait_mutex      */    srv_slot_t*  last_slot;    /**      * TRUE if rollback of all recovered transactions is complete.      * Protected by lock_sys->mutex      */    ibool  rollback_complete;    /* Max wait time */    ulint  n_lock_max_wait_time;    /**     * Set to the event that is created in the lock wait monitor thread.     * A value of 0 means the thread is not active     */    os_event_ttimeout_event;    /* True if the timeout thread is running */    bool  timeout_thread_active;};

函数lock_sys_create在database start之际负责初始化lock_sys_t结构。srv_lock_table_size变量决定了rec_hash中哈希槽数量的大小。The key value of the rec_hash hash table is computed by using the space id and page number of the page.。

摘自lock0lock.ic、ut0rnd.ic 文件

/** * Calculates the fold value of a page file address: used in inserting or * searching for a lock in the hash table. * * @return folded value  */UNIV_INLINE ulint lock_rec_fold(ulint space, ulint page_no){    return(ut_fold_ulint_pair(space, page_no));}/** * Folds a pair of ulints. * * @return folded value  */UNIV_INLINE ulint ut_fold_ulint_pair(ulint n1, ulint n2){    return (        (            (((n1 ^ n2 ^ UT_HASH_RANDOM_MASK2) << 8) + n1)            ^ UT_HASH_RANDOM_MASK        )         + n2    );}

这将意味着无法提供一个手段使得我们可以直接得知某一行是否上锁。而是应该先通过其所在的页得到space id、page number通过lock_rec_fold函数得出key值而后经过hash查询得到lock_rec_t,而后根据heap_no扫描bit map,最终确定锁信息。lock_rec_get_first函数实现了上述逻辑:

这里返回的其实是lock_t对象,摘自lock0lock.cc文件

/** * Gets the first explicit lock request on a record. * * @param block   : block containing the record  * @param heap_no : heap number of the record  * * @return first lock, NULL if none exists  */UNIV_INLINE lock_t* lock_rec_get_first(const buf_block_t* block, ulint heap_no){    lock_t*  lock;    ut_ad(lock_mutex_own());    for (lock = lock_rec_get_first_on_page(block); lock;         lock = lock_rec_get_next_on_page(lock)    ) {        if (lock_rec_get_nth_bit(lock, heap_no)) {            break;        }    }    return(lock);}

以页面为粒度进行锁维护并非最直接有效的方式,它明显是时间换空间,不过这种设计使得锁开销很小。某一事务对任一行上锁的开销都是一样的,锁数量的上升也不会带来额外的内存消耗。

对应每个事务的内存对象trx_t中,包含了该事务的锁信息链表和等待的锁信息。因此存在如下两种途径对锁进行查询:

根据事务: 通过trx_t对象的trx_locks链表,再通过lock_t对象中的trx_locks遍历可得某事务持有、等待的所有锁信息。

根据记录: 根据记录所在的页,通过space id、page number在lock_sys_t结构中定位到lock_t对象,扫描bitmap找到heap_no对应的bit位。

上述各种数据结构,对其整理关系如下图所示:

Mysql锁内部实现机制是什么

注:

lock_sys_t中的slot颜色与lock_t颜色相同则表明lock_sys_t slot持有lock_t 指针信息,实在是没法连线,不然图很混乱

以上就是Mysql锁内部实现机制是什么的详细内容,更多请关注创想鸟其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/259292.html

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
一个意外错误使您无法复制该文件的6种解决方案
上一篇 2025年11月4日 08:32:11
Xilinx下载器驱动提示“系统找不到指定的路径”的解决办法
下一篇 2025年11月4日 08:32:19

相关推荐

  • 技术同学须知的MySQL设计规约,为你的数据库开发保驾护航!

    技术同学须知的MySQL设计规约,为你的数据库开发保驾护航!技术同学须知的MySQL设计规约,为你的数据库开发保驾护航!技术同学须知的MySQL设计规约,为你的数据库开发保驾护航!技术同学须知的MySQL设计规约,为你的数据库开发保驾护航!

    技术同学须知的MySQL设计规约,为你的数据库开发保驾护航! MySQL作为一种常用的关系型数据库管理系统,被广泛应用于各种应用场景中。在数据库设计和开发过程中,良好的规约是确保数据库系统高效、可靠运行的关键。本文将为技术同学提供一份MySQL设计规约,帮助你保驾护航你的数据库开发。 一、命名规约 …

    2026年9月30日 • 用户投稿
    200
  • MySQL如何实现字段自增步长 非1自增步长设置技巧

    MySQL如何实现字段自增步长 非1自增步长设置技巧MySQL如何实现字段自增步长 非1自增步长设置技巧MySQL如何实现字段自增步长 非1自增步长设置技巧MySQL如何实现字段自增步长 非1自增步长设置技巧

    mysql字段自增步长非1的实现方法主要有两种:一是通过设置auto_increment_increment和auto_increment_offset系统变量,例如set auto_increment_increment=5; set auto_increment_offset=10; 可使id从…

    2026年9月30日 • 用户投稿
    600
  • MySQL怎样合并多个表 多表联合查询与数据合并

    MySQL怎样合并多个表 多表联合查询与数据合并MySQL怎样合并多个表 多表联合查询与数据合并MySQL怎样合并多个表 多表联合查询与数据合并MySQL怎样合并多个表 多表联合查询与数据合并

    mysql合并多个表的常见方法有联合查询(join)和数据合并(union或insert select)。1. join用于逻辑连接表,按关联列组合行,包括inner join(仅匹配行)、left join(左表全显示)、right join(右表全显示)及通过left+right join模拟的…

    2026年9月30日 • 用户投稿
    200
  • Ubuntu下MySQL主从同步配置步骤

    Ubuntu下MySQL主从同步配置步骤Ubuntu下MySQL主从同步配置步骤Ubuntu下MySQL主从同步配置步骤Ubuntu下MySQL主从同步配置步骤

    1)在ubuntu中安装mysql,并使用docker安装另一台mysql 为了确保主从同步时多台MySQL的版本一致,假设Ubuntu中已安装的MySQL版本为5.7.22,以下是获取相同版本的Docker镜像的步骤: docker image pull mysql:5.7.22 或 docker…

    2026年9月30日 • 用户投稿
    100
  • MySQL如何压缩数据库 表空间压缩与备份压缩方案

    MySQL如何压缩数据库 表空间压缩与备份压缩方案MySQL如何压缩数据库 表空间压缩与备份压缩方案MySQL如何压缩数据库 表空间压缩与备份压缩方案MySQL如何压缩数据库 表空间压缩与备份压缩方案

    mysql数据库压缩需求评估需先明确数据类型与业务场景。1.文本数据压缩率高,图片、视频等二进制数据压缩效果差;2.频繁读写数据压缩可能影响性能,冷数据压缩收益更高;3.通过查询information_schema分析大表与低频更新表;4.使用监控工具评估压缩前后性能影响。表空间压缩方法包括:1.使…

    2026年9月30日 • 用户投稿
    200
  • Sublime进行数据库索引优化分析_提升数据查询性能与响应速度

    Sublime进行数据库索引优化分析_提升数据查询性能与响应速度Sublime进行数据库索引优化分析_提升数据查询性能与响应速度Sublime进行数据库索引优化分析_提升数据查询性能与响应速度Sublime进行数据库索引优化分析_提升数据查询性能与响应速度

    使用sublime text辅助数据库索引优化分析,一、通过慢查询日志定位瓶颈,利用多行选择和正则表达式筛选耗时sql;二、结合执行计划判断索引使用情况,关注type和extra字段;三、检查表结构与索引定义,优化复合索引顺序及删除冗余索引。 在处理大量数据时,数据库的查询性能直接影响到系统的响应速…

    2026年9月30日 • 用户投稿
    100
  • 服务器上安装Mysql8.0

    服务器上安装Mysql8.0服务器上安装Mysql8.0服务器上安装Mysql8.0服务器上安装Mysql8.0

    本教程适用于社区版mysql,供日常学习交流使用,不得用于商业用途。如需商业用途,请通过官方渠道购买正版产品。 第一步,准备好连接工具。我直接使用了控制台的远程连接。如果不是在自己电脑上操作,通常会使用xshell进行连接,操作流程基本相同。 连接到ECS后,需移除默认的MariaDB数据库: yu…

    2026年9月30日 • 用户投稿
    500
  • sublime如何优化SQL编写体验 sublime数据库查询的高效技巧

    sublime如何优化SQL编写体验 sublime数据库查询的高效技巧sublime如何优化SQL编写体验 sublime数据库查询的高效技巧sublime如何优化SQL编写体验 sublime数据库查询的高效技巧sublime如何优化SQL编写体验 sublime数据库查询的高效技巧

    安装package control后,通过其安装sqltools及对应数据库驱动插件以实现语法高亮、代码片段和数据库连接;2. 配置sqltools用户设置中的数据库连接信息,并利用内置或自定义代码片段快速生成sql语句;3. 安装sql beautifier进行代码格式化,结合sublimelin…

    2026年9月30日 • 用户投稿
    400
  • Linux下MySQL 8.0 二进制安装

    mysql社区版:开源且免费,但不提供技术支持,需搭配其他开源工具使用。 MySQL企业版:与社区版代码相同,通过插件提供额外功能,如线程插件、审计插件等。 MySQL Cluster CGE集群商业版:实时开源事务数据库,设计用于高吞吐量环境下快速、持久地访问数据。支持并行分布式查询引擎、自动分区…

    2026年9月30日
    100
  • 如何在Red Hat 8上配置MySQL高可用集群的详细步骤?

    如何在Red Hat 8上配置MySQL高可用集群的详细步骤?如何在Red Hat 8上配置MySQL高可用集群的详细步骤?如何在Red Hat 8上配置MySQL高可用集群的详细步骤?如何在Red Hat 8上配置MySQL高可用集群的详细步骤?

    配置MySQL高可用集群,说白了就是让你的数据库扛得住压力,不怕宕机。Red Hat 8上搞这个,其实挺考验运维功底的,但也不是啥高不可攀的事儿。 解决方案 准备环境: 至少三台Red Hat 8服务器。 别想着一台机器玩转高可用,那是耍流氓。确保服务器之间网络互通,防火墙放行MySQL和集群通信端…

    2026年9月30日 • 用户投稿
    100
  • MySQL如何实现跨库事务 XA分布式事务处理方案

    MySQL如何实现跨库事务 XA分布式事务处理方案MySQL如何实现跨库事务 XA分布式事务处理方案MySQL如何实现跨库事务 XA分布式事务处理方案MySQL如何实现跨库事务 XA分布式事务处理方案

    有,更轻量级方案包括柔性事务,如1.tcc(try-confirm-cancel)由应用层实现,通过预扣、确认或回滚操作处理分布式事务;2.saga模式将事务拆分为多个本地事务并配有补偿机制;3.基于消息队列实现最终一致性,这些方案以牺牲强一致性换取性能与可用性提升。 MySQL实现跨库事务,通常会…

    2026年9月30日 • 用户投稿
    100
  • 如何在mysql中创建数据库 mysql数据库创建方法详解

    在 mysql 中创建数据库的命令是 create database mydatabase;。1. 数据库名大小写不敏感,除非使用引号,且不能包含空格和特殊字符。2. 可以指定字符集和排序规则,如 create database mydatabase character set utf8mb4 co…

    2026年9月30日
    100
  • Sublime结合命令行自动执行数据任务_构建轻量化分析流水线

    Sublime结合命令行自动执行数据任务_构建轻量化分析流水线Sublime结合命令行自动执行数据任务_构建轻量化分析流水线Sublime结合命令行自动执行数据任务_构建轻量化分析流水线Sublime结合命令行自动执行数据任务_构建轻量化分析流水线

    sublime text在数据任务自动化中扮演高效的幕后推手角色,它作为轻量级代码编辑与管理界面,提供快速启动、多光标编辑、多文件管理及丰富的插件生态(如anaconda增强python开发),使用户能高效编写模块化脚本(如clean_data.py、run_pipeline.sh);随后通过命令行…

    2026年9月30日 • 用户投稿
    1000
  • mysql实现递归查询的方法有哪些

    mysql实现递归查询的方法有哪些mysql实现递归查询的方法有哪些mysql实现递归查询的方法有哪些mysql实现递归查询的方法有哪些

    实现递归查询的方法有:1、使用存储过程来实现递归查,存储过程可以使用循环或递归调用来实现递归查询;2、使用WITH RECURSIVE语句,通过在递归表达式中指定递归的终止条件和递归的迭代操作,可以实现递归查询;3、通过将表与自身连接,并使用连接条件来限制连接的深度,可以实现递归查询;4、通过在临时…

    2026年9月30日 • 用户投稿
    200
  • 参加PHP+MySQL培训后获得行业认证的情况

    参加php+mysql培训后获得行业认证的情况非常正面。1)培训课程教授技术技能并帮助准备认证考试,如zend php和mysql认证。2)培训包括核心概念、最佳实践和实战项目。3)提供模拟考试等资源,提升考试通过率。4)认证提升职场竞争力和职业发展机会。通过努力和正确学习方法,你能在这一领域取得成…

    2026年9月30日
    100
  • 如何在MySQL中使用PHP编写自定义存储过程、触发器和函数

    如何在MySQL中使用PHP编写自定义存储过程、触发器和函数如何在MySQL中使用PHP编写自定义存储过程、触发器和函数如何在MySQL中使用PHP编写自定义存储过程、触发器和函数如何在MySQL中使用PHP编写自定义存储过程、触发器和函数

    如何在MySQL中使用PHP编写自定义存储过程、触发器和函数 作为一个常用的关系型数据库管理系统,MySQL提供了许多功能强大的特性,如存储过程、触发器和函数,可以帮助我们更好地组织和管理数据库。本文将介绍如何使用PHP来编写自定义的存储过程、触发器和函数,并结合具体代码示例进行说明。 一、自定义存…

    2026年9月30日 • 用户投稿
    200
  • 如何使用MySQL和Ruby on Rails开发一个简单的博客管理系统

    如何使用MySQL和Ruby on Rails开发一个简单的博客管理系统如何使用MySQL和Ruby on Rails开发一个简单的博客管理系统如何使用MySQL和Ruby on Rails开发一个简单的博客管理系统如何使用MySQL和Ruby on Rails开发一个简单的博客管理系统

    如何使用MySQL和Ruby on Rails开发一个简单的博客管理系统 概述:本文将介绍如何使用MySQL和Ruby on Rails开发一个简单的博客管理系统。博客管理系统是一个常见的Web应用程序,它允许用户创建、编辑和管理博客文章。我们将使用Ruby on Rails作为开发框架,MySQL…

    2026年9月30日 • 用户投稿
    100
  • 如何利用MySQL和JavaScript开发一个简单的任务管理器

    如何利用MySQL和JavaScript开发一个简单的任务管理器如何利用MySQL和JavaScript开发一个简单的任务管理器如何利用MySQL和JavaScript开发一个简单的任务管理器如何利用MySQL和JavaScript开发一个简单的任务管理器

    如何利用MySQL和JavaScript开发一个简单的任务管理器 概述:任务管理器是一种常见的应用程序,它可以帮助我们组织和跟踪日常任务的完成情况。在本文中,我们将学习如何利用MySQL和JavaScript来开发一个简单的任务管理器。该管理器将具有添加、编辑和删除任务的功能,同时具有任务列表的显示…

    2026年9月30日 • 用户投稿
    200
  • 如何在MySQL中使用Python编写自定义触发器

    如何在MySQL中使用Python编写自定义触发器如何在MySQL中使用Python编写自定义触发器如何在MySQL中使用Python编写自定义触发器如何在MySQL中使用Python编写自定义触发器

    如何在MySQL中使用Python编写自定义触发器 触发器是MySQL中的一种强大的功能,它可以在数据库中的表上定义一些自动执行的操作。而Python则是一种简洁而强大的编程语言,能够方便地与MySQL进行交互。本文将介绍如何使用Python编写自定义触发器,并提供具体的代码示例。 首先,我们需要安…

    2026年9月29日 • 用户投稿
    100
  • PHP与SQL实现高效预约时间冲突检测教程

    本教程旨在详细指导如何在php应用程序中,利用sql查询高效检测预约时间冲突。通过构建包含精确时间重叠逻辑的`count(*)`查询,能够准确判断新提交的预约请求是否与数据库中现有预约发生冲突。这有助于避免重复预订,确保预约系统的准确性、可靠性及用户体验。 引言:预约系统中的时间冲突挑战 在开发任何…

    2026年9月29日
    100

发表回复

登录后才能评论
关注微信