Mysql锁内部实现机制是什么

概述

尽管现代关系型数据库越来越相似,但它们的实现背后可能有着截然不同的机制。实际使用方面,因为sql语法规范的存在使得我们熟悉多种关系型数据库并非难事,但是有多少种数据库可能就有多少种锁的实现方法。

Microsoft Sql Server2005之前只提供页锁,直到2005版本才开始支持乐观并发、悲观并发,乐观模式下允许实现行级别锁,在Sql Server的设计中锁是一种稀缺资源,锁的数量越多,开销就越大,为了避免因为锁的数量快速攀升导致性能断崖式下跌,其支持一种称为锁升级的机制,一旦行锁升级为页锁,并发性能就又回到原点。

事实上,在同一个数据库中,不同的执行引擎对锁定功能的解释仍然存在许多争议。MyISAM只支持表级锁定,用于并发读取还好,但在并发修改方面存在一定局限性。Innodb则和Oracle非常相似,提供非锁定一致性读取、行锁支持,与Sql Server明显不同的是随着锁总数的上升,Innodb仅仅只需要付出一点点代价。

行锁结构

Innodb支持行锁,且对于锁的描述并不会存在特别大的开销。因此不需要锁升级这一机制作为大量锁导致性能下降之后的抢救措施。

摘自lock0priv.h文件,Innodb对于行锁的定义如下:

/** Record lock for a page */struct lock_rec_t {    /* space id */    ulint  space;    /* page number */    ulint  page_no;    /**     * number of bits in the lock bitmap;      * NOTE: the lock bitmap is placed immediately after the lock struct      */    ulint  n_bits;};

虽然并发控制可以在行级别进行细化,但锁的管理方式是以页为单位进行组织的。Innodb的设计中通过space id、page number两个必要条件就可以确定唯一一个数据页,n_bits表示描述该页行锁信息需要多少bit位。

同一数据页中每条记录都分配唯一的连续的递增序号:heap_no,若要知道某一行记录是否上锁,则只需要判断位图heap_no位置的数字是否为一即可。由于lock bitmap根据数据页的记录数量进行内存空间分配的,因此没有显式定义,且该页记录可能还会继续增加,因此预留了LOCK_PAGE_BITMAP_MARGIN大小的空间。

/**  * Safety margin when creating a new record lock: this many extra records * can be inserted to the page without need to create a lock with  * a bigger bitmap */#define LOCK_PAGE_BITMAP_MARGIN 64

假设space id = 20,page number = 100的数据页目前有160条记录,heap_no为2、3、4的记录已经被锁,则对应的lock_rec_t结构与数据页应该被这样刻画:

Mysql锁内部实现机制是什么

注:

内存中的lock bitmap应该是线性分布的,图中所示二维结构是为了方便描述

bitmap与lock_rec_t结构是一块连续内存,图中引用关系也是绘图需要

可以看到该页对应的bitmap第二三四位置全部置一,描述一个数据页行锁所消耗内存从感官上相当有限,那具体占用多少呢?我们可以计算一下:

160 / 8 + 8 + 1 = 29byte。

160条记录对应160bit

+8是因为需要预留出64bit

+1是因为源码中还预留了1字节

为了避免结果数值偏小的问题,这里额外添加了+1。这样可以避免整除导致误差产生。假如是161条记录如果不+1则计算出来的20byte不够描述所有记录的锁信息(不动用预留位)。

摘自lock0priv.h文件:

/* lock_rec_create函数代码片段 */n_bits = page_dir_get_n_heap(page) + LOCK_PAGE_BITMAP_MARGIN;n_bytes = 1 + n_bits / 8;/* 注意这里是分配的连续内存 */lock = static_cast(    mem_heap_alloc(trx->lock.lock_heap, sizeof(lock_t) + n_bytes));/** * Gets the number of records in the heap. * @return number of user records  */UNIV_INLINE ulint page_dir_get_n_heap(const page_t* page){    return(page_header_get_field(page, PAGE_N_HEAP) & 0x7fff);}

表锁结构

Innodb还支持表锁,表锁可分为两大类:意向锁,自增锁其数据结构定义如下:

灵机语音 灵机语音

灵机语音

灵机语音 56 查看详情 灵机语音

摘自lock0priv.h文件

struct lock_table_t {    /* database table in dictionary cache */    dict_table_t*  table;    /* list of locks on the same table */    UT_LIST_NODE_T(lock_t)  locks;};

摘自ut0lst.h文件

struct ut_list_node {    /* pointer to the previous node, NULL if start of list */    TYPE*  prev;    /* pointer to next node, NULL if end of list */    TYPE*  next;};#define UT_LIST_NODE_T(TYPE)  ut_list_node

事务中锁的描述

上述lock_rec_t、lock_table_t结构只是单独的定义,锁产生于事务之中,因此每个事务对应的行锁、表锁会有一个相应的锁的结构,其定义如下:

摘自lock0priv.h文件

/** Lock struct; protected by lock_sys->mutex */struct lock_t {    /* transaction owning the lock */    trx_t*  trx;    /* list of the locks of the transaction */    UT_LIST_NODE_T(lock_t)  trx_locks;    /**      * lock type, mode, LOCK_GAP or LOCK_REC_NOT_GAP,     * LOCK_INSERT_INTENTION, wait flag, ORed      */    ulint  type_mode;    /* hash chain node for a record lock */    hash_node_t  hash;    /*!< index for a record lock */    dict_index_t*  index;    /* lock details */    union {        /* table lock */        lock_table_t  tab_lock;        /* record lock */        lock_rec_t  rec_lock;    } un_member;};

lock_t是根据每个事务每个页(或表)来定义的,但是一个事务往往涉及到多个页,因此需要链表trx_locks串联起一个事务相关的所有锁信息。除了需要根据事务查询到所有锁信息,实际场景还要求系统必须能够快速高效的检测出某个行记录是否已经上锁。因此必须有一个全局变量支持对行记录进行锁信息的查询。Innodb选择了哈希表,其定义如下:

摘自lock0lock.h文件

/** The lock system struct */struct lock_sys_t {    /* Mutex protecting the locks */    ib_mutex_t  mutex;    /* 就是这里: hash table of the record locks */    hash_table_t*  rec_hash;    /* Mutex protecting the next two fields */    ib_mutex_t  wait_mutex;    /**      * Array  of user threads suspended while waiting forlocks within InnoDB,     * protected by the lock_sys->wait_mutex      */    srv_slot_t*  waiting_threads;    /*     * highest slot ever used in the waiting_threads array,     * protected by lock_sys->wait_mutex      */    srv_slot_t*  last_slot;    /**      * TRUE if rollback of all recovered transactions is complete.      * Protected by lock_sys->mutex      */    ibool  rollback_complete;    /* Max wait time */    ulint  n_lock_max_wait_time;    /**     * Set to the event that is created in the lock wait monitor thread.     * A value of 0 means the thread is not active     */    os_event_ttimeout_event;    /* True if the timeout thread is running */    bool  timeout_thread_active;};

函数lock_sys_create在database start之际负责初始化lock_sys_t结构。srv_lock_table_size变量决定了rec_hash中哈希槽数量的大小。The key value of the rec_hash hash table is computed by using the space id and page number of the page.。

摘自lock0lock.ic、ut0rnd.ic 文件

/** * Calculates the fold value of a page file address: used in inserting or * searching for a lock in the hash table. * * @return folded value  */UNIV_INLINE ulint lock_rec_fold(ulint space, ulint page_no){    return(ut_fold_ulint_pair(space, page_no));}/** * Folds a pair of ulints. * * @return folded value  */UNIV_INLINE ulint ut_fold_ulint_pair(ulint n1, ulint n2){    return (        (            (((n1 ^ n2 ^ UT_HASH_RANDOM_MASK2) << 8) + n1)            ^ UT_HASH_RANDOM_MASK        )         + n2    );}

这将意味着无法提供一个手段使得我们可以直接得知某一行是否上锁。而是应该先通过其所在的页得到space id、page number通过lock_rec_fold函数得出key值而后经过hash查询得到lock_rec_t,而后根据heap_no扫描bit map,最终确定锁信息。lock_rec_get_first函数实现了上述逻辑:

这里返回的其实是lock_t对象,摘自lock0lock.cc文件

/** * Gets the first explicit lock request on a record. * * @param block   : block containing the record  * @param heap_no : heap number of the record  * * @return first lock, NULL if none exists  */UNIV_INLINE lock_t* lock_rec_get_first(const buf_block_t* block, ulint heap_no){    lock_t*  lock;    ut_ad(lock_mutex_own());    for (lock = lock_rec_get_first_on_page(block); lock;         lock = lock_rec_get_next_on_page(lock)    ) {        if (lock_rec_get_nth_bit(lock, heap_no)) {            break;        }    }    return(lock);}

以页面为粒度进行锁维护并非最直接有效的方式,它明显是时间换空间,不过这种设计使得锁开销很小。某一事务对任一行上锁的开销都是一样的,锁数量的上升也不会带来额外的内存消耗。

对应每个事务的内存对象trx_t中,包含了该事务的锁信息链表和等待的锁信息。因此存在如下两种途径对锁进行查询:

根据事务: 通过trx_t对象的trx_locks链表,再通过lock_t对象中的trx_locks遍历可得某事务持有、等待的所有锁信息。

根据记录: 根据记录所在的页,通过space id、page number在lock_sys_t结构中定位到lock_t对象,扫描bitmap找到heap_no对应的bit位。

上述各种数据结构,对其整理关系如下图所示:

Mysql锁内部实现机制是什么

注:

lock_sys_t中的slot颜色与lock_t颜色相同则表明lock_sys_t slot持有lock_t 指针信息,实在是没法连线,不然图很混乱

以上就是Mysql锁内部实现机制是什么的详细内容,更多请关注创想鸟其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/259292.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2025年11月4日 08:31:58
下一篇 2025年11月4日 08:32:34

相关推荐

  • Golang如何开发用户登录注册功能

    使用Go语言实现用户登录注册功能,需处理HTTP请求、验证数据、加密密码并管理会话。2. 项目结构包含handlers、models、middleware等目录,依赖net/http、gorilla/mux和bcrypt。3. 定义User模型并设计数据库表存储用户名和哈希密码。4. 注册时验证输入…

    2025年12月16日
    000
  • 如何使用Golang开发爬虫数据存储

    使用Golang开发爬虫需先发送HTTP请求获取网页内容,可采用net/http库或colly等第三方库;接着用goquery解析HTML,通过CSS选择器提取标题、链接等结构化数据;随后将数据存储至MySQL、MongoDB或本地JSON/CSV文件;最后利用goroutine实现并发抓取,并设置…

    2025年12月16日
    000
  • Golang单元测试数据库操作实践

    使用内存数据库如SQLite配合事务回滚可实现高效隔离的单元测试,通过接口抽象与Mock提升逻辑独立性,集成测试则可用Docker启动真实数据库验证兼容性,确保测试可重复且无副作用。 在Go语言开发中,数据库操作的单元测试是保障数据层逻辑正确性的关键环节。直接使用生产数据库进行测试会带来副作用,比如…

    2025年12月16日
    000
  • Golang Factory工厂模式创建对象实践

    工厂模式通过封装对象创建逻辑,提升代码解耦与扩展性。1. 简单工厂使用函数根据参数返回不同实现,如支付方式选择;2. 抽象工厂支持多产品族,如不同地区支付与通知组合;3. 适用于数据库驱动、缓存、配置加载等场景。 在Go语言中,Factory(工厂)模式是一种创建型设计模式,用于解耦对象的创建逻辑。…

    2025年12月16日
    000
  • Golang简单博客系统开发实战

    答案:用Go语言可快速搭建一个具备文章发布、查看和管理功能的简单博客系统。通过合理设计项目结构,定义文章模型并使用内存存储,结合HTTP路由与处理器实现CRUD操作,利用模板引擎渲染HTML页面,并提供静态资源访问支持,最终运行服务即可在浏览器中访问基础博客首页,具备完整雏形且易于扩展。 想快速上手…

    2025年12月16日
    000
  • Golang包重命名与导入别名使用方法

    在Go语言中,包重命名通过import别名解决命名冲突、提升可读性。例如import ( myfmt “fmt” )将fmt重命名为myfmt,后续用myfmt.Println调用;当导入同名包如json和jsoniter时,别名可明确区分标准库与第三方;使用_进行匿名导入可…

    2025年12月16日
    000
  • Go语言中实现动态IN查询的指南

    本文详细介绍了在Go语言中使用database/sql包执行带有动态参数列表的IN查询的方法。由于database/sql不直接支持将切片作为单个占位符的参数,因此需要通过动态生成SQL占位符字符串并使用interface{}切片配合可变参数来构建查询,同时考虑了空切片等边界情况。 理解databa…

    2025年12月16日
    000
  • 数据库连接池性能调优实践

    合理设置连接池参数可提升系统性能,需根据业务特征配置最小/最大连接数、获取超时时间及空闲回收策略;启用借出、归还或空闲时的连接检测机制保障连接有效性;结合监控活跃连接、等待线程等指标持续优化;针对高并发、批处理、读写分离等场景差异化配置,实现资源与稳定的平衡。 数据库连接池是应用系统与数据库之间的重…

    2025年12月16日
    000
  • Go语言连接外部MySQL数据库:DSN配置与常见错误解析

    本文详细阐述了go语言使用`go-sql-driver/mysql`驱动连接外部mysql数据库的正确方法。重点介绍了数据源名称(dsn)的规范格式,特别是主机地址部分的配置,以避免常见的“getaddrinfow: the specified class was not found.”等网络解析错…

    2025年12月16日
    000
  • Go语言连接外部MySQL数据库:DSN配置与常见错误排查

    本文将深入探讨go语言如何使用`database/sql`和`go-sql-driver/mysql`连接外部mysql数据库。我们将详细介绍dsn(数据源名称)的构建方式,并通过一个实际案例分析`getaddrinfow: the specified class was not found.`这一…

    2025年12月16日
    000
  • OAuth认证后的用户数据持久化与安全会话管理

    本教程将深入探讨OAuth2认证流程中,如何高效且安全地处理从身份提供商获取的用户数据,并将其持久化到数据库。我们将介绍使用UPSERT操作来避免数据重复和竞态条件,并详细阐述如何通过配置安全的HTTP-only会话Cookie来建立和维护用户会话,以抵御常见的Web安全威胁,确保用户认证体验的流畅…

    2025年12月16日
    000
  • Go语言database/sql包中处理动态SQL IN 查询的实践指南

    本文详细介绍了在Go语言中使用database/sql包执行动态SQL IN查询的通用方法。针对IN子句无法直接接受切片作为参数的问题,教程重点阐述了如何通过动态生成占位符?并配合可变参数传递切片元素来构建安全高效的查询,并提供了完整的代码示例和注意事项。 在go语言的database/sql包中,…

    2025年12月16日
    000
  • OAuth2认证后用户数据存储与会话安全指南

    本文旨在提供OAuth2认证后处理用户数据持久化和会话管理的最佳实践。我们将探讨如何将OAuth返回的用户数据安全地存储到数据库,推荐使用事务性的UPSERT操作来处理用户存在性检查与插入/更新。同时,文章还将详细阐述如何通过配置安全的HTTP-only会话Cookie来建立和维护用户会话,并强调H…

    2025年12月16日
    000
  • OAuth响应处理与安全会话管理:数据库集成与Cookie最佳实践

    本教程深入探讨了OAuth2认证流程结束后,如何安全高效地处理用户数据并建立会话。文章首先介绍了将OAuth提供者返回的用户数据存储到数据库的最佳实践,重点讲解了原子性的UPSERT操作以避免数据冗余和竞态条件。随后,详细阐述了基于Cookie的会话管理策略,强调了使用HTTPS、Secure、Ht…

    2025年12月16日
    000
  • Go database/sql 包查询结果行数精确判断与首行数据获取

    本文深入探讨Go语言中database/sql包在数据库查询时,如何精确判断返回结果的行数(零行、单行或多行),并安全地获取首行数据。针对QueryRow的局限性,文章提供了一个通用的自定义函数方案,利用db.Query和*sql.Rows的特性,实现对查询结果的细粒度控制,同时强调了错误处理和资源…

    2025年12月16日
    000
  • OAuth2集成:用户数据持久化与安全会话管理指南

    本文旨在探讨OAuth2认证流程结束后,如何高效且安全地处理用户数据持久化与会话管理。我们将重点介绍数据库中用户数据的“存在则更新,不存在则插入”(UPSERT)策略,并深入讲解如何利用HTTPS和安全、HttpOnly的Cookie来建立健壮的用户会话,以确保用户体验和系统安全。 1. OAuth…

    2025年12月16日
    000
  • 在Go语言中处理SQL IN 子句的动态参数绑定

    本文旨在解决Go语言database/sql包中,如何将动态切片(slice)作为IN查询条件参数的问题。由于db.Query无法直接将切片展开为多个占位符,我们将探讨一种通用且安全的解决方案,通过动态生成SQL语句中的占位符并结合interface{}类型转换来实现,确保代码的灵活性和防止SQL注…

    2025年12月16日
    000
  • OAuth 响应处理与安全会话管理实践指南

    本教程旨在指导开发者如何高效且安全地处理 OAuth2 认证流程中获取的用户数据,并将其存储至数据库。文章将重点介绍采用 UPSERT 语句进行数据更新或插入的最佳实践,同时详细阐述如何利用安全 Cookie(如 Secure、HttpOnly 和 Path 选项)构建健壮的用户会话管理机制,规避潜…

    2025年12月16日
    000
  • Go语言database/sql:高效构建和执行带有可变参数的IN查询

    在Go语言中,使用database/sql包执行带有可变参数列表的IN查询时,直接传入切片作为单个占位符是无效的。本文将详细介绍一种通用的解决方案,通过动态生成SQL语句中的占位符(问号),并将切片元素展开为独立的参数传递给db.Query方法,从而优雅地处理IN子句中的可变值集合,并讨论相关注意事…

    2025年12月16日
    000
  • Golang如何实现自动化备份与恢复

    Go语言适合构建自动化备份与恢复系统,其核心是通过调用系统命令或API实现数据备份与恢复。1. 文件备份可使用os和io包复制文件,数据库备份可通过mysqldump等工具或驱动导出;2. 使用robfig/cron库设置定时任务,如每日2点执行备份,并结合systemd或Kubernetes管理任…

    2025年12月16日
    000

发表回复

登录后才能评论
关注微信