MySQL中分区表的详细介绍

本篇文章给大家带来的内容是关于mysql中分区表的详细介绍,有一定的参考价值,有需要的朋友可以参考一下,希望对你有所帮助。

对于用户而言,分区表是一个独立的逻辑表,但是在底层由多个物理子表组成。实现分区的代码实际上是对一组底层表的句柄对象的封装,对分区表的请求都会通过句柄对象转化成对存储引擎的接口调用

意义

MySQL在创建表的时候可以通过使用 PARTITION BY 子句定义每个分区存放的数据。在执行查询的时候,优化器根据分区定义过滤那些没有我们需要的数据的分区,这样查询就可以无需扫描所有分区——只需要查找包含需要数据的分区即可。

分区的一个主要目的是 将数据按照一个较粗的粒度分别存放在不同的表中。这样做可以将相关的数据存放在一起,另外,当我们想要一次批量删除整个分区的数据也会变得很方便。

在以下的场景中,分区可以起到很大的作用:

表非常大以至于无法全部都放在内存中,或者只在表的最后部分有热点数据其他均是历史数据

分区表的数据更容易维护

分区表的数据可以分布在不同的物理设备上

可以使用分区表来避免某些特殊的瓶颈

如果需要,可以备份和回复独立的分区

分区表本身也有一些限制,下面几点尤为重要:

一张表最多只能有1024个分区

在MySQL5.1 中,分区表达式必须是整数,或者是返回整数的表达式。在MySQL5.5 中,某些场景可以直接使用列来进行分区

分区表中无法使用外键约束

如果分区字段中有主键或者唯一索引的列,那么所有主键列和唯一索引列都必须包含进来

分区表的原理

存储引擎管理分区的各个底层表和管理普通表并没有什么区别(所有的底层表都必须使用相同的存储引擎)
,分区表的索引只是在各个底层表上各自加上一个完全相同的索引。从存储引擎的角度看,底层表和一个普通表并没有什么区别,存储引擎也无需知道这是一个普通表还是一个分区表的一部分。

分区表上的操作按照下面的操作逻辑进行:

SELECT 查询

当查询一个分区表的时候,分区层先打开并锁住所有的底层表,优化器先判断是否可以过滤部分分区,然后再调用对应的存储引擎接口访问各个分区的数据

INSERT 操作

当写入一条记录的的时候,分区层先打开并锁住所有的底层表,然后确定哪个分区接收这条记录,再将记录写入对应底层表

DELETE 操作

当删除一条记录的的时候,分区层先打开并锁住所有的底层表,然后确定数据对应的分区,最后对相应底层表进行删除操作

UPDATE 操作

当更新一条记录时,分区层先打开并锁住所有的底层表,MySQL先确定需要更新的记录再哪个分区,然后取出数据并更新,再判断更新后的数据应该放在哪个分区,最后对底层表进行写入操作,并对原数据所在的底层表进行删除操作。

这些操作都是支持过滤的。

爱图表 爱图表

AI驱动的智能化图表创作平台

爱图表 99 查看详情 爱图表

虽然每个操作都会“先打开并锁住所有的底层表”, 但这并不是说分区表在处理过程中是锁住全表的。如果存储引擎能够自己实现行级锁,则会在分区层释放对应表锁。这个加锁和解锁过程与普通InnoDB上的查询类似。

分区表的类型

MySQL支持多种分区表,我们看到最多的就是根据范围进行分区,每个分区存储落在某个范围内的记录。分区表达式可以是列,也可以是包含列的表达式。

例如,如下表就将每一年的销售额都存放在不同的分区中:

CREATE TABLE sales(    order_date DATETIME NOT NULL,    ....)ENGINE=InnoDB PARTITION BY RANGE(YEAR(order_date))(    PARTITION p_2010 VALUES LESS THAN (2010),    PARTITION p_2011 VALUES LESS THAN (2011),    PARTITION p_2012 VALUES LESS THAN (2012),    PARTITION p_catchall VALUES LESS THAN MAXVALUE;)

PARTITION 分区子句中可以使用各种函数。但是有一个要求, 表达式返回的值必须是一个确定的整数,且不能是一个常数。

MySQL还支持键值、哈希和列表分区等。

如何使用分区表

如果我们希望从一个非常大的表中查询出一段时间的记录,我们应该如何查询这个表,如何才能更加高效?

因为数据量非常大,肯定不能在每次查询的时候都扫描全表,考虑到索引在空间和维护上的消耗,我们也不希望使用索引。即使真的使用索引,也会发现数据并不是按照想要的方式进行聚集,会产生大量的碎片,最终导致一个查询产生成千上万的随机I/O。而事实上,当数据量超级大时,B-Tree索引就已经无法祈祷作用了。

因此我们可以选择一些更粗粒度但消耗更少的方式检索数据,例如在大量的数据上只索引对应的一小块元数据。

这正是分区要做的事情,理解分区可以将其当作索引的最初形态。 因为分区无需额外的数据结构记录每个分区有哪些数据——分区不需要精确定位每条数据的位置,也就无须额外的数据结构——所以其代价非常低。只需要一个简单的表达式就可以表达每个分区存放的是什么数据。

为了保证大数据量的可扩展性,一般有以下两个策略:

全量扫描数据,不需要任何索引: 只要能够使用 WHERE 条件,将需要的数据限制在少数分区中,则效率是很高的。使用这种策略假设不用将数据完全放入内存中,同时还假设需要的数据全部都在磁盘上。因为内存相对较小,数据很快会被挤出内存,所以缓存起不了任何作用。这个策略适用于以正常的方式访问大量数据的时候。

索引数据,并分离热点: 如果数据有明显的“热点”,而且除了这部分数据,其他数据很少被访问到,那么可以将这部分热点数据单独放在一个分区中,让这个分区的数据可以有机会都缓存在内存中。这样的查询可以只访问一个很小的分区表,能够使用索引,也能够有效的使用缓存。

什么情况下会出问题

上面介绍的两个分区策略都基于两个非常重要的假设:查询都能够过滤掉很多额外的分区、分区本身并不会带来很多额外的代价。

事实证明,这两个假设在某些场景下会有问题:

分区列和索引列不匹配: 如果定义的索引列和分区列不匹配,会导致可查询无法进行分区过滤。

选择分区的成本可能很高: 不同类型的分区的实现方式也不同,所以它们的性能也各不相同。尤其是范围分区,对于查询符合条件的行在哪些分区的成本可能会非常高,因为服务器需要扫描所有的分区定义的列表来找到正确的答案。

打开并锁住所有底层表的成本可能很高: 当查询访问分区表的时候,MySQL需要打开并锁住所有的底层表,这是分区表的另一个开销。

维护分区的成本可能很高: 某些分区维护操作的速度会非常快,例如新增或者删除分区。而有些操作,比如重组分区或者类似ALTER语句的操作成本可能会很高,因为这类操作需要复制数据。

以上就是MySQL中分区表的详细介绍的详细内容,更多请关注创想鸟其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/378377.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2025年11月6日 10:25:19
下一篇 2025年11月6日 10:26:58

相关推荐

  • 解决Django ORM在PostgreSQL中正则表达式词边界失效的问题

    本文旨在解决Django ORM在使用PostgreSQL数据库时,正则表达式中(词边界)无法正确匹配的问题。许多开发者在使用text__regex=r’some’等模式时会发现其失效。究其原因,在PostgreSQL的正则表达式中并非词边界,而是退格符。正确的词边界匹配符应…

    2025年12月14日
    000
  • Django ORM与PostgreSQL:解决正则表达式词边界无效问题

    在使用Django ORM通过__regex查询PostgreSQL数据库时,Python正则表达式中的b(词边界)元字符可能无法按预期工作。这是因为PostgreSQL的正则表达式引擎将b解释为退格符,而非词边界。本文将详细解释此问题,并提供解决方案:使用PostgreSQL特有的词边界元字符y来…

    2025年12月14日
    000
  • PostgreSQL正则表达式中的单词边界:与y的辨析与应用

    在使用Django ORM对PostgreSQL数据库执行正则表达式查询时,开发者常会遇到b(单词边界)字符无法按预期工作的问题。这并非Django ORM的缺陷,而是由于PostgreSQL的正则表达式语法中,b代表退格符而非单词边界。正确的单词边界元字符应为y。本文将深入探讨这一差异,并提供在D…

    2025年12月14日
    000
  • 解决Django ORM中PostgreSQL正则表达式字边界失效问题

    在Django ORM中使用PostgreSQL数据库时,开发者可能会发现正则表达式中的b(字边界)无法正确匹配。这是因为PostgreSQL的正则表达式语法与Python标准库有所不同,b在PostgreSQL中被解释为退格符而非字边界。本文将详细解释这一差异,并提供解决方案:在PostgreSQ…

    2025年12月14日
    000
  • Django ORM在PostgreSQL中正确使用正则表达式单词边界y

    本文旨在解决Django ORM在PostgreSQL数据库中使用正则表达式时,单词边界元字符无法按预期工作的问题。核心原因是PostgreSQL的正则表达式语法中,并非表示单词边界,而是退格符。正确的解决方案是使用PostgreSQL特有的y元字符来匹配单词的起始或结束位置,从而实现精确的单词匹配…

    2025年12月14日
    000
  • Python如何制作网络爬虫?Scrapy框架

    使用python和scrapy制作网络爬虫的核心流程包括:安装scrapy、创建项目、定义spider、编写解析逻辑并利用选择器提取数据;2. scrapy通过设置user-agent、使用代理ip池、配置下载延迟和autothrottle、集成selenium或scrapy-splash等方式应对…

    2025年12月14日
    000
  • Python如何实现网页爬虫?requests+BeautifulSoup

    使用python实现网页爬虫的核心流程包括:发起请求、获取响应、解析html、提取数据;2. 选择requests和beautifulsoup组合的原因是其学习曲线平缓、功能强大且灵活,requests库封装了http请求的复杂性,beautifulsoup能高效解析不规范的html结构;3. 应对…

    2025年12月14日
    000
  • SQLAlchemy 将 UUID 主键映射为字符串问题的解决与实践

    本文旨在解决在使用 SQLAlchemy (SQLModel) 时,UUID 主键被错误地映射为字符串类型的问题。通过分析问题原因,提供解决方案,并给出示例代码,帮助开发者正确处理 UUID 类型,确保数据类型的一致性,避免潜在的类型错误。本文适合使用 SQLAlchemy 和 SQLModel 进…

    2025年12月14日
    000
  • Python怎样操作MariaDB数据库?mariadb连接器

    python操作mariadb应优先选择pymysql或mysql-connector-python,pymysql因纯python实现、安装简便、社区活跃而更适合大多数场景;2. 防止sql注入必须使用参数化查询,通过占位符(如%s)与参数元组分离sql结构与数据,避免恶意输入篡改语句;3. 事务…

    2025年12月14日
    000
  • 如何用Python源码开发追剧提醒系统 Python源码定时任务与接口集成

    要开发python追剧提醒系统,关键步骤如下:1.选择数据库存储信息,小型项目用sqlite,大型用mysql;2.调用视频源api或使用爬虫获取更新数据,注意频率限制和合规性;3.使用schedule或apscheduler实现定时任务,前者适合简单任务,后者支持复杂调度;4.通过邮件、短信或微信…

    2025年12月14日 好文分享
    000
  • 如何使用Python构建注塑产品的尺寸异常检测?

    构建注塑产品尺寸异常检测系统,首先要明确答案:通过python构建一套从数据采集到异常识别再到预警反馈的自动化系统,能够高效识别注塑产品尺寸异常。具体步骤包括:①从mes系统、csv/excel、传感器等来源采集数据,使用pandas进行整合;②清洗数据,处理缺失值与异常值,进行标准化;③结合工艺知…

    2025年12月14日 好文分享
    000
  • Python如何操作MongoDB?NoSQL数据库实战

    python操作mongodb的核心依赖pymongo库,其核心步骤包括:1. 安装pymongo;2. 建立与mongodb的连接;3. 选择数据库和集合;4. 执行增删改查操作;5. 使用聚合和批量操作提升性能;6. 关闭连接。mongodb作为文档型数据库,与传统关系型数据库相比,具有灵活的无…

    2025年12月14日 好文分享
    000
  • 连接 MySQL 5.1 数据库的 Python 教程

    本文档旨在指导开发者如何使用 Python 连接到 MySQL 5.1 数据库。由于 MySQL 5.1 较为古老,现代的 MySQL 连接器可能存在兼容性问题。本文将介绍如何使用 mysql-connector-python 驱动,并配置相应的参数,以成功建立连接。同时,本文也强烈建议升级 MyS…

    2025年12月14日
    000
  • Python连接MySQL 5.1:克服旧版认证与字符集兼容性挑战

    本教程详细阐述了如何使用Python 3和mysql.connector库成功连接到老旧的MySQL 5.1数据库。文章重点介绍了解决旧版认证协议和字符集兼容性问题的关键配置,特别是use_pure=True和charset=’utf8’的重要性,并提供了可运行的代码示例。同…

    2025年12月14日
    000
  • Python如何做自动化爬虫?Scrapy框架指南

    scrapy是当前最成熟、功能最强大的python自动化爬虫框架,其核心优势在于提供从请求发起到数据存储的完整解决方案。1. scrapy基于异步io实现高并发,提升爬取效率;2. 其模块化设计支持清晰架构与高度扩展性;3. 中间件系统灵活应对反爬策略;4. 内置item与pipeline实现数据结…

    2025年12月14日 好文分享
    000
  • 如何实现Python与数据库的批量数据交互?高效IO方案

    优化python数据库操作的核心在于减少交互次数和高效利用io。1.使用批量操作避免单条sql循环执行,如psycopg2的execute_batch或pymysql的executemany;2.通过连接池管理连接,减少频繁创建销毁连接的开销,并根据数据库性能、并发量合理设置连接池大小;3.采用异步…

    2025年12月14日 好文分享
    000
  • Python如何实现网络爬虫?Scrapy框架教程

    要实现网络爬虫,python 中最常用、功能强大的框架之一是 scrapy。1. 安装 scrapy 并创建项目:使用 pip install scrapy 安装,并通过 scrapy startproject myproject 创建项目;2. 编写第一个爬虫:在 spiders 目录下新建 py…

    2025年12月14日 好文分享
    000
  • 怎样用Python构建端到端异常检测流水线?完整架构

    数据预处理在异常检测中扮演提升数据质量、统一数据尺度、提取有效信息和适配模型输入四大核心角色。1. 提升数据质量:处理缺失值、异常值和噪声,避免模型学习错误模式;2. 统一数据尺度:通过标准化或归一化消除特征量纲差异,确保模型公平对待所有特征;3. 提取有效信息:进行特征工程,如创建滞后特征、滚动统…

    2025年12月14日 好文分享
    000
  • Python中如何实现并发编程?asyncio协程详解

    asyncio和协程是python中处理i/o密集型任务的高效并发方案,其核心在于通过事件循环实现单线程内的合作式多任务调度。1. 协程由async def定义,通过await暂停执行并释放控制权给事件循环;2. 事件循环负责监控和调度就绪的协程,避免阻塞;3. 使用asyncio.run()启动事…

    2025年12月14日 好文分享
    000
  • Python中如何实现定时任务?APScheduler详细配置

    实现python定时任务的核心工具是apscheduler,其使用步骤如下:1. 安装apscheduler;2. 根据应用场景选择调度器,如backgroundscheduler适合后台运行;3. 配置调度器,包括时区、任务存储、执行器及任务默认属性;4. 使用add_job()方法添加任务,并指…

    2025年12月14日 好文分享
    000

发表回复

登录后才能评论
关注微信