一文详解MySql分表、分库、分片和分区

                                                                               

一、前言

数据库的数据量达到一定程度之后,为避免带来系统性能上的瓶颈。需要进行数据的处理,采用的手段是分区、分片、分库、分表。

二、分片(类似分库)

分片是把数据库横向扩展(Scale Out)到多个物理节点上的一种有效的方式,其主要目的是为突破单节点数据库服务器的 I/O 能力限制,解决数据库扩展性问题。Shard这个词的意思是“碎片”。如果将一个数据库当作一块大玻璃,将这块玻璃打碎,那么每一小块都称为数据库的碎片(DatabaseShard)。将整个数据库打碎的过程就叫做分片,可以翻译为分片。

形式上,分片可以简单定义为将大数据库分布到多个物理节点上的一个分区方案。每一个分区包含数据库的某一部分,称为一个片,分区方式可以是任意的,并不局限于传统的水平分区和垂直分区。一个分片可以包含多个表的内容甚至可以包含多个数据库实例中的内容。每个分片被放置在一个数据库服务器上。一个数据库服务器可以处理一个或多个分片的数据。系统中需要有服务器进行查询路由转发,负责将查询转发到包含该查询所访问数据的分片或分片集合节点上去执行。

三、Scale Out/Scale Up 和 垂直切分/水平拆分

Mysql的扩展方案包括Scale Out和Scale Up两种。

Scale Out(横向扩展)是指Application可以在水平方向上扩展。一般对数据中心的应用而言,Scale out指的是当添加更多的机器时,应用仍然可以很好的利用这些机器的资源来提升自己的效率从而达到很好的扩展性。

Scale Up(纵向扩展)是指Application可以在垂直方向上扩展。一般对单台机器而言,Scale Up值得是当某个计算节点(机器)添加更多的CPU Cores,存储设备,使用更大的内存时,应用可以很充分的利用这些资源来提升自己的效率从而达到很好的扩展性。

MySql的Sharding策略包括垂直切分和水平切分两种。

垂直(纵向)拆分:是指按功能模块拆分,以解决表与表之间的io竞争。比如分为订单库、商品库、用户库…这种方式多个数据库之间的表结构不同。

水平(横向)拆分:将同一个表的数据进行分块保存到不同的数据库中,来解决单表中数据量增长出现的压力。这些数据库中的表结构完全相同。

表结构设计垂直切分。常见的一些场景包括

大字段的垂直切分。单独将大字段建在另外的表中,提高基础表的访问性能,原则上在性能关键的应用中应当避免数据库的大字段

按照使用用途垂直切分。例如企业物料属性,可以按照基本属性、销售属性、采购属性、生产制造属性、财务会计属性等用途垂直切分

按照访问频率垂直切分。例如电子商务、Web 2.0系统中,如果用户属性设置非常多,可以将基本、使用频繁的属性和不常用的属性垂直切分开

表结构设计水平切分。常见的一些场景包括

比如在线电子商务网站,订单表数据量过大,按照年度、月度水平切分

Web 2.0网站注册用户、在线活跃用户过多,按照用户ID范围等方式,将相关用户以及该用户紧密关联的表做水平切分

例如论坛的置顶帖子,因为涉及到分页问题,每页都需要显示置顶贴,这种情况可以把置顶贴水平切分开来,避免取置顶帖子时从所有帖子的表中读取

四、分表和分区

分表从表面意思说就是把一张表分成多个小表,分区则是把一张表的数据分成N多个区块,这些区块可以在同一个磁盘上,也可以在不同的磁盘上。

分表和分区的区别

实现方式上

mysql的分表是真正的分表,一张表分成很多表后,每一个小表都是完正的一张表,都对应三个文件(MyISAM引擎:一个.MYD数据文件,.MYI索引文件,.frm表结构文件)。

数据处理上

分表后数据都是存放在分表里,总表只是一个外壳,存取数据发生在一个一个的分表里面。分区则不存在分表的概念,分区只不过把存放数据的文件分成了许多小块,分区后的表还是一张表,数据处理还是由自己来完成。

提高性能上

分表后,单表的并发能力提高了,磁盘I/O性能也提高了。分区突破了磁盘I/O瓶颈,想提高磁盘的读写能力,来增加mysql性能。

在这一点上,分区和分表的测重点不同,分表重点是存取数据时,如何提高mysql并发能力上;而分区呢,如何突破磁盘的读写能力,从而达到提高mysql性能的目的。

实现的难易度上

分表的方法有很多,用merge来分表,是最简单的一种方式。这种方式和分区难易度差不多,并且对程序代码来说可以做到透明的。如果是用其他分表方式就比分区麻烦了。分区实现是比较简单的,建立分区表,跟建平常的表没什么区别,并且对代码端来说是透明的。

分区的适用场景

一张表的查询速度已经慢到影响使用的时候。

表中的数据是分段的

对数据的操作往往只涉及一部分数据,而不是所有的数据

CREATE TABLE sales (    id INT AUTO_INCREMENT,    amount DOUBLE NOT NULL,    order_day DATETIME NOT NULL,    PRIMARY KEY(id, order_day)) ENGINE=InnodbPARTITION BY RANGE(YEAR(order_day)) (    PARTITION p_2010 VALUES LESS THAN (2010),    PARTITION p_2011 VALUES LESS THAN (2011),    PARTITION p_2012 VALUES LESS THAN (2012),PARTITION p_catchall VALUES LESS THAN MAXVALUE);

分表的适用场景

一张表的查询速度已经慢到影响使用的时候。

当频繁插入或者联合查询时,速度变慢。

分表的实现需要业务结合实现和迁移,较为复杂。

五、分表与分库

分表能够解决单表数据量过大带来的查询效率下降的问题,但是,却无法给数据库的并发处理能力带来质的提升。面对高并发的读写访问,当数据库master服务器无法承载写操作压力时,不管如何扩展slave服务器,此时都没有意义了。因此,我们必须换一种思路,对数据库进行拆分,从而提高数据库写入能力,这就是所谓的分库。

与分表策略相似,分库可以采用通过一个关键字取模的方式,来对数据访问进行路由,如下图所示

MySql分表、分库、分片和分区

六、分区与分片区别 原文

MySql分表、分库、分片和分区

推荐:《mysql视频教程》

以上就是一文详解MySql分表、分库、分片和分区的详细内容,更多请关注创想鸟其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/185043.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
C盘空间越来越小怎么办
上一篇 2026年9月4日 17:29:42
海信健身智慧屏评测:健身、看片、学习无所不能
下一篇 2026年9月4日 17:33:42

相关推荐

  • 事务(Transaction)处理与并发控制

    事务处理确保操作全部完成或不完成,并发控制防止事务互相干扰。事务处理核心是acid属性:1.原子性,2.一致性,3.隔离性,4.持久性;并发控制方法包括锁和mvcc,优化需考虑事务粒度、隔离级别、锁和mvcc的应用。 事务处理与并发控制是数据库管理系统中至关重要的两个概念,确保数据的一致性和完整性。…

    2026年9月20日
    100
  • mysql如何启用query cache

    MySQL 5.7及之前版本可通过配置启用Query Cache以提升读取性能,首先确认支持性:执行SHOW VARIABLES LIKE ‘have_query_cache’,若返回YES则可继续。接着在my.cnf或my.ini的[mysqld]段添加query_cach…

    2026年9月20日
    200
  • time函数处理时间在mysql中如何操作

    MySQL中的时间函数用于处理时间数据,如获取当前时间用NOW()或CURTIME(),提取时间部分用TIME(),格式化输出用TIME_FORMAT(),时间计算可用TIMEADD()、TIMEDIFF()等函数,支持加减和差值运算,需注意字段类型与格式匹配。 在 MySQL 中,time 函数和…

    2026年9月20日
    100
  • 如何安装mysql GUI管理工具

    首选安装MySQL Workbench,Windows下载MSI安装,macOS拖拽DMG到应用,Linux用apt命令安装,也可选phpMyAdmin、DBeaver等工具。 安装 MySQL 图形化管理工具(GUI)可以让你更方便地操作数据库,比如建表、查询、备份等。最常用且官方推荐的工具是 M…

    2026年9月20日
    100
  • 升级后如何处理存储过程

    数据库升级后需检查存储过程的语法兼容性、对象依赖和权限设置。例如,MySQL 8.0 不再支持模糊 GROUP BY,SQL Server 强化参数校验,应使用官方文档和工具检测语法变更。通过 INFORMATION_SCHEMA 或 sys.sql_expression_dependencies …

    2026年9月20日
    000
  • between区间查询在mysql中如何使用

    BETWEEN操作符用于查询闭区间内的数据,包含边界值,支持数字、日期和字符串类型,常用于WHERE子句中。 在 MySQL 中,BETWEEN 操作符用于选取介于两个值之间的数据范围,常用于 WHERE 子句中进行区间查询。它支持数字、日期和字符串类型的比较,语法简洁且高效。 基本语法 BETWE…

    2026年9月20日
    000
  • MySQL备份数据加密技术_MySQL保障备份数据安全的策略

    MySQL备份数据加密技术_MySQL保障备份数据安全的策略MySQL备份数据加密技术_MySQL保障备份数据安全的策略MySQL备份数据加密技术_MySQL保障备份数据安全的策略MySQL备份数据加密技术_MySQL保障备份数据安全的策略

    加密是保障mysql备份数据安全的核心,但还需结合多层次防护体系。1.静态数据加密可通过文件系统层(如luks、bitlocker)或数据库内部(tde)实现;2.备份文件应独立加密(如gpg、openssl);3.传输中需使用scp、https等加密通道;4.密钥管理至关重要,需单独妥善处理。备份…

    2026年9月20日 用户投稿
    000
  • mysql事务和锁如何协同工作

    事务隔离级别决定锁行为,InnoDB通过MVCC与行锁协同保障ACID;不同隔离级别下读写操作加锁策略不同,SELECT默认快照读不加锁,UPDATE/DELETE加排他锁,INSERT可能触发间隙锁;死锁由系统自动检测并回滚代价小的事务;MVCC利用版本链实现非阻塞一致性读,提升并发性能。 MyS…

    2026年9月20日
    000
  • mysql如何优化like模糊查询

    优先使用前缀匹配并建立索引,避免前置通配符导致全表扫描;对大字段采用全文索引或外部搜索引擎如Elasticsearch;合理设计覆盖索引,减少SELECT *,提升查询效率。 在MySQL中,LIKE模糊查询虽然常用,但容易导致性能问题,特别是在数据量大的情况下。优化的关键在于减少全表扫描、提升索引…

    2026年9月20日
    000
  • mysql如何优化初级项目数据库性能

    答案:初级项目数据库性能问题多源于设计和使用不当,优化需从表结构、索引、SQL语句和配置入手。应选用合适数据类型、避免NULL、拆分大字段;为常用查询字段建索引,遵循最左前缀原则,避免函数操作导致索引失效;禁止SELECT *,合理使用LIMIT,减少子查询与循环中执行SQL;开启慢查询日志,使用连…

    2026年9月20日
    000
  • join连接表在mysql中如何实现

    INNER JOIN返回两表匹配行,LEFT JOIN保留左表全部数据,RIGHT JOIN保留右表全部数据,多表连接可连续使用JOIN,需注意ON条件和索引优化。 在 MySQL 中,JOIN 用于将两个或多个表根据相关列进行连接,从而在一个查询中获取跨表的数据。常见的 JOIN 类型包括 INN…

    2026年9月20日
    000
  • order by排序在mysql中如何实现

    ORDER BY用于对查询结果排序,支持ASC升序和DESC降序,位于SELECT语句末尾,可按单列或多列排序;MySQL优先利用索引有序性避免排序,若无合适索引则采用filesort在内存或磁盘排序;优化器选择单路或双路排序以提升效率;性能关键包括为排序字段建立索引、避免大结果集无索引排序、减少S…

    2026年9月20日
    000
  • MySQL索引是什么_如何通过索引提升查询性能?

    MySQL索引是什么_如何通过索引提升查询性能?MySQL索引是什么_如何通过索引提升查询性能?MySQL索引是什么_如何通过索引提升查询性能?MySQL索引是什么_如何通过索引提升查询性能?

    索引通过排序+查找结构提升查询速度,适合加索引的字段包括where条件、join连接、order by和group by中的字段,但唯一值少、数据量小或频繁更新的字段不适合。常见误区有索引失效、模糊查询左侧通配符、联合索引顺序错误、冗余索引等。可通过explain命令查看索引使用情况,定期清理无用索…

    2026年9月20日 用户投稿
    000
  • mysql如何理解视图

    视图是基于SQL查询的虚拟表,不存储数据,每次查询时动态生成结果。1. 简化复杂查询,封装多表关联;2. 提高安全性,限制数据访问;3. 保持逻辑一致,避免重复定义;4. 兼容旧程序,表结构变更时减少修改;5. 更新受限,仅简单单表视图可写;6. 无性能提升,需依赖基础表索引优化。 视图在MySQL…

    2026年9月20日
    000
  • mysql如何实现用户积分系统

    mysql如何实现用户积分系统mysql如何实现用户积分系统mysql如何实现用户积分系统mysql如何实现用户积分系统

    答案:设计用户积分系统需创建用户积分表和积分流水表,通过事务保证积分增减与日志记录的一致性,结合索引优化查询,辅以缓存和归档提升性能。 实现用户积分系统,核心是设计合理的数据表结构,并配合业务逻辑进行增减积分、记录流水。MySQL 作为存储层,可以很好地支撑这类系统。 1. 设计用户积分表 创建一个…

    2026年9月20日 用户投稿
    300
  • mysql如何防止脏读问题

    MySQL通过REPEATABLE READ默认隔离级别利用MVCC机制防止脏读,事务基于数据快照读取,避免看到未提交的修改;结合显式锁、乐观锁、约束和幂等设计,可进一步保障一致性。 MySQL防止脏读的核心机制在于事务的隔离级别,通过设置合适的隔离级别,尤其是READ COMMITTED或REPE…

    2026年9月20日
    000
  • 自增字段在mysql中使用注意什么

    自增字段需作为索引首列,建议设为主键以避免错误;不可随意手动插入值以防跳号或冲突;DELETE不重置自增值,TRUNCATE会清零;并发下安全但不保证连续;复制或分表时应配置增量偏移或采用分布式ID。 在 MySQL 中使用自增字段(AUTO_INCREMENT)时,虽然能简化主键生成逻辑,但如果不…

    2026年9月20日
    000
  • mysql中NULL和NOT NULL的区别

    NULL允许字段为空,表示未知或不存在,需用IS NULL判断;2. NOT NULL强制字段必须有值,插入空值会报错;3. NULL影响索引效率,建议关键字段设为NOT NULL并设默认值;4. 根据业务逻辑合理选择,保障数据完整性与查询性能。 在MySQL中,NULL 和 NOT NULL 是用…

    2026年9月20日
    000
  • mysql如何配置临时文件权限

    通过设置tmpdir指定专用目录并配置系统权限为700,结合文件系统安全挂载选项与MySQL用户权限控制,可有效保障MySQL临时文件安全性。 MySQL 本身不直接提供配置“临时文件权限”的参数,但可以通过操作系统层面和 MySQL 相关配置共同控制临时文件的创建位置与访问权限,确保安全性。关键在…

    2026年9月20日
    000
  • mysql如何优化日期查询

    正确使用索引和避免函数干扰是MySQL日期查询优化的核心。1. 为日期字段添加索引,确保范围查询高效执行;2. 避免在WHERE条件中对日期字段使用DATE()、YEAR()等函数,改用范围比较;3. 用order_date >= ‘2024-01-01’ AND or…

    2026年9月20日
    100

发表回复

登录后才能评论
关注微信