MySQL 分表优化试验代码

我们的项目中有好多不等于的情况。今天写这篇文章简单的分析一下怎么个优化法。

这里的分表逻辑是根据t_group表的user_name组的个数来分的。
因为这种情况单独user_name字段上的索引就属于烂索引。起不了啥名明显的效果。

DELIMITER $$
DROP PROCEDURE `t_girl`.`sp_split_table`$$
CREATE PROCEDURE `t_girl`.`sp_split_table`()
BEGIN
declare done int default 0;
declare v_user_name varchar(20) default ”;
declare v_table_name varchar(64) default ”;

declare cur1 cursor for select user_name from t_group group by user_name;

declare continue handler for 1329 set done = 1;

open cur1;
while done 1
do
fetch cur1 into v_user_name;
if not done then

set v_table_name = concat(‘t_group_’,v_user_name);

set @stmt = concat(‘create table ‘,v_table_name,’ like t_group’);
prepare s1 from @stmt;
execute s1;
drop prepare s1;

set @stmt = concat(‘insert into ‘,v_table_name,’ select * from t_group where user_name = ”’,v_user_name,””);
prepare s1 from @stmt;
execute s1;
drop prepare s1;
end if;
end while;

close cur1;

set @stmt = NULL;
END$$

DELIMITER ;
2、试验表。

mysql> select count(*) from t_group;
+———-+
| count(*) |
+———-+
| 10388608 |
+———-+
1 row in set (0.00 sec)

表结构。
mysql> desc t_group;
+————-+——————+——+—–+——————-+—————-+
| Field | Type | Null | Key | Default | Extra |
+————-+——————+——+—–+——————-+—————-+
| id | int(10) unsigned | NO | PRI | NULL | auto_increment |
| money | decimal(10,2) | NO | | | |
| user_name | varchar(20) | NO | MUL | | |
| create_time | timestamp | NO | | CURRENT_TIMESTAMP | |
+————-+——————+——+—–+——————-+—————-+
4 rows in set (0.00 sec)

索引情况。

mysql> show index from t_group;
+———+————+——————+————–+————-+———–+————-+———-+——–+——+————+———+
| Table | Non_unique | Key_name | Seq_in_index | Column_name | Collation | Cardinality | Sub_part | Packed | Null | Index_type | Comment |
+———+————+——————+————–+————-+———–+————-+———-+——–+——+————+———+
| t_group | 0 | PRIMARY | 1 | id | A | 10388608 | NULL | NULL | | BTREE | |
| t_group | 1 | idx_user_name | 1 | user_name | A | 8 | NULL | NULL | | BTREE | |
| t_group | 1 | idx_combination1 | 1 | user_name | A | 8 | NULL | NULL | | BTREE | |
| t_group | 1 | idx_combination1 | 2 | money | A | 3776 | NULL | NULL | | BTREE | |
+———+————+——————+————–+————-+———–+————-+———-+——–+——+————+———+
4 rows in set (0.00 sec)

PS:
idx_combination1 这个索引是必须的,因为要对user_name来GROUP BY。此时属于松散索引扫描!当然完了后你可以干掉她。
idx_user_name 这个索引是为了加快单独执行constant这种类型的查询。
我们要根据用户名来分表。

mysql> select user_name from t_group where 1 group by user_name;
+———–+
| user_name |
+———–+
| david |
| leo |
| livia |
| lucy |
| sarah |
| simon |
| sony |
| sunny |
+———–+
8 rows in set (0.00 sec)

mysql> show tables like ‘t_group_%’;
+——————————+
| Tables_in_t_girl (t_group_%) |
+——————————+
| t_group_david |
| t_group_leo |
| t_group_livia |
| t_group_lucy |
| t_group_sarah |
| t_group_simon |
| t_group_sony |
| t_group_sunny |
+——————————+
8 rows in set (0.00 sec)

mysql> select count(*) from t_group where user_name = ‘david’;
+———-+
| count(*) |
+———-+
| 1298576 |
+———-+
1 row in set (1.71 sec)

mysql> select count(*) from t_group_david;
+———-+
| count(*) |
+———-+
| 1298576 |
+———-+
1 row in set (0.00 sec)

mysql> select count(*) from t_group where user_name ‘david’;
+———-+
| count(*) |
+———-+
| 9090032 |
+———-+
1 row in set (9.26 sec)

mysql> select (select count(*) from t_group) – (select count(*) from t_group_david) as total;
+———+
| total |
+———+
| 9090032 |
+———+
1 row in set (0.00 sec)

mysql> select min(money),max(money) from t_group where user_name = ‘david’;
+————+————+
| min(money) | max(money) |
+————+————+
| -6.41 | 500.59 |
+————+————+
1 row in set (0.00 sec)

mysql> select sum(money),avg(money) from t_group where user_name = ‘david’;
+————–+————+
| sum(money) | avg(money) |
+————–+————+
| 319992383.84 | 246.417910 |
+————–+————+
1 row in set (2.15 sec)

mysql> select min(money),max(money) from t_group_david;
+————+————+
| min(money) | max(money) |
+————+————+
| -6.41 | 500.59 |
+————+————+
1 row in set (1.50 sec)

mysql> select sum(money),avg(money) from t_group_david;
+————–+————+
| sum(money) | avg(money) |
+————–+————+
| 319992383.84 | 246.417910 |
+————–+————+
1 row in set (1.68 sec)

mysql> desc t_group_david;
+————-+——————+——+—–+——————-+—————-+
| Field | Type | Null | Key | Default | Extra |
+————-+——————+——+—–+——————-+—————-+
| id | int(10) unsigned | NO | PRI | NULL | auto_increment |
| money | decimal(10,2) | NO | | | |
| user_name | varchar(20) | NO | MUL | | |
| create_time | timestamp | NO | | CURRENT_TIMESTAMP | |
+————-+——————+——+—–+——————-+—————-+
4 rows in set (0.00 sec)

mysql> alter table t_group_david drop user_name;
Query OK, 1298576 rows affected (7.58 sec)
Records: 1298576 Duplicates: 0 Warnings: 0

mysql> select min(money),max(money) from t_group_david;
+————+————+
| min(money) | max(money) |
+————+————+
| -6.41 | 500.59 |
+————+————+
1 row in set (0.00 sec)

mysql> select sum(money),avg(money) from t_group_david;
+————–+————+
| sum(money) | avg(money) |
+————–+————+
| 319992383.84 | 246.417910 |
+————–+————+
1 row in set (0.94 sec)

mysql> Aborted

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/449840.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2025年11月7日 22:34:33
下一篇 2025年11月7日 22:41:33

相关推荐

  • python需要哪些软件

    Python开发所需软件:文本编辑器或集成开发环境 (IDE)Python解释器开发工具包 (SDK)数据库访问库(如果需要)可选工具:版本控制系统、单元测试框架、包管理工具、调试器 Python开发所需的软件 要进行Python开发,需要以下软件: 文本编辑器或集成开发环境 (IDE) 文本编辑器…

    2025年12月13日
    000
  • python需要用到数据库吗

    是的,Python 通常需要用到数据库来存储管理数据,原因包括:存储持久性数据、组织查询数据、支持并发访问、维护数据完整性、确保可扩展性。Python 提供多种模块和框架来访问数据库,如 sqlite3、Django 和 SQLAlchemy,支持各种数据库系统,如 MySQL、MongoDB 和 …

    2025年12月13日
    000
  • python需要连接数据库吗

    是的,Python 需要连接数据库才能访问和操作数据库中的数据。数据库连接是 Python 程序与数据库服务器之间的桥梁,允许程序执行查询、插入数据和更新记录。连接库包括:SQLAlchemy、Peewee、Django ORM、Pony ORM、SQLObject。连接过程需要提供数据库类型、主机…

    2025年12月13日
    000
  • 在 Django 中使用 SQLite 作为 Celery 代理

    redis 和 rabbitmq 可能是使用 celery 时的首选代理,但当您在本地开发时,它们可能会让人感觉大材小用。 celery 5.4 的文档提到您可以使用 sqlite 作为本地开发的实验代理。然而,当您导航到 celery 的后端和代理页面时,唯一提到的 sql 是针对 sqlalch…

    2025年12月13日
    000
  • 使用Python高效读取数百万行SQL数据

    在 sql 中处理大型数据集可能具有挑战性,尤其是当您需要高效读取数百万行时。这是使用 python 处理此问题的简单方法,确保您的数据处理保持高性能和可管理性。 解决了端到端大数据和数据科学项目 使用高效的数据库驱动程序 python 有多个数据库驱动程序,例如用于 postgresql 的 ps…

    2025年12月13日
    000
  • python数据库是什么意思

    Python 数据库是使用 Python 连接和操作各种数据库的软件工具。使用 Python 数据库通常涉及安装驱动程序、创建连接、执行查询、获取结果和关闭连接。它易于使用、灵活、高效且可移植。常见的 Python 数据库库包括 MySQLdb、psycopg2、cx_Oracle 和 pymong…

    2025年12月13日
    000
  • python的row是什么意思

    在 Python 中,row 表示数据表中的一行数据,它是一个列表或元组,其中存储了表的每一列的值。row 可用于遍历和访问表中的数据、提取特定列的值、修改表中的数据以及插入和删除表中的数据。通过 cursor.fetchone()、cursor.fetchmany(n) 和 cursor.fetc…

    2025年12月13日
    000
  • python和数据库怎么连接

    Python 提供连接和操作数据库的能力,以下是步骤:导入数据库连接模块(如 pymysql 或 psycopg2)。创建连接对象,指定主机、用户名、密码和数据库名称。创建游标对象,用于执行查询和获取结果。使用连接对象执行查询、获取结果和关闭连接。 Python 连接数据库 Python 是一种强大…

    2025年12月13日
    000
  • python怎么连接数据库

    在 python 中连接数据库 Python 是一个功能强大的编程语言,可用于与各种数据库系统交互。本文将介绍如何使用 Python 连接到数据库。 步骤: 导入必要的库创建数据库连接执行 SQL 查询处理查询结果关闭数据库连接 1. 导入必要的库 连接数据库需要使用第三方库,如: 立即学习“Pyt…

    好文分享 2025年12月13日
    000
  • PyCharm怎么打开连接页面 PyCharm打开连接页面的方法

    首先,我们需要找到页面中的database窗口,一般在页面的右侧,没有显示的话,可以点击view-> tool windows->database。 然后显示DataBase之后,我们点击DataBase。 然后我们点击DataBase的这个 + 号 然后选择Data Source -&…

    2025年12月13日 好文分享
    000
  • PyCharm怎么新建数据源_PyCharm新建数据源的操作方法

    首先,我们在pycharm软件中右击即可新建文件。 其次,就可以在这里新建数据源。 于是,我们就可以在这里新建MySQL或者Oracle等等数据源。 以上就是PyCharm怎么新建数据源_PyCharm新建数据源的操作方法的详细内容,更多请关注创想鸟其它相关文章!

    2025年12月13日
    000
  • pycharm首次如何连接mysql数据库

    在 PyCharm 中连接 MySQL 数据库需要安装 MySQL Connector 并创建连接。首先安装 MySQL Connector,然后右键单击项目树中的“数据库”并选择“新建”>“数据源”,选择“MySQL”,输入连接信息并单击“测试连接”以确保连接成功。最后,您可以运行 SQL …

    2025年12月13日
    000
  • pycharm怎么显示数据库数据

    PyCharm 中显示数据库数据的方法包括:建立数据库连接打开数据库浏览器连接到数据库浏览表和数据可选:编辑数据 如何在 PyCharm 中显示数据库数据 在 PyCharm 中显示数据库数据需要遵循以下步骤: 1. 建立数据库连接 打开 PyCharm,选择 “File” …

    2025年12月13日
    000
  • pycharm怎么打开数据库的表

    PyCharm 通过以下步骤打开数据库表:安装数据库插件。创建数据库连接。在数据库树中展开数据库名称以查看表。右键单击要打开的表并选择“打开表”。查看表数据或执行 SQL 查询。 如何使用 PyCharm 打开数据库表 PyCharm 是一款强大的 Python IDE,它可以轻松地打开和处理数据库…

    2025年12月13日
    000
  • pycharm的数据表在哪儿

    在 PyCharm 中查看和管理数据表:选择 “View” > “Tool Windows” > “Database” 或使用快捷键 Ctrl + Alt + D。点击 “加号” 图标,选择数…

    2025年12月13日
    000
  • pycharm社区版和专业版界面区别

    PyCharm 社区版和专业版界面差异主要体现在:主工具栏:专业版增加“重构”、“数据库”、“单元测试”等工具。项目视图:专业版提供按层次结构组织项目的“Project View”。编辑器区域:专业版增强代码完成、重构和调试功能。侧边栏:专业版新增“数据库工具”、“单元测试”和“终端”等选项卡。其他…

    2025年12月13日
    000
  • 探索与实践:优化numpy随机数生成算法

    优化numpy随机数生成算法的探索与实践 摘要:本文针对numpy库中的随机数生成算法进行了探索与实践,通过对比和分析多种不同算法的性能和随机性能力,提出了一种优化方案,并给出了具体的代码示例。 引言随机数在计算机科学和统计学中有着广泛的应用,如模拟实验、随机采样和密码学等。numpy库作为Pyth…

    2025年12月13日
    000
  • Python开发经验分享:如何进行代码重构和优化

    Python开发经验分享:如何进行代码重构和优化 引言:随着软件开发的不断发展,代码的重构和优化已成为开发过程中不可或缺的一环。而Python作为一门动态、简洁的高级编程语言,也同样需要进行代码重构和优化来提高程序的性能和可维护性。本文将分享一些Python代码重构和优化的经验,帮助开发者写出更高效…

    2025年12月13日
    000
  • Python开发注意事项:避免常见的性能瓶颈

    Python开发作为一门高效而受欢迎的编程语言,能够帮助开发者快速构建应用程序。然而,在开发过程中,我们需要注意一些常见的性能瓶颈,以确保我们的代码能够高效运行。本文将重点介绍一些常见的性能瓶颈以及避免它们的方法。 首先,Python是一门解释性语言,相比于编译型语言,其执行速度会较慢。因此,在开发…

    2025年12月13日
    000
  • 如何优化Python中的算法和数据结构

    如何优化Python中的算法和数据结构 在编程中,算法和数据结构是非常重要的。一个高效的算法和合适的数据结构可以大大提高程序的性能。而Python作为一种高级编程语言,提供了丰富的库和语法糖,使得编写算法和数据结构变得更加简洁和易读。本篇文章将介绍一些优化Python中算法和数据结构的技巧,并提供具…

    2025年12月13日
    000

发表回复

登录后才能评论
关注微信