mysql大表分页查询翻页优化方案

mysql大表分页查询翻页优化方案

mysql分页查询是先查询出来所有数据,然后跳过offset,取limit条记录,造成了越往后的页数,查询时间越长

一般优化思路是转换offset,让offset尽可能的小,最好能每次查询都是第一页,也就是offset为0

 

查询按id排序的情况

一、如果查询是根据id排序的,并且id是连续的

这种网上介绍比较多,根据要查的页数直接算出来id的范围

比如offset=40, limit=10, 表示查询第5页数据,那么第5页开始的id是41,增加查询条件:id>40  limit 10

 

二、如果查询是根据id排序的,但是id不是连续的

通常翻页页数跳转都不会很大,那我们可以根据上一次查询的记录,算出来下一次分页查询对应的新的 offset和 limit,也就是离上一次查询记录的offset

分页查询一般会有两个参数:offset和limit,limit一般是固定,假设limit=10

 那为了优化offset太大的情况,每次查询需要提供两个额外的参数

参数lastEndId: 上一次查询的最后一条记录的id

千帆AppBuilder 千帆AppBuilder

百度推出的一站式的AI原生应用开发资源和工具平台,致力于实现人人都能开发自己的AI原生应用。

千帆AppBuilder 174 查看详情 千帆AppBuilder

参数lastEndOffset: 上一次查询的最后一条记录对应的offset,也就是上一次查询的offset+limit

第一种情况(与第二种其实是一样):跳转到下一页,增加查询条件:id>lastEndId limit 10第二种情况:往下翻页,跳转到下任意页,算出新的newOffset=offset-lastEndOffset,增加查询条件:id>lastEndId offset newOffset limit 10,但是如果newOffset也还是很大,比如,直接从第一页跳转到最后一页,这时候我们可以根据id逆序(如果原来id是正序的换成倒序,如果是倒序就换成正序)查询,根据总数量算出逆序查询对应的offset和limit,那么 newOffset = totalCount – offset – limit, 查询条件:id=totalCount ,也就是算出来的newOffset 可能小于0, 所以最后一页的newOffset=0,limit = totalCount – offset第三种情况:往上翻页,跳转到上任意页,根据id逆序 ,newOffset = lastEndOffset- offset – limit-1, 查询条件:id<lastEndId offset newOffset limit 10 ,然后再通过代码逆序,得到正确顺序的数据

 

三,如果查询是根据其他字段,比如一般使用的创建时间(createTime)排序

这种跟第二种情况差不多,区别是createTime不是唯一的,所以不能确定上一次最后一条记录对应的创建时间,哪些是下一页的,哪些是上一页的

这时候,增加一个请求参数lastEndCount:表示上一次查询最后一条记录对应的创建时间,有多少条是这同一时间的,这个根据上一次的数据统计

根据第二种情况下计算出来的newOffset加上lastEndCount,就是新的offset,其他的处理方式和第二种一致

 

java 示例:

 

/** * 如果是根据创建时间排序的分页,根据上一条记录的创建时间优化分布查询 *  * @see 将会自动添加createTime排序 * @param lastEndCreateTime *            上一次查询的最后一条记录的创建时间 * @param lastEndCount 上一次查询的时间为lastEndCreateTime的数量 * @param lastEndOffset  上一次查询的最后一条记录对应的偏移量     offset+limit **/public Page page(QueryBuilder queryBuilder, Date lastEndCreateTime, Integer lastEndCount, Integer lastEndOffset,int offset, int limit) {FromBuilder fromBuilder = queryBuilder.from(getModelClass());Page page = new Page();int count = dao.count(fromBuilder);page.setTotal(count);if (count == 0) {return page;}if (offset == 0 || lastEndCreateTime == null || lastEndCount == null || lastEndOffset == null) {List list = dao.find(SelectBuilder.selectFrom(fromBuilder.offsetLimit(offset, limit).order().desc("createTime").end()));page.setData(list);return page;}boolean isForward = offset >= lastEndOffset;if (isForward) {int calcOffset = offset - lastEndOffset + lastEndCount;int calcOffsetFormEnd = count - offset - limit;if (calcOffsetFormEnd  0) {fromBuilder.order().asc("createTime").end().offsetLimit(calcOffsetFormEnd, limit);} else {fromBuilder.order().asc("createTime").end().offsetLimit(0, calcOffsetFormEnd + limit);}} else {fromBuilder.where().andLe("createTime", lastEndCreateTime).end().order().desc("createTime").end().offsetLimit(calcOffset, limit);}} else {fromBuilder.where().andGe("createTime", lastEndCreateTime).end().order().asc("createTime").end().offsetLimit(lastEndOffset - offset - limit - 1 + lastEndCount, limit);}List list = dao.find(SelectBuilder.selectFrom(fromBuilder));if (!isForward) {list.sort(new Comparator() {@Overridepublic int compare(T o1, T o2) {return o1.getCreateTime().before(o2.getCreateTime()) ? 1 : -1;}});}page.setData(list);return page;}

 

前端js参数,基于bootstrap table

    this.lastEndCreateTime = null;    this.currentEndCreateTime = null;        this.isRefresh = false;              this.currentEndOffset = 0;        this.lastEndOffset = 0;        this.lastEndCount = 0;        this.currentEndCount = 0;        $("#" + this.tableId).bootstrapTable({            url: url,            method: 'get',            contentType: "application/x-www-form-urlencoded",//请求数据内容格式 默认是 application/json 自己根据格式自行服务端处理            dataType:"json",            dataField:"data",            pagination: true,            sidePagination: "server", // 服务端请求            pageList: [10, 25, 50, 100, 200],            search: true,            showRefresh: true,            toolbar: "#" + tableId + "Toolbar",            iconSize: "outline",            icons: {                refresh: "icon fa-refresh",            },            queryParams: function(params){            if(params.offset == 0){            this.currentEndOffset = params.offset + params.limit;            }else{            if(params.offset + params.limit==this.currentEndOffset){             //刷新            this.isRefresh = true;            params.lastEndCreateTime = this.lastEndCreateTime;                params.lastEndOffset = this.lastEndOffset;                params.lastEndCount = this.lastEndCount;            }else{             console.log(this.currentEndCount);            //跳页            this.isRefresh = false;            params.lastEndCreateTime = this.currentEndCreateTime;                params.lastEndOffset = this.currentEndOffset;                params.lastEndCount = this.currentEndCount;                this.lastEndOffset = this.currentEndOffset;                this.currentEndOffset = params.offset + params.limit;                console.log(params.lastEndOffset+","+params.lastEndCreateTime);                            }            }            return params;            },            onSearch: function (text) {                this.keyword = text;            },            onPostBody : onPostBody,            onLoadSuccess: function (resp) {                        if(resp.code!=0){            alertUtils.error(resp.msg);            }                               var data = resp.data;                var dateLength = data.length;                if(dateLength==0){                return;                }                if(!this.isRefresh){                 this.lastEndCreateTime =  this.currentEndCreateTime;                     this.currentEndCreateTime = data[data.length-1].createTime;                     this.lastEndCount = this.currentEndCount;                     this.currentEndCount = 0;                     for (var i = 0; i < resp.data.length; i++) {var item = resp.data[i];if(item.createTime === this.currentEndCreateTime){this.currentEndCount++;}}                }                            }        });

更多MySQL相关技术文章,请访问MySQL教程栏目进行学习!

以上就是mysql大表分页查询翻页优化方案的详细内容,更多请关注创想鸟其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/1078986.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
宁美电脑无线信号弱?Intel 无线网卡天线老化检测与增强​
上一篇 2025年12月2日 17:34:25
如何用CSS伪元素在居中div中添加垂直居中的线条?
下一篇 2025年12月2日 17:34:25

相关推荐

  • 如何在服务器上优化mysql安装

    优化MySQL需从系统环境、配置参数、存储引擎到日常维护多层面入手,首先确保内存合理分配、选用XFS等高性能文件系统、关闭非必要服务并调整内核参数;其次在MySQL配置中优先使用InnoDB引擎,科学设置innodb_buffer_pool_size、innodb_log_file_size、max…

    2026年9月21日
    000
  • 在Java中静态方法能否被重写

    静态方法属于类而非实例,不参与运行时动态绑定,因此不能被重写;2. 子类定义同名静态方法时发生方法隐藏,调用时机由引用类型在编译阶段决定;3. 如示例所示,Parent p = new Child() 调用 p.display() 输出 “Parent static method&#82…

    2026年9月21日
    000
  • Laravel中的服务容器(Service Container)是什么?

    laravel中的服务容器是框架的核心组件,充当服务定位器和依赖注入容器。1)它管理类及其依赖,简化依赖管理,提升代码可测试性和可维护性。2)服务容器是应用架构的基石,帮助拆分复杂业务逻辑成独立服务,提高代码灵活性和可扩展性。3)基本用法包括绑定和解析服务,如app()->bind(&#821…

    2026年9月21日
    100
  • 为什么VSCode的语法高亮有时会失效?

    语法高亮失效通常由语言模式识别错误、扩展冲突或配置问题导致。1. 检查右下角语言模式并手动切换为正确类型,确保文件有正确扩展名;2. 禁用近期安装的扩展或以 code –disable-extensions 启动排查冲突;3. 切换至默认主题并检查 settings.json 是否覆盖颜…

    2026年9月21日
    500
  • mysql如何启用binlog日志

    MySQL启用binlog需修改配置文件添加log-bin和server-id,重启服务后执行SHOW VARIABLES LIKE ‘log_bin’验证是否为ON,确认启用。 MySQL启用binlog日志需要修改配置文件并重启服务,同时可进行简单验证确保生效。以下是具体…

    2026年9月21日
    000
  • Linux命令行如何查看登录用户

    Linux命令行如何查看登录用户Linux命令行如何查看登录用户Linux命令行如何查看登录用户Linux命令行如何查看登录用户

    答案是 who、w 和 users 命令用于查看Linux系统登录用户,其中 who 显示登录用户及终端信息,w 还显示用户正在执行的命令和系统负载,users 仅输出用户名列表。 在Linux命令行下,要查看当前系统上有哪些用户登录,最直接、最常用的命令包括 who 、 w 和 users 。它们…

    2026年9月21日 用户投稿
    100
  • 虚拟伴侣AI如何实现智能学习 虚拟伴侣AI自适应训练系统的优化指南

    虚拟伴侣AI如何实现智能学习 虚拟伴侣AI自适应训练系统的优化指南虚拟伴侣AI如何实现智能学习 虚拟伴侣AI自适应训练系统的优化指南虚拟伴侣AI如何实现智能学习 虚拟伴侣AI自适应训练系统的优化指南虚拟伴侣AI如何实现智能学习 虚拟伴侣AI自适应训练系统的优化指南

    通过强化学习、记忆网络、多模态融合、联邦学习与课程学习五大机制,构建虚拟伴侣AI的自适应训练系统:一、利用用户反馈信号驱动PPO算法优化对话策略,结合稀疏奖励补偿提升长期决策质量;二、建立增量式上下文记忆网络,以向量数据库存储并检索用户个性化信息,增强长期依赖建模能力;三、融合文本、语音、打字节奏等…

    2026年9月21日 用户投稿
    100
  • 《忍者龙剑传4》PS版画面对比!Pro有专属模式!

    《忍者龙剑传4》PS版画面对比!Pro有专属模式!《忍者龙剑传4》PS版画面对比!Pro有专属模式!《忍者龙剑传4》PS版画面对比!Pro有专属模式!《忍者龙剑传4》PS版画面对比!Pro有专属模式!

    《忍者龙剑传4》(ninja gaiden 4)作为首款深度适配索尼playstation 5 pro硬件特性的动作大作,已于10月21日正式发售。随着媒体评测全面解禁,游戏凭借极致的战斗体验与技术表现赢得广泛赞誉。 本作在标准版PS5与PS5 Pro上均展现出顶尖水准,但得益于更强的GPU与定制A…

    2026年9月21日 用户投稿
    100
  • mac怎么撤销已发送的信息_Mac撤销已发送信息方法

    答案:Mac上可通过“信息”应用在2分钟内撤回或编辑iMessage消息。操作步骤:1. 悬停消息气泡点击“…”;2. 选择“撤回”或“编辑”;3. 编辑最多5次,超限仅可撤回,对方消息同步删除。 如果您在Mac上使用信息应用发送了消息,但发现内容有误或需要撤回,可以在一定时间内执行撤销操作。此功能…

    2026年9月21日
    000
  • Windows系统下的兼容性问题

    windows兼容性问题严重是因为系统演进快、硬件和软件环境多样。处理此问题需:1.了解目标系统版本和配置;2.使用低版本api或兼容性模式;3.检测操作系统版本并调整程序行为;4.避免依赖特定版本的库,提供多版本安装包;5.考虑硬件依赖性,提供备选方案;6.进行跨版本性能测试和优化。 在Windo…

    2026年9月21日
    000
  • 豆包大模型1.6 lite— 字节跳动推出的轻量级AI模型

    豆包大模型1.6 lite— 字节跳动推出的轻量级AI模型豆包大模型1.6 lite— 字节跳动推出的轻量级AI模型豆包大模型1.6 lite— 字节跳动推出的轻量级AI模型豆包大模型1.6 lite— 字节跳动推出的轻量级AI模型

    ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜ 豆包大模型 字节跳动自主研发的一系列大型语言模型 834 查看详情 豆包大模型1.6 lite是什么 豆包大模型1.6 lite(doubao-seed-1.6-lite)是字节跳动推出的轻量级…

    2026年9月21日 用户投稿
    300
  • mysql如何使用事务保证操作原子性

    答案:MySQL中事务通过START TRANSACTION开启,需使用InnoDB引擎并关闭自动提交,执行SQL后根据结果COMMIT或ROLLBACK,结合异常处理确保原子性。 在MySQL中,事务是保证数据库操作原子性的核心机制。通过事务,可以确保一组SQL操作要么全部成功执行,要么全部不执行…

    2026年9月21日
    500
  • 百度AI开发者大会何时举行_百度AI开发者大会参与指南

    2025百度AI开发者大会于4月25日在武汉体育中心举办,主题为“模型的世界,应用的天下”,发布了两大模型及多款AI应用,参会需通过官网注册报名,审核后获取电子凭证,同时提供线上直播及会后视频回看。 ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜…

    2026年9月21日
    000
  • 抖音商城是哪个公司在运营

    抖音商城的运营主体揭晓 抖音商城由北京微播视界科技有限公司负责运营。 作为抖音背后的母公司,字节跳动通过其全资子公司——微播视界,全面掌舵抖音平台及其电商板块的日常运作。依托雄厚的技术积累与多元化的业务布局,为用户打造流畅、智能且高效的购物环境。 抖音商城究竟是什么? 抖音商城是抖音App内嵌的一站…

    2026年9月21日
    100
  • mysql如何理解索引选择性

    索引选择性是衡量索引效率的关键指标,定义为索引列不同值数量与总行数的比值,范围在0到1之间。越接近1,数据唯一性越高,索引过滤能力越强,查询性能越好。例如主键列选择性为1,而性别列因重复值多选择性极低。MySQL优化器会优先选择高选择性索引以缩小搜索范围,提高执行效率。可通过SELECT COUNT…

    2026年9月21日
    000
  • 卖不动!iPhone Air暂时停产!库存已经够用了

    据数码博主“定焦数码”透露,苹果iphone air目前已暂停生产。此次调整主要受两方面因素影响:一是该机型在海外市场销量未达预期;二是中国大陆地区的上市时间有所推迟。不过,由于前期已储备了充足的整机库存,当前市场供应不受影响,未来将根据订单积累情况再决定恢复生产的时机。 这一产能变动与此前投资机构…

    2026年9月21日
    000
  • 豆包语音2.0— 字节跳动推出的升级版AI语音模型

    豆包语音2.0是什么 豆包语音2.0是字节跳动推出的升级版ai语音模型,包含两大核心模型:豆包语音合成模型2.0(doubao-seed-tts 2.0)和豆包声音复刻模型2.0(doubao-seed-icl 2.0)。语音合成模型2.0支持对话式合成,可精准理解语义和情感,实现复杂公式朗读,准确…

    2026年9月21日
    100
  • 如何为VSCode安装新的字体?

    先在操作系统安装字体文件,再在VSCode设置中指定字体名称。1. Windows右键安装.ttf/.otf文件,macOS用字体册安装,Linux复制到~/.fonts并运行fc-cache -fv;2. VSCode中通过设置界面或编辑settings.json修改”editor.f…

    2026年9月21日
    000
  • CentOS安装Mysql8.0图文教程[通俗易懂]

    CentOS安装Mysql8.0图文教程[通俗易懂]CentOS安装Mysql8.0图文教程[通俗易懂]CentOS安装Mysql8.0图文教程[通俗易懂]CentOS安装Mysql8.0图文教程[通俗易懂]

    大家好,又见面了,我是你们的朋友全栈君。 本文将为您提供一个详细的CentOS通过yum安装Mysql8.0的图文教程,并指导您如何配置和运行Mysql,使其能够被外部访问。 首先,我们需要从官网下载对应的rpm包,并复制下载链接。 接着,执行以下命令进行下载: # 先进入到local文件夹cd u…

    2026年9月21日 用户投稿
    100
  • mysql如何配置ssl安全连接

    MySQL支持SSL时返回YES,通过生成证书并配置my.cnf中的ssl-ca、ssl-cert、ssl-key启用SSL,创建REQUIRE SSL用户确保加密连接,客户端连接需指定证书参数,STATUS或Ssl_cipher验证加密状态。 MySQL 配置 SSL 安全连接可以提升数据库通信的…

    2026年9月21日
    200

发表回复

登录后才能评论
关注微信