mysql实现百万的数据快速创建索引

测试数据本机一张表users有100百万条记录。在创建此表前没有未相应字段添加索引,所以此时需要为表添加索引。但是因为数据量大的原因,索引添加可能不成功,想了很多办法,终于挖坑成功。

开始准备工作,

user表结构:

v3.5.1Piwik网站访问统计系统 v3.5.1Piwik网站访问统计系统

Piwik是一套基于Php+MySQL技术构建的开源网站访问统计系统,前身是phpMyVisites。Piwik 网站统计系统可以给你详细的统计信息,比如网页 浏览人数, 访问最多的页面, 搜索引擎关键词等等,并且采用了大量的AJAX/Flash技术,使得在操作上更加便易。此外,它还采用了插件扩展及开放API架构,可以让开发人员根据 自已的实际需求创建更多的功能。

v3.5.1Piwik网站访问统计系统 97 查看详情 v3.5.1Piwik网站访问统计系统

CREATE TABLE `users` (  `id` int(11) unsigned NOT NULL AUTO_INCREMENT,  `name` varchar(255) CHARACTER SET utf8mb4 DEFAULT NULL,  `add_time` int(11) DEFAULT NULL,  PRIMARY KEY (`id`)) ENGINE=MyISAM AUTO_INCREMENT=1000001 DEFAULT CHARSET=latin1;

尝试在navicat中使用 into outfile导出数据的时候出现错误:

select * from users into outfile 'users.txt'; //users.txt文件在mysql的dat

如下图:

mysql实现百万的数据快速创建索引

上网查了一下是mysql设置的权限,可以使用

show variables like ‘%secure%’;查看 secure-file-priv 当前的值是什么?

可以看到secure-file-priv参数是用来限制LOAD DATA, SELECT … OUTFILE, and LOAD_FILE()传到哪个指定目录的。 当secure_file_priv的值为null ,表示限制mysqld 不允许导入|导出 当secure_file_priv的值为/tmp/ ,表示限制mysqld 的导入|导出只能发生在/tmp/目录下 当secure_file_priv的值没有具体值时,表示不对mysqld 的导入|导出做限制.

mysql实现百万的数据快速创建索引

导出的数据必须是这个值的指定路径才可以导出,默认有可能是NULL(我这里查看的是null)就代表禁止导出,所以需要设置一下

由于我使用的是phpstudy,mysql安装路径下的my.ini文件,设置一下路径:

mysql实现百万的数据快速创建索引

注意:路径名加双引号” “
重启后再次执行错误依旧…..

mysql.cnf中没有对这个参数进行设定,就说明这个参数默认便是null

所以再尝试修改mysql.cnf中的[mysqld]加入secure_file_priv = 

最终如下:

mysql实现百万的数据快速创建索引

 

再次重启mysql
mysql实现百万的数据快速创建索引

mysql实现百万的数据快速创建索引

可以看到users.txt生成在同级test数据库目录。。。
接着执行:

truncate  users;

创建索引:

create index name using BTREE on users(name);

索引的方式有:BTREE、RTREE、HASH、FULLTEXT、SPATIAL,这里不再赘述他们的区别,网上有很多关于这块的介绍啦

导入文件到相应表users。

load data infile 'users.txt' into table users;

mysql实现百万的数据快速创建索引

此方式在write 锁住情况下,或对外服务暂停时使用,线上不可能直接这样玩了。

相关推荐:

MySQL创建索引和删除索引的方法

以上就是mysql实现百万的数据快速创建索引的详细内容,更多请关注创想鸟其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/892606.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2025年11月28日 15:47:29
下一篇 2025年11月28日 15:47:50

相关推荐

  • 模因硬币的兴起及其文化影响

    加密货币是一个庞大且快速变化的领域,新概念层出不穷。在这个领域中,有一个引人入胜的部分被称为模因币。 加密货币是一个广阔且持续变化的领域,新想法经常涌现。这个领域中的一个有趣方面是模因币,它们是以网络笑话和流行元素为灵感的数字货币。 不同于那些通常专注于复杂技术和金融的传统加密货币,模因币更加轻松、…

    2025年12月8日
    000
  • 挂单和吃单是什么意思?币安挂单需要收费吗?

    挂单和吃单是交易所常见的两种交易方式,理解这两种方式对于在交易所进行交易非常重要。挂单指的是交易者在交易所的订单簿中挂出自己的买卖订单,等待其他交易者来成交。吃单则是指交易者直接以当前市场价格买入或卖出资产,立即成交。两种方式各有优劣,选择哪一种取决于交易者的策略和需求。 挂单的定义和优势 挂单(也…

    2025年12月8日
    000
  • 天使投资人阿曼多·潘托贾(Armando Pantoja)打破了关于XRP关于市值和流入的XRP的普遍误解。

    随着xrp持续受到机构的青睐,其价格潜力依旧引发广泛讨论。其中最受关注的话题之一便是xrp是否有可能实现每枚硬币100美元的目标。 天使投资人阿曼多·潘托贾(Armando Pantoja)揭示了关于XRP市值与资金流入的常见误解。 尽管XRP正在不断赢得机构的支持,但围绕其价格潜力的疑问依然存在。…

    2025年12月7日
    000
  • Sui 生态新星 Haedal Protocol:质押赚钱新方式,币安空投福利速领!

    Haedal Protocol 是 Sui 上核心流动性质押协议,用户质押 SUI 可得 haSUI 参与治理与 DeFi 赚收益,其代币 HAEDAL 总供应量 10 亿枚。币安第 19 期 HODLer 空投为 BNB 持有者送福利,5 月 10 日至 14 日申购相关产品可获 HAEDAL 空…

    2025年12月7日
    000
  • 尽管达到了新的历史最高水平,但比特币的飞涨价格未能引起新的投资者的兴趣

    自四月初以来,比特币的价格已上涨了50%,突破了每枚10万美元的大关,刷新了历史新高。 从年初开始,比特币的价格一路上扬。 截至26日,比特币的价格已达到11万美元,再次创下历史新高。 不过,在比特币持续攀升的同时,国内的虚拟货币市场表现较为冷清,交易活跃度有所下降。 根据CoinGecko的数据,…

    2025年12月7日
    000
  • 比特币期权到期是什么意思?到期后该如何处理?

    比特币期权是一个相对较新且有风险的投资方式,它允许个人推测比特币的未来价格,这也是当前受投资者欢迎的主要原因之一。与其他衍生品一样,比特币期权也是一种合约,这也就意味着比特币期权会有到期日。那么比特币期权到期后如何处理?就是投资者关注的问题,一般来说会有行权、平仓、放弃以及重新平衡4个处理方式,但具…

    2025年12月7日
    000
  • Quasimodo是什么意思?2025年如何使用Quasimodo交易策略进行交易?

    quasimodo是什么意思?如何使用quasimodo交易策略? Quasimodo交易策略是一种独特的策略,用于识别潜在的买入和卖出区域。在2025年,该策略已通过人工智能驱动的模式识别、嵌套和分形Quasimodo(QM)等新变体,以及与去中心化金融(DeFi)平台的集成而显著发展。 Quas…

    2025年12月7日 好文分享
    000
  • Rexas Finance(RXS)和SUI(SUI):2025年牛市的新功率二人组

    从今年开始,只有0.0046美元,dogecoin飙升至$ 0.73 2021年,加密货币市场正在嗡嗡作响,尤其是在散户投资者中。模因硬币(例如Dogecoin(Crypto:Doge)和Shiba Inu(Crypto:Shib)之类的硬币,以其令人难以置信的价格飙升,席卷了加密球体。 从今年开始…

    2025年12月7日
    000
  • 货币贬值时代拥有的加密货币和NFT要越多

    在指数级货币贬值时代,加密货币和非同质化代币(nfts)可以帮助投资者保护不断侵蚀的购买力,这是分析师和行业领导者的观点。 全球宏观投资者(Global Macro Investor)创始人兼首席执行官Raoul Pal表示,投资数字资产在“指数时代和货币贬值的世界”中变得越来越重要。 “你拥有的加…

    2025年12月7日 好文分享
    000
  • XRP军队找到了线索:Ripple刚接近美国首都流的核心

    xrp社区成员的一个新发现引起了ripple的下一个大举动的新兴奋和大量猜测。 XRP社区的敏锐成员已经做出了一个新的发现,该发现可能比以前想象的更接近美国资本流动的核心。这一切都归结为在波纹市场与财政部市场之间形成的安静但强大的联系。 随着DTCC(存款信托与清算公司)的3月11日通知显示,Hid…

    2025年12月7日
    000
  • ustd用什么软件交易 ustd交易软件APP前十名汇总

    USTD,全称为Tether USD,是一种与美元挂钩的稳定币。它的主要目的是在加密货币市场中提供一种价格稳定的交易媒介。由于其与美元1:1的挂钩,USTD被广泛用于交易、支付和作为一种价值储存手段。在进行USTD交易时,选择合适的交易软件至关重要。以下是关于USTD交易软件的详细介绍和前十名汇总。…

    2025年12月7日 好文分享
    000
  • 虚拟币有多少个品种 虚拟币有哪些

    虚拟币种类繁多,超过10,000种:1.比特币(BTC)是市值最高的加密货币,具有去中心化和高安全性;2.以太坊(ETH)支持智能合约和DApps开发;3.瑞波币(XRP)用于金融机构跨境支付;4.莱特币(LTC)被称为“数字白银”,区块生成时间短;5.比特币现金(BCH)旨在提高交易速度和降低费用…

    2025年12月7日
    000
  • 一文看懂什么是虚拟币 虚拟币有什么用

    虚拟币是使用密码学原理确保交易安全的电子货币。1. 比特币是最著名的虚拟币。2. 以太坊提供去中心化应用平台。3. 莱特币交易速度快。4. 瑞波币用于跨境支付。 什么是虚拟币 虚拟币,又称数字货币,是指使用密码学原理来确保交易安全及控制交易单位创建的电子货币。虚拟币的概念最早可以追溯到20世纪90年…

    2025年12月7日
    000
  • 虚拟币市值top10盘点 虚拟币市值最高的是哪些

    虚拟币市值最高的是比特币(BTC)、以太坊(ETH)和泰达币(USDT)。1.比特币市值最高,因其去中心化和有限供应。2.以太坊次之,支持智能合约和DApps。3.泰达币是稳定币,与美元挂钩,流动性高。 在虚拟货币市场中,市值是衡量一个虚拟币的重要指标之一。市值越高的虚拟币通常意味着其流动性更好,接…

    2025年12月7日
    000
  • NFT与代币有什么区别?NFT与代币差异的简单指南

    目录 什么是代币?代币类型什么是 NFT?NFT 的主要特点NFT 与代币:主要区别现实世界的例子为什么重要结论 什么是代币? 代币是在区块链上创建的数字资产。它们可以代表各种事物,例如货币、访问权限,甚至是项目中的投票权。代币通常具有可互换性,这意味着每个代币都与其他代币相同。例如,一个比特币的价…

    2025年12月7日
    000
  • AO3镜像站备用镜像网址_AO3镜像站快速访问官网

    AO3镜像站备用网址包括ao3mirror.com和xiaozhan.icu,当主站archiveofourown.org无法访问时可切换使用,二者均同步更新内容并支持多语言检索与离线下载功能。 AO3镜像站备用镜像网址在哪里?这是不少网友都关注的,接下来由PHP小编为大家带来AO3镜像站快速访问官…

    2025年12月6日 软件教程
    200
  • Pboot插件缓存机制的详细解析_Pboot插件缓存清理的命令操作

    插件功能异常或页面显示陈旧内容可能是缓存未更新所致。PbootCMS通过/runtime/cache/与/runtime/temp/目录缓存插件配置、模板解析结果和数据库查询数据,提升性能但影响调试。解决方法包括:1. 手动删除上述目录下所有文件;2. 后台进入“系统工具”-“缓存管理”,勾选插件、…

    2025年12月6日 软件教程
    400
  • Pboot插件数据库连接的配置教程_Pboot插件数据库备份的自动化脚本

    首先配置PbootCMS数据库连接参数,确保插件正常访问;接着创建auto_backup.php脚本实现备份功能;然后通过Windows任务计划程序或Linux Cron定时执行该脚本,完成自动化备份流程。 如果您正在开发或维护一个基于PbootCMS的网站,并希望实现插件对数据库的连接配置以及自动…

    2025年12月6日 软件教程
    000
  • 今日头条官方主页入口 今日头条平台直达网址官方链接

    今日头条官方主页入口是www.toutiao.com,该平台通过个性化信息流推送图文、短视频等内容,具备分类导航、便捷搜索及跨设备同步功能。 今日头条官方主页入口在哪里?这是不少网友都关注的,接下来由PHP小编为大家带来今日头条平台直达网址官方链接,感兴趣的网友一起随小编来瞧瞧吧! www.tout…

    2025年12月6日 软件教程
    100
  • 环境搭建docker环境下如何快速部署mysql集群

    使用Docker Compose部署MySQL主从集群,通过配置文件设置server-id和binlog,编写docker-compose.yml定义主从服务并组网,启动后创建复制用户并配置主从连接,最后验证数据同步是否正常。 在Docker环境下快速部署MySQL集群,关键在于合理使用Docker…

    2025年12月6日 数据库
    000

发表回复

登录后才能评论
关注微信