mysql实现百万的数据快速创建索引

测试数据本机一张表users有100百万条记录。在创建此表前没有未相应字段添加索引,所以此时需要为表添加索引。但是因为数据量大的原因,索引添加可能不成功,想了很多办法,终于挖坑成功。

开始准备工作,

user表结构:

v3.5.1Piwik网站访问统计系统 v3.5.1Piwik网站访问统计系统

Piwik是一套基于Php+MySQL技术构建的开源网站访问统计系统,前身是phpMyVisites。Piwik 网站统计系统可以给你详细的统计信息,比如网页 浏览人数, 访问最多的页面, 搜索引擎关键词等等,并且采用了大量的AJAX/Flash技术,使得在操作上更加便易。此外,它还采用了插件扩展及开放API架构,可以让开发人员根据 自已的实际需求创建更多的功能。

v3.5.1Piwik网站访问统计系统 97 查看详情 v3.5.1Piwik网站访问统计系统

CREATE TABLE `users` (  `id` int(11) unsigned NOT NULL AUTO_INCREMENT,  `name` varchar(255) CHARACTER SET utf8mb4 DEFAULT NULL,  `add_time` int(11) DEFAULT NULL,  PRIMARY KEY (`id`)) ENGINE=MyISAM AUTO_INCREMENT=1000001 DEFAULT CHARSET=latin1;

尝试在navicat中使用 into outfile导出数据的时候出现错误:

select * from users into outfile 'users.txt'; //users.txt文件在mysql的dat

如下图:

mysql实现百万的数据快速创建索引

上网查了一下是mysql设置的权限,可以使用

show variables like ‘%secure%’;查看 secure-file-priv 当前的值是什么?

可以看到secure-file-priv参数是用来限制LOAD DATA, SELECT … OUTFILE, and LOAD_FILE()传到哪个指定目录的。 当secure_file_priv的值为null ,表示限制mysqld 不允许导入|导出 当secure_file_priv的值为/tmp/ ,表示限制mysqld 的导入|导出只能发生在/tmp/目录下 当secure_file_priv的值没有具体值时,表示不对mysqld 的导入|导出做限制.

mysql实现百万的数据快速创建索引

导出的数据必须是这个值的指定路径才可以导出,默认有可能是NULL(我这里查看的是null)就代表禁止导出,所以需要设置一下

由于我使用的是phpstudy,mysql安装路径下的my.ini文件,设置一下路径:

mysql实现百万的数据快速创建索引

注意:路径名加双引号” “
重启后再次执行错误依旧…..

mysql.cnf中没有对这个参数进行设定,就说明这个参数默认便是null

所以再尝试修改mysql.cnf中的[mysqld]加入secure_file_priv = 

最终如下:

mysql实现百万的数据快速创建索引

 

再次重启mysql
mysql实现百万的数据快速创建索引

mysql实现百万的数据快速创建索引

可以看到users.txt生成在同级test数据库目录。。。
接着执行:

truncate  users;

创建索引:

create index name using BTREE on users(name);

索引的方式有:BTREE、RTREE、HASH、FULLTEXT、SPATIAL,这里不再赘述他们的区别,网上有很多关于这块的介绍啦

导入文件到相应表users。

load data infile 'users.txt' into table users;

mysql实现百万的数据快速创建索引

此方式在write 锁住情况下,或对外服务暂停时使用,线上不可能直接这样玩了。

相关推荐:

MySQL创建索引和删除索引的方法

以上就是mysql实现百万的数据快速创建索引的详细内容,更多请关注创想鸟其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/892606.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
如何在 Windows 10 和 11 上自定义文件夹和库模板以满足您的需求
上一篇 2025年11月28日 15:47:38
一键搞定!华为手机截长图技巧分享
下一篇 2025年11月28日 15:47:40

相关推荐

  • mysql全文索引是什么意思

    mysql全文索引是什么意思mysql全文索引是什么意思mysql全文索引是什么意思mysql全文索引是什么意思

    MySQL 全文索引是一种特殊索引,用于提高全文搜索性能,通过存储单词的前缀来工作。它提供快速全文搜索、简易查询和部分匹配。要创建全文索引,可以使用 CREATE FULLTEXT INDEX 语法,例如:CREATE FULLTEXT INDEX index_name ON table_name …

    2026年9月24日 用户投稿
    000
  • 漫客栈免费登录网页_漫客栈官方网站漫画入口

    漫客栈免费登录网页_漫客栈官方网站漫画入口漫客栈免费登录网页_漫客栈官方网站漫画入口漫客栈免费登录网页_漫客栈官方网站漫画入口漫客栈免费登录网页_漫客栈官方网站漫画入口

    漫客栈免费登录网页入口是https://www.mankezhan.com/,该平台提供海量原创漫画资源,涵盖多种题材,支持多端阅读、离线下载与互动评论,阅读体验良好。 漫客栈免费登录网页入口地址在哪里?这是不少网友都关注的,接下来由PHP小编为大家带来漫客栈官方网站漫画入口,感兴趣的网友一起随小编…

    2026年9月24日 用户投稿
    200
  • 163邮箱官网手机免费入口 163免费邮箱移动登录

    163邮箱官网手机免费入口 163免费邮箱移动登录163邮箱官网手机免费入口 163免费邮箱移动登录163邮箱官网手机免费入口 163免费邮箱移动登录163邮箱官网手机免费入口 163免费邮箱移动登录

    163邮箱官网手机免费入口可通过访问mail.163.com自动跳转至移动版,或在应用商店下载“网易邮箱”App登录,支持多账号管理、邮件收发、附件添加、消息推送及多设备同步,并提供登录保护、主题自定义和垃圾邮件过滤等安全与个性化功能。 163邮箱官网手机免费入口在哪里?这是不少网友都关注的,接下来…

    2026年9月24日 用户投稿
    100
  • 学好mysql数据库能找到什么工作

    学好mysql数据库能找到什么工作学好mysql数据库能找到什么工作学好mysql数据库能找到什么工作学好mysql数据库能找到什么工作

    掌握 MySQL 数据库可为求职者带来众多工作机会,包括数据库管理员、数据库开发人员、数据分析师、数据科学家、商业智能分析师、软件工程师、Web 开发人员、测试工程师和数据挖掘工程师。 学好 MySQL 数据库能找到哪些工作? 精通 MySQL 数据库可为求职者创造众多职业机会,包括: 数据库管理员…

    2026年9月24日 用户投稿
    200
  • mysql的全文检索是什么

    mysql的全文检索是什么mysql的全文检索是什么mysql的全文检索是什么mysql的全文检索是什么

    摘要:MySQL 全文检索是一种在文本中搜索单词或短语的技术。其工作原理是:将文本拆分为标记并存储在全文索引中。匹配文本列中标记的搜索词或短语。提供快速搜索、相关性排序、模糊搜索和部分匹配功能。 MySQL 全文检索 全文检索是一种用于在文本内容中搜索单词或短语的技术。MySQL 中的全文检索功能允…

    2026年9月24日 用户投稿
    100
  • mysql中rand的用法 mysql随机函数使用教程

    mysql 的 rand() 函数返回 0 到 1 之间的随机浮点数,用于随机选择和排序数据。1)随机排序:select from your_table order by rand()。2)随机抽取记录:select from your_table order by rand() limit 10。…

    2026年9月24日
    200
  • 高质量免费logo设计网站 国产免费logo生成工具推荐

    国产免费Logo设计网站推荐即时设计、DesignEvo、牛人设计等,这些平台提供海量模板、支持中文输入与AI智能生成,具备全中文界面、本土化元素和矢量导出功能,适合零基础用户快速制作高质量Logo。 高质量免费logo设计网站国产免费logo生成工具推荐这是不少网友都关注的接下来由PHP小编为大家…

    2026年9月24日
    300
  • mysql临时表如何使用_PHP中操作mysql临时表的具体步骤

    MySQL临时表仅在当前会话可见,连接关闭后自动删除,适合中间数据处理。使用PHP操作时,先通过mysqli或PDO建立数据库连接,再执行CREATE TEMPORARY TABLE语句创建临时表,随后可像普通表一样进行INSERT、SELECT及JOIN等操作。临时表可与永久表同名且优先被使用,支…

    2026年9月24日
    100
  • mysql中*是什么意思 mysql星号通配符解析

    在 mysql 中,星号()最常用于 select 语句中代表所有列,但应谨慎使用。1)它方便查看所有数据,但可能返回不必要的数据,影响性能。2)使用可能降低代码可维护性,建议明确列出所需列。3)在like操作符中,不是通配符,需用regexp。4)在视图中使用可能导致定义失效。5)可结合limit…

    2026年9月24日
    100
  • php-gd怎样处理图像异常_php-gd图像处理错误捕获

    PHP-GD 图像处理需主动捕获警告、检查返回值、预验证文件类型并调整内存限制,通过错误处理器和异常封装避免崩溃。 PHP-GD 库在处理图像时,可能会因为文件格式错误、内存不足、不支持的图像类型或函数调用不当等原因导致异常。由于 GD 函数大多不会抛出异常,而是返回 false 或产生警告,因此需…

    2026年9月24日
    200
  • MySQL中SQL注入防范 SQL注入攻击的预防与应对措施

    sql注入的防范核心在于参数化查询。具体措施包括:1.始终使用参数化查询,将用户输入视为数据而非可执行代码;2.对输入进行过滤与校验,如验证格式、转义特殊字符;3.遵循最小权限原则,限制数据库账号权限;4.控制错误信息输出,避免暴露敏感细节;5.定期更新框架与插件,及时修补漏洞。这些方法结合使用能有…

    2026年9月24日
    000
  • 如何在Linux中切换用户身份?

    Linux中切换用户主要用su和sudo命令;2. su切换用户需密码,su -可加载完整环境;3. sudo允许授权用户以root等身份执行命令而无需对方密码;4. 推荐使用sudo -i或sudo su -切换到root;5. 普通用户需加入sudo组或配置/etc/sudoers文件;6. 编…

    2026年9月24日
    200
  • 如何在mysql中升级高可用集群

    先确认版本兼容性、应用依赖及备份完整性,再按架构选择升级路径。对Group Replication或InnoDB Cluster采用滚动升级,先升从节点最后升主节点;MHA/Orchestrator架构先升备库再切换主库;PXC需停集群全量升级。替换二进制后启动实例并运行mysql_upgrade,…

    2026年9月24日
    100
  • PHP如何批量处理图片_PHP实现多张图片自动化处理

    批量处理图片时需循环读取并逐个处理,核心是使用scandir()获取文件列表,通过GD库或Imagick处理图像,每处理完一张用imagedestroy()释放内存以避免内存溢出;为提升效率可分批处理、优化算法、使用多进程或异步队列,并选用Intervention Image等高效第三方库。 批量处…

    2026年9月24日
    200
  • MySQL怎样处理SQL注入风险 参数化查询与特殊字符过滤方案

    MySQL怎样处理SQL注入风险 参数化查询与特殊字符过滤方案MySQL怎样处理SQL注入风险 参数化查询与特殊字符过滤方案MySQL怎样处理SQL注入风险 参数化查询与特殊字符过滤方案MySQL怎样处理SQL注入风险 参数化查询与特殊字符过滤方案

    参数化查询和特殊字符过滤是防止sql注入的有效方法。1. 参数化查询通过预处理语句将sql结构与数据分离,用户输入被视为参数,不会被解释为sql命令;2. 特殊字符过滤通过转义或拒绝单引号、双引号等危险字符来阻止攻击;3. 定期审查mysql安全配置,包括更新版本、限制权限、启用日志、使用防火墙和扫…

    2026年9月24日 用户投稿
    000
  • laravel怎么配置Octane并选择Swoole或RoadRunner_laravel Octane Swoole/RoadRunner配置方法

    Laravel Octane通过Swoole或RoadRunner提升应用性能,需安装扩展包并发布配置文件;选择Swoole需安装PHP扩展并设置driver为’swoole’,启动服务时可加–watch实现热重载;选择RoadRunner则自动安装二进制文件,配…

    2026年9月24日
    200
  • 减少PHP与MySQL数据库通信的延迟

    减少php与mysql数据库通信的延迟可以通过以下策略:1. 优化数据库查询,使用索引提升查询速度;2. 减少数据库连接次数,使用连接池管理连接;3. 查询优化,使用explain分析查询计划;4. 使用缓存,如redis,减少数据库查询次数。这些方法能显著提升应用性能,但需权衡利弊,确保系统稳定性…

    2026年9月24日
    000
  • 俄罗斯搜索引擎入口 俄罗斯Yandex浏览器官网在线进入

    俄罗斯搜索引擎Yandex的官网入口是https://yandex.com/,该平台提供多语言搜索、地图、新闻聚合和翻译工具,其浏览器以轻量、快速、广告过滤和高兼容性为优势,搜索支持多类型内容精准查找与安全防护。 俄罗斯搜索引擎入口在哪里?这是不少网友都关注的,接下来由PHP小编为大家带来俄罗斯Ya…

    2026年9月24日
    300
  • 2025最新Yandex俄罗斯官网 Yandex免注册版官方入口地址

    2025最新Yandex俄罗斯官网免注册入口为https://yandex.ru/,该平台提供深度优化俄语搜索、实时导航、多语言翻译、新闻聚合,并涵盖地图、云存储、语音助手及教育等特色服务,支持极简界面与隐私保护模式。 1、立即进入“☞☞☞☞点击俄罗斯yandex搜索引擎入口☜☜☜☜”; 2、立即进…

    2026年9月24日
    400
  • 解决MySQL事件event定义中文乱码的方法

    mysql的event事件处理中文乱码问题主要由字符集设置不当引起,解决方法包括以下步骤:1. 统一数据库、表和字段的字符集为utf8mb4,创建或修改时显式指定字符集;2. 设置连接层字符集,在连接后执行set names ‘utf8mb4’或在程序连接参数中指定chars…

    2026年9月24日
    300

发表回复

登录后才能评论
关注微信