mysql怎么批量录入数据

mysql批量录入数据的方法:1、使用循环插入;2、减少连接资源,拼接一条sql;3、使用存储过程;4、使用【MYSQL LOCAL_INFILE】。

mysql怎么批量录入数据

本教程操作环境:windows7系统、mysql8.0.22版,DELL G3电脑,该方法适用于所有品牌电脑。

相关免费学习推荐:mysql视频教程

mysql批量录入数据的方法:

方法一:循环插入

这个也是最普通的方式,如果数据量不是很大,可以使用,但是每次都要消耗连接数据库的资源。

大致思维如下

(我这里写伪代码,具体编写可以结合自己的业务逻辑或者框架语法编写)

for($i=1;$i $value){$sql = 'insert...............'; //querysql}while($i <= 100){$sql = 'insert...............'; //querysql $i++}

因为太过普通同时也没什么难度同时也不是我今天主要写的所以这里我不多说

方法二:减少连接资源,拼接一条sql

伪代码如下

//这里假设arr的key和数据库字段同步,其实大多数框架中在php操作数据库的时候都是这么设计的$arr_keys  = array_keys($arr);$sql    = 'INSERT INTO tablename (' . implode(',' ,$arr_keys) . ') values';$arr_values  = array_values($arr);$sql    .= " ('" . implode("','" ,$arr_values) . "'),";$sql    = substr($sql ,0 ,-1);//拼接之后大概就是 INSERT INTO tablename ('username','password') values('xxx','xxx'),('xxx','xxx'),('xxx','xxx'),('xxx','xxx'),('xxx','xxx'),('xxx','xxx').......//querysql

这样写正常插入一万条基本问题不大,除非数据很长,应付普通的批量插入够用了,比如:批量生成卡号,批量生成随机码等等。。。

阿里云-虚拟数字人 阿里云-虚拟数字人

阿里云-虚拟数字人是什么? …

阿里云-虚拟数字人 2 查看详情 阿里云-虚拟数字人

方法三:使用存储过程

这个我手里正好再用这个就把sql付出来,具体业务逻辑大家自己组合一下就可以。

delimiter $$$create procedure zqtest()begindeclare i int default 0;set i=0;start transaction;while i<80000 do //your insert sql set i=i+1;end while;commit;end$$$delimiter;call zqtest();

这个也只是个测试代码,具体参数大家自行定义

我这里是一次插入8万条,虽然不多但是,每一条数据量都很大,有很多varchar4000 和text字段

耗时 6.524s

方法四:使用MYSQL LOCAL_INFILE

这个我目前正在使用,所以顺便把pdo的代码也复上来,以便大家参考

//设置pdo开启MYSQL_ATTR_LOCAL_INFILE/*hs96.cn@gmail.compublic function pdo_local_info (){  global $system_dbserver;  $dbname = 'hs96.cn@gmail.com';  $ip  = 'hs96.cn@gmail.com';  $user = 'hs96.cn@gmail.com';  $pwd  = 'hs96.cn@gmail.com';  $dsn  = 'mysql:dbname=' . $dbname . ';host=' . $ip . ';port=3306';  $options = [PDO::MYSQL_ATTR_LOCAL_INFILE => true];  $db  = new PDO($dsn ,$user ,$pwd ,$options);  return $db; }//伪代码如下public function test(){  $arr_keys   = array_keys($arr);  $root_dir   = $_SERVER["DOCUMENT_ROOT"] . '/';  $my_file   = $root_dir . "hs96.cn@gmail.com/sql_cache/" . $order['OrderNo'] . '.sql';  $fhandler   = fopen($my_file,'a+');  if ($fhandler) {  $sql = implode("t" ,$arr);   $i = 1;   while ($i pdo_local_info ();   $res = $pdo->exec($sql);   if (!$res) {    //TODO 插入失败   }   @unlink($my_file);  }}

这个同样每一条数据量都很大,有很多varchar4000 和text字段

耗时 2.160s

以上满足基本需求,100万数据问题不大,要不数据实在太大也涉及分库分表了,或者使用队列插入了。

以上就是mysql怎么批量录入数据的详细内容,更多请关注创想鸟其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/293353.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2025年11月4日 21:33:08
下一篇 2025年11月4日 21:34:07

相关推荐

  • Pboot插件数据库连接的配置教程_Pboot插件数据库备份的自动化脚本

    首先配置PbootCMS数据库连接参数,确保插件正常访问;接着创建auto_backup.php脚本实现备份功能;然后通过Windows任务计划程序或Linux Cron定时执行该脚本,完成自动化备份流程。 如果您正在开发或维护一个基于PbootCMS的网站,并希望实现插件对数据库的连接配置以及自动…

    2025年12月6日 软件教程
    000
  • 环境搭建docker环境下如何快速部署mysql集群

    使用Docker Compose部署MySQL主从集群,通过配置文件设置server-id和binlog,编写docker-compose.yml定义主从服务并组网,启动后创建复制用户并配置主从连接,最后验证数据同步是否正常。 在Docker环境下快速部署MySQL集群,关键在于合理使用Docker…

    2025年12月6日 数据库
    000
  • 如何在mysql中选择合适的索引列顺序

    应优先将查询频率高、选择性高的列作为联合索引的首列,如user_id;遵循最左前缀原则,确保查询能有效使用索引,避免跳过前置列;结合过滤、排序和覆盖索引需求,例如创建(user_id, created_time)索引以支持WHERE和ORDER BY;通过EXPLAIN分析执行计划优化索引顺序。 在…

    2025年12月6日 数据库
    000
  • 如何在mysql中使用索引覆盖减少查询成本

    索引覆盖指查询所需字段均包含在索引中,MySQL可直接从索引获取数据而无需回表。例如在orders表的(user_id, order_date)上创建联合索引后,查询SELECT user_id, order_date FROM orders WHERE user_id = 100能完全通过索引完成…

    2025年12月6日 数据库
    000
  • 如何在mysql中分析索引未命中问题

    答案是通过EXPLAIN分析执行计划,检查索引使用情况,优化WHERE条件写法,避免索引失效,结合慢查询日志定位问题SQL,并根据查询模式合理设计索引。 当 MySQL 查询性能下降,很可能是索引未命中导致的。要分析这类问题,核心是理解查询执行计划、检查索引设计是否合理,并结合实际数据访问模式进行优…

    2025年12月6日 数据库
    000
  • 如何在mysql中安装mysql插件扩展

    安装MySQL插件需先确认插件文件位于plugin_dir目录,使用INSTALL PLUGIN命令加载,如INSTALL PLUGIN keyring_file SONAME ‘keyring_file.so’,并确保用户有SUPER权限,最后通过SHOW PLUGINS验…

    2025年12月6日 数据库
    000
  • php查询代码怎么写_php数据库查询语句编写技巧与实例

    在PHP中进行数据库查询,最常用的方式是使用MySQLi或PDO扩展连接MySQL数据库。下面介绍基本的查询代码写法、编写技巧以及实用示例,帮助你高效安全地操作数据库。 1. 使用MySQLi进行查询(面向对象方式) 这是较为推荐的方式,适合大多数中小型项目。 // 创建连接$host = ‘loc…

    2025年12月6日 后端开发
    000
  • 如何在mysql中定期清理过期备份文件

    通过Shell脚本结合cron定时任务实现MySQL过期备份文件自动清理,首先统一备份命名格式(如backup_20250405.sql)并存放在指定目录(/data/backup/mysql),然后编写脚本使用find命令删除7天前的.sql文件,配置每日凌晨2点执行的cron任务,并加入日志记录…

    2025年12月6日 数据库
    000
  • php数据库如何实现数据缓存 php数据库减少查询压力的方案

    答案:PHP结合Redis等内存缓存系统可显著提升Web应用性能。通过将用户信息、热门数据等写入内存缓存并设置TTL,先查缓存未命中再查数据库,减少数据库压力;配合OPcache提升脚本执行效率,文件缓存适用于小型项目,数据库缓冲池优化和读写分离进一步提升性能,推荐Redis为主并防范缓存穿透与雪崩…

    2025年12月6日 后端开发
    000
  • 如何在mysql中使用角色组合优化权限管理

    答案:MySQL角色通过封装权限实现集中管理。创建如app_reader等角色并授予权限,再分配给用户alice并设默认角色,支持组合使用,定期审计并通过系统视图查看,提升安全与运维效率。 在MySQL中,角色(Role)是一种强大的权限管理工具,能够简化用户权限的分配与维护。通过创建角色并将其赋予…

    2025年12月6日 数据库
    000
  • 如何在mysql中使用索引提高查询效率

    合理创建索引可显著提升MySQL查询效率,应优先为WHERE、JOIN、ORDER BY等高频字段建立B-Tree复合索引,如CREATE INDEX idx_status_created ON users(status, created_at, id),并遵循最左前缀原则;避免在索引列使用函数或前…

    2025年12月6日 数据库
    000
  • 如何在mysql中使用分页索引提升查询性能

    分页查询性能差主因是大OFFSET导致大量数据扫描,解决方法是使用索引优化。首先确保ORDER BY字段有索引以避免filesort;其次利用覆盖索引使查询仅访问索引即可获取所需字段,减少回表开销。更高效的方案是采用游标分页(键集分页),通过上一页的最后一条记录定位下一页,避免OFFSET带来的性能…

    2025年12月6日 数据库
    000
  • mysql如何备份存储过程和函数

    最直接且推荐的方式是使用mysqldump工具并添加–routines参数,可完整导出存储过程和函数;若需跨版本迁移,应结合–triggers、处理DEFINER用户、验证SQL_MODE,并在测试环境充分验证恢复与兼容性。 MySQL备份存储过程和函数,最直接且推荐的方式是…

    2025年12月6日 数据库
    000
  • 如何在mysql中理解事务回滚对性能影响

    事务回滚依赖undo log实现,会消耗CPU和I/O资源,持有锁阻塞并发,大事务回滚耗时长且占用资源多,影响性能;应通过控制事务大小、提前校验、设置超时、监控长事务等方式优化。 事务回滚在 MySQL 中是保证数据一致性的关键机制,但它确实会对性能产生一定影响。理解这种影响,有助于在实际开发中合理…

    2025年12月6日 数据库
    000
  • 如何在RDBMS中无需特定日期函数获取当前月份记录

    本文旨在解决跨数据库(如mysql和sqlite)获取当前月份记录的兼容性问题,避免使用rdbms特有的日期函数。通过利用sql标准中通用的字符串处理函数`substr()`和`current_date`,我们展示了如何以统一的方式,通过比较日期的年和月字符串部分,高效且兼容地检索当前月份的数据,从…

    2025年12月6日 后端开发
    000
  • 如何在mysql中使用EXPLAIN分析SQL执行计划

    使用EXPLAIN可查看SQL执行计划,通过分析type、key和Extra等字段优化查询性能。 在MySQL中,EXPLAIN 是一个非常有用的命令,用于查看SQL语句的执行计划。通过它,你可以了解MySQL是如何执行查询的,比如是否使用了索引、扫描了多少行、表的连接顺序等。这有助于优化慢查询和提…

    2025年12月6日 数据库
    000
  • MySQL模糊查询:高效处理含空格和多格式电话号码

    在mysql数据库中,当电话号码字段包含多种格式和空格时,传统的`like`查询可能无法返回预期结果。本文将介绍如何利用`replace`函数在查询时动态移除电话号码中的空格,从而实现准确的模糊匹配。同时,我们还将探讨性能考量及数据标准化等最佳实践,帮助您优化数据库查询和数据质量。 挑战:含空格电话…

    2025年12月6日 后端开发
    000
  • 如何在mysql中使用COUNT统计记录数

    COUNT(*)统计所有行,包括NULL;COUNT(列名)统计该列非NULL值;COUNT(DISTINCT 列名)统计去重后的非NULL值。2. 可结合WHERE条件统计满足要求的记录数。3. 统计大表时性能可能较差,建议通过索引或近似值优化。 在 MySQL 中,COUNT() 函数用于统计查…

    2025年12月6日 数据库
    000
  • 在Laravel中处理JSON字段并计算每行总和的教程

    本教程旨在指导如何在laravel应用中处理存储为json字符串的数据库字段。我们将通过一个具体示例,展示如何从json字段中提取数值并计算每条记录的总和,并探讨如何通过控制器逻辑和laravel模型访问器实现这一功能,以提高代码的可读性和维护性。 场景描述 在现代Web应用开发中,有时我们需要在数…

    2025年12月6日 后端开发
    000
  • mysql如何设置事务隔离级别

    MySQL支持四种事务隔离级别:READ UNCOMMITTED、READ COMMITTED、REPEATABLE READ和SERIALIZABLE,分别用于控制脏读、不可重复读和幻读问题。默认隔离级别为REPEATABLE READ。可通过SELECT @@transaction_isolat…

    2025年12月6日 数据库
    000

发表回复

登录后才能评论
关注微信