100W的数据对于很多朋友来说算小菜了，但今天我就想到创建一个大量数据的测试环境，于是找了一下怎么插入100W条数据，我用的是20个字段。对比一下，首先是用 mysql 的存储过程弄的
100w的数据对于很多朋友来说算小菜了，但今天我就想到创建一个大量数据的测试环境，于是找了一下怎么插入100w条数据，我用的是20个字段。对比一下，首先是用 的存储过程弄的:
代码如下复制代码
mysql>delimiter $
mysql>SET AUTOCOMMIT = 0$$
mysql> create procedure test()
begin
declare i decimal (10) default 0 ;
dd:loop
INSERT INTO `million` (`categ_id`, `categ_fid`, `SortPath`, `address`, `p_identifier`, `pro_specification`, `name`, `add_date`, `picture_url`, `thumb_url`, `is_display_front`, `create_html_time`, `hit`, `buy_sum`, `athor`, `templete _style`, `is_hot`, `is_new`, `is_best`) VALUES
(268, 2, ‘0,262,268,’, 0, ‘2342’, ‘423423’, ‘123123’, ‘2012-01-09 09:55:43’, ‘upload/product/20111205153432_53211.jpg’, ‘upload/product/thumb_20111205153432_53211.jpg’, 1, 0, 0, 0, ‘admin’, ‘0’, 0, 0, 0);
commit;
set i = i+1;
if i= 1000000 then leave dd;
end if;
end loop dd ;
end;$
mysql>delimiter ;
mysql> call test;
结果我们看了用了58分钟，这也太费时差了吧
mysql> call test;
Query OK, 0 rows affected (58 min 30.83 sec)
非常耗时。
于是我又找了一个方法
先用PHP代码生成数据，再导入：
百度文心百中
百度大模型语义搜索体验中心
22 查看详情 代码如下复制代码
$t=mktime();
set_time_limit(1000);
$myFile=”e:/insert.sql”;
$fhandler=($myFile,’wb’);
if($fhandler){
$sql=”268t2t’0,262,268,’t0t ‘2342’t’423423’t’123123’t’23423423’t’2012-01-09 09:55:43’t’upload/product/20111205153432_53211.jpg’t’upload/product/thumb_20111205153432_53211.jpg’tNULLtNULLt38t’件’t”t123t123t0″;
$i=0;
while($i {
$i++;
fwrite($fhandler,$sql.”rn”);
}
echo”写入成功,耗时：”,mktime()-$t;
}
然后再导入
代码如下复制代码 LOAD DATA local INFILE ‘e:/insert.sql’ INTO TABLE tenmillion(`categ_id`, `categ_fid`, `SortPath`, `address`, `p_identifier`, `pro_specification`, `name`, `description`, `add_date`, `picture_url`, `thumb_url`, `shop_url`, `shop_thumb_url`, `brand_id`, `unit`, `square_meters_unit`, `market_price`, `true_price`, `square_meters_price`);
结果不到1分钟，100万的数据就快速的导入了，
注意字段不再以逗号分割，以t分割，条记录以rn分割。结果我插入10次数据，100W平均只要1分钟搞定。
总结，在大数据量处理时我们最好利用第三方插件一实现数据备份或直接在服务器上进行备份，用mysql自带的工具有时确实不理想。
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/492241.html
微信扫一扫 
支付宝扫一扫 
