#MySQL# 文章列表 MySQL：简介 Ubuntu 安装 MySQL MySQL：官方文档地址 MySQL：DDL、DQL、DML、DCL的含义 MySQL：Mac 中启动关闭 MySQL 服务 MySQL：有哪些好用的管理工具？ MySQL：命令行工具 mycli MySQL：CHAR类型 MySQL：VARCHAR类型 MySQL：整型数字 MySQL：datetime 类型 MySQL：时间戳 MySQL：创建和删除数据库 MySQL：切换和查看数据库 MySQL：创建和删除表 MySQL：在表中增加、删除、修改列 MySQL：创建和删除主键 MySQL：使用 rename 修改表名 MySQL：修改自增主键id的类型 MySQL：如何创建一个相同的表 MySQL：修改表的字符编码 MySQL：增删查改 MySQL：插入数据 MySQL：插入多行数据 MySQL：使用 insert set 插入数据 MySQL：大小写和反引号 MySQL：字符串类型值的大小写 MySQL：SQL注释 MySQL：不要使用utf8 MySQL：NULL的判等 MySQL：InnoDB存储引擎的限制 MySQL：if和case的使用 MySQL：使用 load data 快速导入数据 MySQL：使用 select into outfile 导出数据 MySQL：查询和设置 sql_mode MySQL：严格模式 MySQL：NOT NULL 字段不插入数据，会发生什么？ MySQL：无符号整数列插入负数会发生什么？ MySQL：关于 null 的那些事 MySQL：大表行数查询 MySQL：自动生成创建时间、更新时间；自动更新更新时间 MySQL：insert ignore MySQL：字符集排序规则 MySQL：如果连续更新一个字段两次，结果是？ MySQL：字符串转数字 MySQL：尾部空格 MySQL：添加和删除索引 MySQL：唯一索引与NULL MySQL：唯一索引的单列长度限制 MySQL：InnoDB 索引 MySQL：字符集排序规则对唯一索引的影响 MySQL：唯一索引冲突消耗主键 ID MySQL 使用 index hint 指定索引：ignore index、force index、use index MySQL：查看客户端连接信息 MySQL：查看表的状态 show table status MySQL：如何治理连接数 ? MySQL：如何监控和处理慢查询与长事务 ? MySQL：自定义函数 MySQL：now() 函数 MySQL：unix_timestamp() 函数 MySQL：from_unixtime() 函数 MySQL：version() 函数 MySQL：current_timestamp() 函数 MySQL：cast 函数 MySQL：convert 函数 MySQL：使用 greatest、least 函数获取行最大值、最小值 MySQL：使用 group_concat 函数连接多行数据为一个字符串 MySQL：获取版本号 MySQL：Java 类型映射 MySQL下创建只能有一行记录的table 关于MySQL的字符集理解数据库中的undo日志、redo日志、检查点 ubuntu下源码安装MySQL MySQL：JOIN解惑如何快速更新数据库中的百万条数据

MySQL：使用 load data 快速导入数据

load data 的作用是将文件中的数据导入到 MySQL 数据库中。

[load data] 官方文档: https://dev.mysql.com/doc/refman/5.7/en/load-data.html。

示例

建表

USE test;
CREATE TABLE `test_table` (
  `id` bigint NOT NULL AUTO_INCREMENT,
  `name` varchar(32) NOT NULL DEFAULT '' COMMENT '名字',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

生成数据

生成 2000w 条记录。

Python 代码：

// 文件名: gen_test_table_data.py

for i in range(1, 2000_0000):
    print('{},name{}'.format(i, i))

生成文件：

$ python3 gen_test_table_data.py > /tmp/data.csv

/tmp/data.csv中的内容长这个样子：

1,name1
2,name2

配置 MySQL

默认情况下，MySQL 禁止导入/导出数据，可以通过配置secure_file_priv 解决。

找到 my.cnf（linux 下的位置是/etc/my.cnf），添加secure_file_priv=''。然后重启MySQL。

如果只允许处理 /tmp目录下的文件，可以配置成secure_file_priv='/tmp'。

在mysql客户端中，可以通过select @@secure_file_priv; 或者show variables like '%secure%';查询配置的值。

导入数据

LOAD DATA INFILE '/tmp/data.csv' INTO TABLE test_table FIELDS TERMINATED BY ','

2000w条数据导入，在我的电脑上耗时约40秒。

( 本文完 )