前段时间帮同事处理了一个把 CSV 数据导入到 MySQL 的需求。两个很大的 CSV 文件, 分别有 3GB、2100 万条记录和 7GB、3500 万条记录。对于这个量级的数据,用简单的单进程/单线程导入 会耗时很久,最终用了多进程的方式来实现。具体过程不赘述,记录一下几个要点: 批量插入而不是逐条插入 为了加快插入速度,先不要建索引 生产者和消费者模型,主进程读文件,多个 worker 进程执行插入 注意控制 worker 的数量,避免对 MySQL 造成太大的压力 注意处理脏数据导致的异常 原始数据是 GBK 编码,所以还要注意转换成 UTF-8 用 cli
2021-12-10 08:37:30 55KB csv mysql mysql创建数据库
1
云端服务器连接Mysql和sql server数据库一. 华为云服务器1.云服务器配置2.使用远程桌面连接二.安装配置MySQL可视化软件三.Android Studio代码片段所有代码,直接贴出来到这就完毕了 一. 华为云服务器 百度搜索华为云服务,免费领取一个月云服务器/云数据库。我们这里先用云服务器为例。 1.云服务器配置 具体步骤如下: 选择Windows server 数据中心 64位版本; 点进实例,点远程登陆; 进入系统后,自行下载配置MySQL,这里就不具体写数据库的安装; 安装好后(我这里用的系统是Linux CentOs 7.x版本,不是Windows系统),在云服务上进入
2021-12-09 10:09:45 287KB mysql mysql创建数据库 mysql新建用户
1
Wince连接Mysql - mysql.data.cf
2021-12-08 16:23:19 121KB mysql data.cf
1
高性能MySQL_第3版_超清中文带目录版[PDF] 序 I 前言 III 第1章:MySQL架构 1 第2章:寻找瓶颈:基准测试(Benchmarking)与性能分析(Profiling) 32 第3章:架构优化和索引 80 第4章:查询性能优化 152 第5章:MySQL高级特性 204 第6章:优化服务器设置 265 第7章:操作系统和硬件优化 305 第8章:复制 343 第9章:伸缩性与高可用性 409 第10章:应用层面的优化 457 第11章:备份与还原 472 第12章:安全 521 第13章:MySQL服务器的状态 557 第14章:用于高性能MySQL的工具 583 附录 索引 659
2021-12-08 11:45:13 70.35MB 高性能MySQL MySQL
1
本文实例讲述了Python访问MySQL封装的常用类。分享给大家供大家参考。具体如下: python访问mysql比较简单,下面整理的就是一个很简单的Python访问MySQL数据库类。 自己平时也就用到两个mysql函数:查询和更新,下面是自己常用的函数的封装,大家拷贝过去直接可以使用。 文件名:DBUtil.py 复制代码 代码如下:# -*- encoding:utf8 -*- ”’ @author: crazyant.net @version: 2013-10-22   封装的mysql常用函数 ”’   import MySQLdb   class DB():  
2021-12-07 22:19:49 43KB mysql mysql数据库 python
1
问题:明明建立了索引,为何Like模糊查询速度还是特别慢? Like是否使用索引?   1、like %keyword 索引失效,使用全表扫描。但可以通过翻转函数+like前模糊查询+建立翻转函数索引=走翻转函数索引,不走全表扫描。   2、like keyword% 索引有效。   3、like %keyword% 索引失效,也无法使用反向索引。   使用mysql的explain简单测试如下:   explain select * from company_info where cname like ‘%小%’   explain select * from company_inf
2021-12-04 21:49:47 93KB mysql mysql函数 mysql数据库
1
摘要: 利用binlog闪回误操作数据。 基本上每个跟数据库打交道的程序员(当然也可能是你同事)都会碰一个问题,MySQL误操作后如何快速回滚?比如,delete一张表,忘加限制条件,整张表没了。假如这还是线上环境核心业务数据,那这事就闹大了。误操作后,能快速回滚数据是非常重要的。 传统解法 用全量备份重搭实例,再利用增量binlog备份,恢复到误操作之前的状态。然后跳过误操作的SQL,再继续应用binlog。此法费时费力,不值得再推荐。 利用binlog2sql快速闪回 首先,确认你的MySQL server开启了binlog,设置了以下参数: [mysqld] server-id = 1
2021-12-01 21:14:14 86KB mysql mysql update语句
1
适合mysql开发人员
2021-11-29 18:03:01 4.75MB mysql mysql-front
1
通常情况下对于一个全新的MySQL服务器,没有任何数据供我们测试和使用。对此,MySQL为我们提供了一些样本数据库,我们可以基于这些数据库作基本的操作以及压力测试等等。本文描述的是安装sakila数据库。该数据库需要安装在MySQL 5.0以上的版本。以下是其描述。 1、下载种子数据库 下载位置:http://dev.mysql.com/doc/index-other.html 2、安装种子数据库sakila 代码如下: [root@localhost ~]# unzip sakila-db.zip Archive:  sakila-db.zip    creating: sakila-d
2021-11-29 14:47:14 31KB mysql mysql数据库 SQL
1
mysql_markdown根据数据库表结构导出设计文档工具win64版本,包含安装环境和文件转换所需工具
2021-11-26 21:04:56 258.07MB MySQL mysql_markdown typora go