将百万以上条的邮箱地址按后缀名进行分类,分类完成后按后缀名一次io写入文件,并使用事务插入到相应的数据库表中。百万条数据处理在10分钟之内,我本地测试8分多,可以使用拼接所有后缀名相同的邮箱地址到一条语句插入(比较low的方法,呵呵),这样可以大大提高速度,基本两分钟搞定,不过要先设置数据库支持的sql语句的最大长度。
2023-03-17 22:21:30 2KB email 数据处理 事务插入 数据库
1