笔者最近工作中遇见一个性能瓶颈问题,MySQL表,每天大概新增776万条记录,存储周期为7天,超过7天的数据需要在新增记录前老化。连续运行9天以后,删除一天的数据大概需要3个半小时(环境:128G, 32核,4T硬盘),而这是不能接受的。当然如果要整个表删除,毋庸置疑用 TRUNCATE TABLE就好。 最初的方案(因为未预料到删除会如此慢),代码如下(最简单和朴素的方法): delete from table_name where cnt_date <= target_date 后经过研究,最终实现了飞一般(1秒左右)的速度删除770多万条数据,单张表总数据量在4600万上下,优化过程
2021-11-10 10:15:18 206KB SQL 数据
1
C++的封装(一) C++语言为了实现面向对象的封装,引入了三个新的“修饰”关键字: public (公有的):公开的,可见的。对象成员(变量与方法)可以在对象外使用。 private (私有的):不可见的。成员只能在对象内部使用。 protected (保护的):受到保护的。成员也只能在内部使用。(以后再讨论) C++类的成员(变量和方法)具有了各自不同的属性。
2021-10-27 01:16:37 636KB C++
1
O(n)级的素数算法,我的朋友,杨力2年前设计,感谢他如此简洁美妙的算法。 虽然有多次遍历,但严格证明可得,算法效率为一个O(n),1千万只要1.5秒。算法依赖于内存大小,不要创建超过内存大小的数组,否则效率下降很多。 C#实现,程序中有算法描述
2021-10-24 17:11:40 17KB 素数算法 O(n) 非常快 1千万
1
现需要开发一套程序用来快速迁移数据库,要求如下: 1.使用人员可以指定迁移数据库类型 如:(orcal,sqlServer,csv 迁移至mysql) 2.在迁移数据库时,可以只迁移指定字段. 3.开发多任务的平台,按权重去执行任务,如:权重为1,1,2,3,4 那么1,1的权重一起执行,执行完毕后2 然后3 以此类推 4.保护数据完整性,设计失败处理
2021-10-21 15:57:15 60.22MB 数据库迁移 千万级 亿万级数据 MySQL
1
闲鱼从零到千万DAU的应用架构演进.pdf
2021-10-14 16:03:08 10.53MB 解决方案
密码字典:程序采用高度优化算法,制作字典速度极快,约每分钟800兆(CPU=800MHz) 精确选择所需要的字符,针对性更强\n自定义字符串采用了绝对长度匹配算法,使生成密码长度与你所选择的长度严格吻合 特殊位字符定义,可以满足用户的特殊要求,从而使字典长度更小 修改字典功能可将一本现成的字典按需求进行字符串的前插和后插(后插@***.com可制成邮件群发列表) 生日字典制作包含了十几种典型的生日模式,符合人们的一般习惯 利用特殊位设置(如:把前几位设置成6234)可实现电话密码的制作
2021-10-10 10:12:35 5.18MB 密码
1
包含了千万个字母和数字的wifi字典,生日和字母组合,生日在前字母在后;或者生日在后,字母在前。仅供学习使用。
1
我在前年遇到过过亿条的数据。以至于一个处理过程要几个小时的。后面慢慢优化,查找一些经验文章。才学到了一些基本方法。综合叙之,与君探讨之。
2021-10-07 16:49:20 92KB 数据库 SQL 千万级 数据
1
千万数据,方便测试,sql调优
2021-10-05 11:29:58 94.31MB mysql 千万数据
1
圆周率一千万位;圆周率一千万位文本文件.RAR
2021-09-22 16:18:07 4.77MB 圆周率
1