Python导数据的时候，需要在一个大表上读取很大的结果集。
如果用传统的方法，Python的内存会爆掉，传统的读取方式默认在内存里缓存下所有行然后再处理，内存容易溢出
解决的方法：
1）使用SSCursor(流式游标)，避免客户端占用大量内存。(这个cursor实际上没有缓存下来任何数据，它不会读取所有所有到内存中，它的做法是从储存块中读取记录，并且一条一条返回给你。)
2）使用迭代器而不用fetchall,即省内存又能很快拿到数据。
import MySQLdb.cursors
conn = MySQLdb.connect(host='ip\u5730\u5740', user='\u7528\u6237\u540d', passwd=
2022-03-22 16:23:14
52KB
1
需求：随着数据量的增加单表已经不能很好的支持业务，千万级别数据查询缓慢
Mysql数据优化方案：
方案一：使用myisam进行水平分表优化
方案二：使用mysql分区优化
一：Myisam水平分区
1、创建水平分表 user_1:
-- 创建水平分表
create table user_1(
id varchar(50) PRIMARY key COMMENT '主键id',
user_name varchar(50) DEFAULT null COMMENT '用户名称',
creator varchar(50) DEFAULT null COMMENT '创建者',
crea
2022-03-18 09:30:04
72KB
1
总数：10088608
0-1000000开始内存: 375.77 KB
0-1000000百万耗时：
10.534
0-1000000结束内存: 1.93 MB 1000000-2000000开始内存: 1.93 MB
1000000-2000000百万耗时：
10.519
1000000-2000000结束内存: 1.98 MB 2000000-3000000开始内存: 1.98 MB
2000000-3000000百万耗时：
10.363
2000000-3000000结束内存: 1.98 MB 3000000-4000000开始内存: 1.98 MB
3000000-4000000百万耗时：
10.489
3000000-4000000结束内存: 1.98 MB 4000000-5000000开始内存: 1.98 MB
4000000-5000000百万耗时：
10.504
4000000-5000000结束内存: 1.98 MB 5000000-6000000开始内存: 1.98 MB
5000000-6000000百万耗时：
10.43
5000000-6000000结束内存: 1.98 MB 6000000-7000000开始内存: 1.98 MB
6000000-7000000百万耗时：
10.433
6000000-7000000结束内存: 1.98 MB 7000000-8000000开始内存: 1.98 MB
7000000-8000000百万耗时：
10.701
7000000-8000000结束内存: 1.98 MB 8000000-9000000开始内存: 1.98 MB
8000000-9000000百万耗时：
10.554
8000000-9000000结束内存: 1.98 MB 9000000-10000000开始内存: 1.98 MB
9000000-10000000百万耗时：
10.488
9000000-10000000结束内存: 1.98 MB 10000000-11000000开始内存: 1.98 MB
10000000-11000000百万耗时：
0.989
10000000-11000000结束内存: 395.77 KB
总耗时
106.005
2022-03-07 18:16:40
3KB
1
java开发web搜索引擎源码
es
elasticsearch+hbase海量数据查询,支持千万数据秒回查询
博客地址：
一、ElasticSearch和Hbase
ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful
web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。 Elasticsearch的性能是solr的50倍。
HBase
–
Hadoop
Database，是一个高可靠性、高性能、面向列、可伸缩、
实时读写的分布式数据库
–
利用Hadoop
HDFS作为其文件存储系统,利用Hadoop
MapReduce来处理
HBase中的海量数据,利用Zookeeper作为其分布式协同服务
–
主要用来存储非结构化和半结构化的松散数据（列存
NoSQL
数据库）
二、需求分析&服务器环境设置
主要是做一个文章的搜索。有文章标题、作者、摘要、内容四个主要信息。效果图
2022-02-24 10:33:54
104.73MB
1
方案概述
方案一：优化现有mysql数据库。优点：不影响现有业务，源程序不需要修改代码，成本最低。缺点：有优化瓶颈，数据量过亿就玩完了。
方案二：升级数据库类型，换一种100%兼容mysql的数据库。优点：不影响现有业务，源程序不需要修改代码，你几乎不需要做任何操作就能提升数据库性能，缺点：多花钱
方案三：一步到位，大数据解决方案，更换newsql/nosql数据库。优点：扩展性强，成本低，没有数据容量瓶颈，缺点：需要修改源程序代码
以上三种方案，按顺序使用即可，数据量在亿级别一下的没必要换nosql，开发成本太高。三种方案我都试了一遍，而且都形成了落地解决方案。该过程心中慰问跑路的那几个开发者一万遍 :)
2022-02-19 09:35:50
793KB
1
这个办法还可以直接分割字节集 ,比分割文本应该更快一点
有一个不懂的地方就是 较大文本分割时，虽然所有代码执行完毕了，但是没有结束程序，循环超多次 易语言数组赋值 出现的问题这句： 返回数组 [nArr] ＝ 取空白文本 (nSize)
希望继续优化，可优化的空间还很大
2022-01-26 14:04:41
60KB
因为朋友再移动外包公司上班，有手机号码去重删选的需要，朋友用的python，也是用的哈希去重方式，大概1000W手机数据去重处理速度在5到6秒左右，于是乎我也想用易语言实现以下，想试下易语言能否实现大数据的处理以及实现速度，论坛各种哈希表试了个便，最终得出结论，速度最快的是ASM哈希表，1000W处理时间在4到5秒之间，可以说是非常的快的了，但是用哈希表在易语言运行存在一个问题，我实测1000W号码占用内存大约是400多M，也就是说易语言最大能处理不过三四千万的数据，由于易语言是32位的，最大支持内存仅1.7G这样，内存占用到达1.7G就会自动程序崩溃，无法处理上亿的手机号码，不论你内存条有10G还是100G，但是易语言程序最大仅支持1.7G，实在是非常的限制。但是单从处理速度而言，论坛大神ASM哈希表确实是效率极高的了。后面网上看到bitmap处理上亿级别的手机号码处理，于是到易语言论坛查了下，发现还没人实现过，那我就来做下把。在特定的数据处理情况下，使用bitmap方式去重效率就会显得比哈希表去重更加高效，不仅速度有极大的提升，内存占用方面，即使999亿的手机号码，也仅仅占用1.2
2022-01-23 11:04:17
1.55MB