QTableWidget大数据文件显示 文件映射mmap
如果文件很大，读取全部的数据会占用很大内存，推荐文件映射的方法，每次交互只读需要显示的文件数据。文件映射1G左右的文件，大概在1.2s左右可以完成文件映射；再进行分页显示，表格固定的是一百行，每次操作对这一百行数据进行刷新，虚拟出完整表格的效果。
测试：QTableWidge分页显示1千万行数据，建立mmap文件映射，只读取需要显示的部分文件内容，此种方式速度快，占用内存小，内存占用149MB左右，每次只读取显示部分的数据，推荐此种方式。
2024-02-20 09:22:10
14.96MB
1
先给大家介绍下python pickle存储、读取大数据量列表、字典的数据
针对于数据量比较大的列表、字典，可以采用将其加工为数据包来调用，减小文件大小
#列表
#存储
list1 = [123,'xiaopingguo',54,[90,78]]
list_file = open('list1.pickle','wb')
pickle.dump(list1,list_file)
list_file.close()
#读取
list_file = open('list1.pickle','rb')
list2 = pickle.load(list_file)
2024-02-15 11:50:55
68KB
1
基于Python Flask和MySQL的穷游网酒店数据采集与可视化大屏是一个实现酒店数据采集和展示的项目。该项目通过使用Python Flask作为后端框架，以及MySQL作为数据库管理系统，实现了对穷游网酒店数据的采集和存储，并在前端展示一个可视化的大屏。
首先，项目通过Python的Web框架Flask搭建了一个后端服务器，用于处理前端请求并进行相应的数据操作。Flask提供了路由功能，可以根据URL路径将不同的请求映射到不同的处理函数上，从而实现了数据的采集、存储和查询等功能。
其次，项目使用MySQL作为数据库管理系统，用于存储采集到的酒店数据。MySQL是一种关系型数据库，具有高效的数据存取速度和稳定性，能够满足大规模数据存储和查询的需求。通过Python的MySQL连接库，我们可以方便地进行数据库的连接、创建表、插入数据等操作。
最后，项目在前端展示了一个可视化的大屏，用于展示采集到的酒店数据。前端使用HTML、CSS和JavaScript等技术实现了数据的可视化展示，包括图表、地图等形式。通过这些可视化方式，用户可以直观地了解酒店数据的分布、价格趋势等信息
2024-02-13 10:47:58
514KB
1
自定义TableMode模型，继承QAbstractTableModel，自定义数据模型。
可以很快得加载完1000万行大数据，并且占用的内存也不大,可加载1千万行大数.
使用QVector作为模型的底层数据结构存储数据，其内存占用与QList相当，尾部追加插入耗时与QList相当，但头部插入比QList耗时较多
QList m_itemList;
2024-02-04 10:33:57
13.64MB
1