最近由于工作的原因,经常需要对海量数据进行处理,做的数据爬虫相关,动辄千万级别的数据,单表几十个G 都是都是家常便饭。 那么主要的开发语言是C#,数据库使用的是MySQL。下面通过这篇文章我们来一起学习学习吧。
2021-10-07 10:46:32 73KB mysql 大量写入 优化 mysql
1
SQLServer导入大量数据命令
2021-09-08 18:03:53 603B
1
这是我在公司实习的时候研究的课题,主要将大量数据从数据库导出到Excel文件。(一般是值Excel2007及以后版本)因为Excel2003及以前的版本中能保持的数据量是有限制的。Excel2007及以后版本中的数据能保持100万条记录左右,我用的是Oracle数据库,要导入40万条数据。我主要采用了JXLS和POI的第三方jar包,这几个程序实例,都是我参考各种资料,自己写的,都运行过,能把40万数据导入到Excel文件中,而且性能也挺好的,这几个是程序代码,我把这几个程序的文档总结也上传了,如果要下载的话,可以去我的下载空间。
2021-09-07 20:55:58 650KB 导出 Excel 大量数据 jxls
1
虚拟树 基于vue3封装的树组件,该树组件专用于大数据量,如果数据量不大,则使用此组件会有点浪费 英文& 如何使用 npm i vue-virtual-tree 全局注册,但这会丢失类型,如果您使用打字稿,则不建议使用此方法 import { createApp } from 'vue' ; import VirTree from 'vue-virtual-tree' ; createApp ( App ) . use ( VirTree ) . mount ( '#app' ) ; In components : 部分注册,您可以获得完整的类型 < / div > < / template > < s
2021-09-01 09:00:18 303KB JavaScript
1
C#导出大数量数据Excel2007和2003 6万行以上1秒
2021-08-31 09:30:12 302KB C# Excel2007
1
初始设置 在项目根目录中运行./init 。 该脚本将安装 nvm、node 和其他所需的 node 和 bower 包。 如果您手动进行了设置,请确保您尚未安装节点。 这仅适用于 ubuntu。 这仍然未经测试。 或者,您可以手动执行操作:您将需要最新版本的 nodejs。 从项目根目录下载后运行以下命令: npm install -g gulp bower npm install bower install 如何使用 以下面指定的格式获取数据。 Ans 将文件保存为 data/dir 中的 data.json。 运行以下命令以启动应用程序。 gulp serve 脚本 scipts/有一个routes_to_geojson.py脚本,这个脚本将一些 csv 格式更改为 GeoJson。 复制并修改此脚本以从其他格式转换为下面给出的 GeoJson。 数据格式 数据格式为 Geo
2021-08-25 22:16:02 20KB JavaScript
1
本篇文章主要介绍了asp.net实现Postgresql快速写入/读取大量数据实例,具有一定的参考价值,有兴趣的可以了解一下
1
Delphi 在记录集中遍历大量数据时如何提高遍历速度,本实例 通过插入数据、ADO常规方式、ADO断开关联方式和删除数据的方式、Recordse方式综合演示如何在记录集中遍历大量数据时提高遍历速度,例子较实用,参考性比较强。
2021-08-21 12:16:41 10KB Delphi源码-数据库实例
1
资源里包含SQL文档:创建数据库和存储过程.sql 生成数据.sql 测试.sql 比较完善的大量数据分表功能代码,包含创建数据库、生成数据、测试结果。适合初学分表者使用。 数据按照每个月创建一个数据表,通过存储过程输入参数,按照指定日期跨表查询数据,并且可以分页查询。
1
【摘要】:气象业务的信息平台建设中,不同平台之间存在大量的数据交换与访问,通过设计一个带五个参数的接口函数,包括输入字符数组、输入字符数组长度、输出字符数组、输出字符数组长度、标志位五个参数用于实现不同平台中信息的传递,实现跨平台的数据传递与访问,同时对于存在的并发问题提出了相应的解决方案,为在不同平台下的接口函数编写、调用等过程提供了一个完整的实现参考样本,并在实际项目中成功应用。为今后类似问题的解决提供了一种成功的方案。 【作者单位】: 东华理工大学软件学院; 【关键词】: 跨平台 接口函数 并发 冲突 实现方案 JNA 气象学 【基金】:东华理工大学校长基金(DHXK0804)
2021-07-15 16:53:37 246KB 接口
1