基于Flink+ClickHouse构建亿级电商实时数据分析平台(PC、移动、小程序),完整版153讲视频教程下载。 课程将带领大家一步一步从无到有实现一个高性能的实时数据分析平台,该系统以热门的互联网电商实际业务应用场景为案例讲解,对电商数据的常见实战指标以及难点实战指标进行了详尽讲解,具体指标包括:概况统计、全站流量分析、渠道分析、广告分析、订单分析、运营分析(团购、秒杀、指定活动)等,该系统指标分为分钟级和小时级多时间方位分析,能承载海量数据的实时分析,数据分析涵盖全端(PC、移动、小程序)应用。
2021-10-13 13:08:17 970B flink ClickHouse 数据分析
1
非常详细的OGG安装、配置、维护文档 1. OGG安装与配置 1 1.1. 方案介绍 1 1.1.1. 操作系统和数据库版本 2 1.1.2. 数据库信息 2 1.1.3. 存储空间规划 3 1.1.4. 目标库用户列表 3 1.1.5. Ogg逻辑图 4 1.2. 安装(源和目标端) 4 1.2.1. 系统准备 4 1.2.2. 下载软件 5 1.2.3. 安装软件 5 1.3. 源数据库配置 6 1.3.1. 环境检查与准备 6 1.3.2. 配置源端mgr管理进程 8 1.3.3. 配置源端extract抽取进程 8 1.3.4. 配置源端dump投递进程 9 1.4. 配置目标数据库 10 1.4.1. 环境准备 10 1.4.2. 初始化全量数据 11 1.4.3. 同步数据 11 1.4.4. 配置目标端mgr进程 12 1.4.5. 编辑目标端globals参数 12 1.4.6. 创建表定义文件 12 1.4.7. 配置目标rep复制进程 13 1.5. ogg日常维护 14 1.5.1. 进入ogg控制界面 14 1.5.2. 启停ogg进程 14 1.5.3. 查看进程状态 14 1.5.4. 查看错误信息 16 1.5.5. 查看和修改进程配置 16 1.5.6. 查看文件系统使用情况 16 1.5.7. 增加表 16 1.5.8. 修改表 18
2021-10-13 13:06:12 190KB OGG OracleGoldenGat 实时数据同步工具
1
业务系统经常会遇到需要更新数据到多个存储的需求。例如:一个订单系统刚刚开始只需要写入数据库即可完成业务使用。某天BI团队期望对数据库做全文索引,于是我们同时要写多一份数据到ES中,改造后一段时间,又有需求需要写入到Redis缓存中。很明显这种模式是不可持续发展的,这种双写到各个数据存储系统中可能导致不可维护和扩展,数据一致性问题等,需要引入分布式事务,成本和复杂度也随之增加。我们可以通过CDC(ChangeDataCapture)工具进行解除耦合,同步到下游需要同步的存储系统。通过这种方式提高系统的稳健性,也方便后续的维护。CDC全称是ChangeDataCapture,它是一个比较广义的概念
1
使用requests和bs4 python库,获取PM2.5网站上的监测表格信息,使用findall查找行列,检索位置可以更换不同的市进行。
2021-10-09 18:17:45 1KB Python PM 2.5 表格数据
1
支持MySQL数据的实时复制与1:n分发。支持大数据量、高并发,普通笔记本电脑,实测5000TPS响应正常,单条事务日志大小10MB以上。订阅方可以为TCP、UDP或KAFKA,同时支持短连接和长连接。数据源可以为远程MYSQL数据库,也可以为本地binlog日志文件。支持group commit(MySQL5.7以上)和workset(MySQL8.0以上)并行复制。输出报文为JSON格式。欢迎免费使用,用法详见附件readme。有任何意见建议可随时与作者联系。
2021-10-09 17:04:10 2.64MB MySQL CDC binlog 实时数据同步
1
大数据直播活动-datav实时数据大屏PPT
2021-10-09 13:29:17 15.49MB 云计算
1
用r语言从接口中获取实时股票数据,基本上可以把一天的数据记录下来(程序最后会将数据记录在*.csv中),本人暂时还不会分析,待到开窍后再做进一步分享。 记得下载所需的包。
2021-10-04 19:51:20 2KB R语言 股票数据 实时数据
1
打开COVID19地图 :microbe: :face_with_medical_mask: :world_map_selector: 关于 嗨,我是Daniel Karl :male_sign:‍:male_sign_selector: 我想看看是否可以重现COVID19的约翰霍普金斯地图可视化效果。 因此,我着手使用他们在GitHub存储库kind中提供的完全相同的实时数据源来构建自己的版本:man_technologist_light_skin_tone:。 由于已有可用的数据集,在React中增强可视化工具的过程相当顺利 :shamrock_selector: 。 从那时起, ://covid19map.io获得了越来越多的功能: 以全球平均检测率预测已确诊的病例 :globe_showing_Europe-Africa: :test_tube: ‍:microscope: 显示传播势头 :microbe: :chart_increasing: :world_map_selector: 直接以字形表示,即过去1、3或7天的变化 遏制分数 :house_wit
2021-09-26 19:56:33 458KB react visualization tracker map
1
运用python分别使用多线程和多进程获取所有上市公司的实时分笔数据
2021-09-26 13:59:29 332KB python量化
1
工业实时数据滤波算法 工业实时数据滤波算法
2021-09-13 15:11:27 44KB 滤波算法 Kalman
1