这是基于python爬虫技术编程写的全球外贸数据爬虫系统，实现全球海关、关单、外贸数据的爬取。框架采用python多线程技术+request+代理IP池,实现了每天几十亿家采购商供应商外贸和关单数据实时采集和更新。
2024-06-05 10:14:47
42.1MB
1
微软的ASG(应用与服务集团)包含Bing,、Office,、Skype。每天产生多达5
PB以上数据，如何构建一个高扩展性的dataaudit服务来保证这样量级的数据完整性和实时性非常具有挑战性。本文将介绍微软ASG大数据团队如何利用Kafka、Spark以及Elasticsearch来解决这个问题。微软的ASG(应用与服务集团)包含Bing,、Office,、Skype。每天产生多达5
PB以上数据，如何构建一个高扩展性的dataaudit服务来保证这样量级的数据
2022-12-14 19:20:16
365KB
1
PySpark电商分析案例讲解，Python+Spark，Python+Spark SQL,Python+SparkStream,Python+Hive等视频讲解，含讲义、代码、笔记、软件等，原价值千元内部培训教程现免费对外公开。
2022-11-11 13:30:23
197.36MB
1
给大家分享一套课程——《亿级在线实时动态规则运营系统（V2架构）》，2022年8月完结新课，基于flink1.14版本，提供课程配套的源码+文档+虚拟机下载！
课程基于flink和groovy作为核心组件，实现可以任意在线动态制定规则的实时智能运营推送。 涉及的技术栈包括：flink streaming，flink sql，flink cdc，groovy ，redis ，elastic search， roaringbitmap 等； 项目的核心在于，在flink job运行期间，不需要停机即可以实时在线修改运算逻辑。
2022-09-13 19:05:49
653B
1
Flink基础教程
Apache Flink学习0-1知识点全景图
Fink实时大数据项目架构图
Flink流式计算平台架构图
Flink实时数仓架构图
Flink实时数仓业务数据流向图
Flink实时数仓知识结构图
大数据分析基于Flink实时数仓架构
日志分析-Flink方案
2022-09-09 19:05:26
5.55MB
1
分享课程——《亿级在线实时动态规则运营系统（V2架构）》，2022年8月完结新课，基于flink1.14版本，提供课程配套的源码+文档+虚拟机下载！
课程基于flink和groovy作为核心组件，实现可以任意在线动态制定规则的实时智能运营推送。 涉及的技术栈包括：flink streaming，flink sql，flink cdc，groovy ，redis ，elastic search， roaringbitmap 等； 项目的核心在于，在flink job运行期间，不需要停机即可以实时在线修改运算逻辑 ； 相聚的核心价值在于，可以为各类公司的市场运营人员提供一款灵活，强大的实时运营工具
2022-09-05 19:06:16
714B
1