这是一个基本的通用微计算元素项目。 在这个项目中,我们将提供: 1. Scala/Java 容器,它将接收一个数据对象(事件)并在其上执行给定的代码。 2. 开箱即用的端到端登录 3. 至少已验证连接: a. SQL B. 卡夫卡 C. Hadoop D. JMS E. 4.导致内存缓存。 5. 开发者 UI(下一阶段)
2021-07-05 09:05:02 31KB Java
1
由于Spark基于内存计算的特性,集群的任何资源都可以成为Spark程序的瓶颈:CPU,网络带宽,或者内存。通常,如果内存容得下数据,瓶颈会是网络带宽。不过有时你同样需要做些优化,例如将RDD以序列化到磁盘,来降低内存占用。 本教程通过源码引导读者深入理解Spark的集群部署的内部机制、Spark内部调度的机制、Executor的内部机制、Shuffle的内部机制,进而讲述Tungsten的内部机制,让学员知其然知其所以然。教程的后部分,是任何Spark应用者都很好关注的Spark性能调优的内容。
1
基于Apache Spark的配电网大数据预处理技术研究.pdf
2021-07-04 19:09:05 1.56MB 大数据 数据分析 数据应用 数据时代
巩固流数据处理技术掌握情况,锻炼团队协作能力,提高对Spark数据处理技术的理解和综合运用能力。 某网站系统实时产生日志信息,记录用户对系统的访问信息,例如:IP地址,用户名称,访问时间,请求和响应信息,其中IP地址信息是表示全国各地用户的访问情况,对IP地址的详细分析,可以了解各个地区对该网站系统访问的活跃度,用以判断该网站公司对区域活动的推广情况和投入成本。本项目为网站运营方向常用技术案例。 计算机方面,帮写课设,实验报告,长理优先
1
用于Apache Spark的Neo4j连接器 该存储库包含适用于Apache Spark的Neo4j连接器。 执照 这个neo4j-connector-apache-spark是Apache 2许可的 从源代码生成文档 cd doc # Install NodeJS dependencies npm install # Generate HTML/CSS from asciidoc ./node_modules/.bin/antora docs.yml # Start local server to browse docs npm run start 这将打开提供开发文档的 。 建筑 构建Spark 2.4 您可以同时使用Scala 2.11和Scala 2.12构建Spark 2.4 ./mvnw clean package -P spark-2.4 -P scala-2.11 .
2021-07-04 12:41:05 283KB spark neo4j-driver bolt cypher
1
azkaban源码安装由于国内网络等各种原因踩了很多坑,终于编译好了,可下载修改配置就可以直接使用了。
2021-07-03 18:13:16 261.34MB azkaban oozie,调度 azkaban 任务调度 spark
1
大数据智能综合训练编程题(Spark、RDD、Hadoop)脚本代码及数据资源
2021-07-03 09:12:44 4.08MB spark hadoop 大数据 数据分析
1
分享一套视频课程,名字叫:用户画像解决方案,挺不错的一套课程,想学习用户画像方面的同学,可以下载看看,附源码和课件,完整版的
2021-07-02 22:48:28 292B 用户画像解决方案
1
星火应用商店
2021-07-02 14:01:20 2.47MB 星火应用商店
1
Spark V3.0 概述
2021-07-02 09:11:06 3.7MB 大数据 Spark3.x
1