由于Spark基于内存计算的特性，集群的任何资源都可以成为Spark程序的瓶颈:CPU，网络带宽，或者内存。通常，如果内存容得下数据，瓶颈会是网络带宽。不过有时你同样需要做些优化，例如将RDD以序列化到磁盘，来降低内存占用。
本教程通过源码引导读者深入理解Spark的集群部署的内部机制、Spark内部调度的机制、Executor的内部机制、Shuffle的内部机制，进而讲述Tungsten的内部机制，让学员知其然知其所以然。教程的后部分，是任何Spark应用者都很好关注的Spark性能调优的内容。
2021-07-04 23:26:11
6.07MB
1
巩固流数据处理技术掌握情况，锻炼团队协作能力，提高对Spark数据处理技术的理解和综合运用能力。
某网站系统实时产生日志信息，记录用户对系统的访问信息，例如：IP地址，用户名称，访问时间，请求和响应信息，其中IP地址信息是表示全国各地用户的访问情况，对IP地址的详细分析，可以了解各个地区对该网站系统访问的活跃度，用以判断该网站公司对区域活动的推广情况和投入成本。本项目为网站运营方向常用技术案例。
计算机方面，帮写课设，实验报告，长理优先
2021-07-04 14:39:15
287KB
1
用于Apache Spark的Neo4j连接器
该存储库包含适用于Apache Spark的Neo4j连接器。
执照
这个neo4j-connector-apache-spark是Apache 2许可的
从源代码生成文档
cd doc
# Install NodeJS dependencies
npm install
# Generate HTML/CSS from asciidoc
./node_modules/.bin/antora docs.yml
# Start local server to browse docs
npm run start
这将打开提供开发文档的 。
建筑
构建Spark 2.4
您可以同时使用Scala 2.11和Scala 2.12构建Spark 2.4
./mvnw clean package -P spark-2.4 -P scala-2.11
.
2021-07-04 12:41:05
283KB
1
azkaban源码安装由于国内网络等各种原因踩了很多坑，终于编译好了，可下载修改配置就可以直接使用了。
2021-07-03 18:13:16
261.34MB
1
分享一套视频课程，名字叫：用户画像解决方案，挺不错的一套课程，想学习用户画像方面的同学，可以下载看看，附源码和课件，完整版的
2021-07-02 22:48:28
292B
1