Spark 调优攻略上册》是整合互联⽹优质的Blog与PPT形成的攻略,它主要对于企业级⼤规模数据计算引擎Spark多维度优化策略。本次整理不单单是Apache spark还涵盖了Data Lake和阿⾥云EMR智能团队研发的Jindo-Spark是如何基于Apache spark进⾏多维优化及实现原理,让读者能够知其然且知其所以然。
2022-12-31 14:23:20 25.42MB 攻略 大数据 Spark调优
1
本文SparkStream从磁盘文件、HDFS、KAFKA获取数据源,以单词频次统计作为入门案例,介绍了SparkStream模块API的使用。同时介绍了SparkStream的特点
2022-12-29 17:25:28 354KB 大数据 Spark SparkStreaming
1
spark实验二的代码与报告 1.掌握Java Spark API开发Spark应用的方法;2.掌握分布式环境下Spark应用的部署运行;
2022-12-28 22:51:18 915KB 大数据 spark
1
详细描述了Spark1.6.0的安装过程和使用方法。严格按照教程安装基本上都能成功。与各位同仁共勉。
2022-12-27 13:04:34 516KB Spark; Hadoop
1
spark-assembly-1.5.2-hadoop2.6.0.jar 在编写spark程序是需要用到
2022-12-26 23:40:44 175.47MB spark
1
基于spark的电商用户行为分析系统源码+项目说明.zip 【环境】 spark 2.4.4 scala 2.11.8 hive 3.1.2 mysql 5.7.28 kafka_2.12-2.3.0 jdk 1.8.0_192 hadoop 2.9.2 zookeeper-3.5.5 Ubuntu 18.04 Windows10 Commons包:公共模块包 conf:配置工具类,获取commerce.properties文件中的所有配置信息, 使用户可以通过对象的方式访问commerce.properties中的所有配置 constant:常量接口,包括项目中所需要使用的所有常量 model: Spark SQL样例类,包括Spark SQL中的用户访问动作表、 用户信息表、产品表的样例类 pool:MySQL连接池,通过自定义MySQL连接池,实现对MySQL数据库 的操作 utils:工具类,提供了日期时间工具类、数字格式工具类、参数工具类、字符串工具类、校验工具类等工具类, 里面的类有: DateUtils:时间工具类,负责时间的格式化、判断时间先后、计算时间差值、获取指定日
用户画像系统
2022-12-22 18:26:20 72.26MB 用户画像 spark es clickhouse
1
主要介绍了从0开始学习大数据之java spark编程入门与项目实践,结合具体入门项目分析了大数据java spark编程项目建立、调试、输出等相关步骤及操作技巧,需要的朋友可以参考下
2022-12-20 21:42:49 198KB 大数据 java spark
1
在学习了基础知识之后,感觉缺少点东西作为练习。这个可以作为一种考虑。
2022-12-19 17:03:29 114.49MB spark 实战
1
spark程序读取excel文件时必须要使用的所需jar包
2022-12-18 18:24:24 6.01MB spark excel
1