这是scala官方的构建程序的安装框架sbt的1.3.13版本，是目前较新的安装工具，由于某种原因，sbt官网下载较慢，所以分享出来给需要的人
2021-12-08 15:36:22
1.17MB
1
在线教育项目
1.dwd 数据清洗 数据脱敏 清洗规则 脱敏字段，存储基础表
2.dws 降维 对表轻度聚合 做题表 课程表 主修行业表 试卷表。
3.join 方式：Spark SQL 、DF API、DS API , RDD DF DS 三者区别 优点和劣势。
宽表：几张宽表，字段。
拉链表：缓慢变化的字段（vip等级 用户支付金额）
4.用户注册模块：统计各个平台注册人数，通过url地址跳转的注册人数，top3用户支付金额 对内分析各部门贡献程度。
做题模块：统计试卷分数、做题情况、做题难易度 对外用户。
2021-12-02 17:51:41
130.96MB
1
快速测试
一个快速的Apache Spark测试帮助程序库，其中包含格式精美的错误消息！ 与 ， 和。
将用于PySpark应用程序。
阅读以获得关于测试Spark代码的最佳方法的完整说明！ 好的测试套件可以产生易于重构的更高质量的代码库。
安装
从Maven获取JAR文件。
// for Spark 3
libraryDependencies + = " com.github.mrpowers " %% " spark-fast-tests " % " 1.0.0 " % " test "
// for Spark 2
libraryDependencies + = " com.github.mrpowers " %% " spark-fast-tests " % " 0.23.0 " % " test "
这是和。 。
您应该将Scala 2.11与Spark 2一起使用，
2021-12-01 16:46:34
203KB
1
DBSCAN分布式
DBSCAN集群算法的Scala + Spark实现
编译软件
下载和环境设置
首先在本地克隆存储库
git clone https://github.com/AlecioP/DBSCAN-distributed
然后移至本地存储库
cd DBSCAN-distributed
为了构建可以在EMR集群上远程执行的jar文件，我们使用包管理器（类似于MAVEN的JAVA和SCALA的包管理器）
要安装sbt，您必须已安装 ，请运行：
MACOS brew install openjdk
如果您没有安装
/bin/bash -c " $( curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh ) "
UBUNTU sudo apt-get install ope
2021-11-29 16:59:21
2.43MB
1