上传者: 45917137
|
上传时间: 2022-09-23 09:06:31
|
文件大小: 6MB
|
文件类型: DOC
实验三 RDD编程初级实践
1 实验目的
(1)熟悉Spark的RDD基本操作及键值对操作
(2)熟悉使用RDD编程解决实际具体问题的方法
2 实验平台
Ubantu16.04、Spark-2.1.0
3 实验要求
(1)掌握连接操作
(2)掌握spark-shell交互式编程
(3)编写独立应用程序实现数据去重
(4)编写独立用用程序实现求平均值问题
4 实验内容和步骤(操作结果要附图)
一、连接操作
二、Spark-shell交互编程
三、数据去重
四、求平均值
5 实验总结
通过本次实验,我了解了如何使用RDD编程解决实际问题,并熟悉RDD的基本操作以及键值对操作和用法。注意在求平均值问题中,要注意avg.scala