(1)创建RDD (2)将RDD转为DataFrame (3)调用registerTempTable,注册为表,表名为:tb_book (4)使用使用sql语句查询前15条 (5)模糊查询书名包含“微积分”的书 (6)输出图书的前10行的name和price字段信息 (7)统计书名包含“微积分”的书的数量 (8)查询评分大于9的图书,,且只展示前10条 (9)计算所有书名包含“微积分”的评分平均值 (10)把书目按照评分从高到低进行排列,且只展示前15条 (11)把图书按照出版社进行分组,统计出不同出版社图书的总数 (12)将书名包含“微积分”的书记录保存到本地或HDFS上,且保存的格式为csv,文件名为:学号.csv (13)然后再从该csv文件加载,创建DataFrame,并查询和显示
2019-12-21 20:45:17 1.54MB DataFrame spark sql python
1
SparkSQL HDFS JAVA调用完整实例,使用Maven管理,项目很小,里面实例很多。敬请下载。
2019-12-21 20:30:43 30KB SparkSQL
1
最全Spark操作完整示例代码-------是基于java的。 包含所有的spark常用算子操作和ml以及mlib、sparkstreaming、sparkSQL操作的示例DEMO。 内附有详细说明,由于内容过大删除了两个jar包,需要自己去下载,spark的安装包下的有这两个包,导入项目即可。懒得改maven项目了。 适合有一定基础和已经工作的人员下载学习。 个人Github: https://github.com/huangyueranbbc
2019-12-21 19:54:41 43B spark streaming sparksql 大数据
1