使用Spark框架进行网站用户购物分析
目的
1、熟悉Linux系统、MySQL、Spark、HBase、Hive、Sqoop、R、Eclipse、IntelliJ Idea等系统和软件的安装和使用;
2、了解大数据处理的基本流程;
3、熟悉数据预处理方法;
4、熟悉在不同类型数据库之间进行数据相互导入导出;
5、熟悉使用R语言进行可视化分析;
6、熟悉使用Eclipse或IntelliJ Idea编写Java程序操作HBase数据库
要求
1、对文本文件形式的原始数据集进行预处理
2、把文本文件的数据集导入到数据仓库Hive中
3、对数据仓库Hive中的数据进行查询分析
4、使用Sqoop将数据从Hive导入MySQL
5、使用Sqoop将数据从MySQL导入HBase
6、使用HBase Java API把数据从本地导入到HBase中
7、使用R对MySQL中的数据进行可视化分析
2021-11-13 19:00:44
174.65MB
spark