主要功能和技术说明如下：
（1）Flume数据采集，HDFS数据储存
（2）hive数据仓库分层设计，包含ODS、DWD、ADS层
（3）sqoop数据迁移，完成HIve与MySQL数据库中的数据交互
（4）Echarts搭建动态可视化大屏
（5）SpringBoot搭建可视化后台系统，完成前端与后台的数据传递与交互。
（6）基于Cenots7 搭建虚拟机，配置Hadoop、HDFS、Hive、sqoop、flume、mysql等大数据组件。
2024-05-16 09:24:27
24.01MB
1
本系统主要设计完成两件工作，一是搭建分布式的hadoop的集群环境，二是基于分布式的集群环境做日志分析。详细介绍参考：https://blog.csdn.net/newlw/article/details/127332767
2022-11-30 14:25:46
1.25MB
Bigdata-movie
本项目以电影数据为主题，以数据采集、处理、分析及数据可视化为项目流程，可实现百万级电影数据离线处理与计算。
项目详解：.
开发环境：IDEA+Pycharm+Python3+hadoop2.8+hive2.3.0+mysql5.7+sqoop+spark
1.数据采集(pachong.py)、预处理：
采集豆瓣电影top250电影信息，采集电影名称、电影简介、电影评分、其他信息、电影连接等字段，抓取电影票房总收入排名情况（取前20），删除冗余和空值字，利用Python的PyMysql库连接本地Mysql数据库并导入movies表，可以将数据保存到本地，从而进行数据可视化展示，也可将数据导入到大数据的Hive数仓工具中，用于大数据分析。
采集数据展示：
排序 影片名称 类型 总票房（万） 场均人次 上映日期
1 战狼2 动作 567928 38 2017/7/27
2022-11-05 15:29:48
7.13MB
1
mysql安装包，mysql外界数据库作为存储hive元数据的存储介质，它的存在，方便hive用户根据自身的需求对数据进行分析处理。
2022-09-03 19:03:53
436.3MB
1
包含虚拟机的安装步骤，centos系统安装，网络配置，环境配置，集群配置，详细命令，图文详解。
2022-07-13 18:10:37
5.82MB
1