豆瓣用户每天都在对“看过”的电影进行“很差”到“力荐”的评价,豆瓣根据每部影片看过的人数以及该影片所得的评价等综合数据,通过算法分析产生豆瓣电影 Top 250。 为了分析电影产业的发展趋势,本次实验需要对这些信息做统计分析。 注意:豆瓣网站的数据形式为文本文件(必须将导入到hive中做处理)。也可以为CSV文件,例如下图: 针对本次实验,我们需要用到Hadoop集群作为模拟大数据的分析软件,集群环境必须要包括,hdfs,hbase,hive,flume,sqoop等插件,最后结合分析出来的数据进行可视化展示,需要用到Python(爬取数据集,可视化展示)或者echarts等可视化工具。
Hadoop豆瓣电影数据分析(Hadoop)操作源码
2022-06-17 09:10:52 7KB Hadoop
HADOOP大数据平台系统思路流程图
2022-06-17 09:10:52 46KB hadoop 大数据 流程图
本实验报告为厦门大学计算机科学系 林子雨 博士/助理教授《大数据处理技术Spark》课程在学期结束后的“大作业”。Spark课程实验案例:淘宝双11数据分析与预测课程案例,由厦门大学数据库实验室团队开发,旨在满足全国高校大数据教学对实验案例的迫切需求。本案例涉及数据预处理、存储、查询和可视化分析等数据处理全流程所涉及的各种典型操作,涵盖Linux、MySQL、Hadoop、Hive、Sqoop、Eclipse、ECharts、Spark等系统和软件的安装和使用方法。本报告含实验环境、实验内容、实验内容截图、遇到的问题及解决方案、心得体会。
2022-06-17 09:10:49 4.82MB 大数据 Spark Linux MySQL
HADOOP 大数据 平台系统 思路 流程图
2022-06-16 18:07:45 46KB hadoop 大数据 流程图
1
用-Hadoop-进行分布式数据处理
2022-06-16 18:07:45 903KB hadoop 分布式 数据处理 数据分析
1
1. HBase有哪些基本的特征? 1 HBase特征: 1 2. HBase相对于关系数据库能解决的问题是什么? 2 HBase与关系数据的区别? 2 HBase与RDBMS的区别? 2 3. HBase的数据模式是怎么样的?即有哪些元素?如何存储?等 3 1). 数据模式 3 2). HBase的基本元素: 4 3) 数据模型有哪些操作? 4 4) 返回结果的排序方式是什么? 5 5)最后,HBase不支持联合查询 5 mapreduce与HBase表配合使用 5 4. HBase的模式Schema设计的一些概念和原则 5 1)模式的创建与更新 5 2)列族的数量 6 3)行键设计RowKey 6 5. HBase的拓扑结构是什么? 7 1)拓扑结构 7 2)HBase与ZooKeeper的关系是什么? 7 3)HBase的内部结构管理状况: 7 4)HBase的使用示例: 8 6. HBase与Cassender的比较 8 7:几个关键概念: 9 行键(RowKey) 9 列族(ColumnFamily) 9 时间戳(TimeStamp) 9 单元格(Cell) 9 区域(Reg
2022-06-16 18:03:26 62KB hbase hadoop 数据库 文档资料
这个是大学云计算技术课程的大作业,是关于部署云计算系统Hadoop的教程
2022-06-16 15:28:37 1.2MB 大作业 云计算 Hadoop
1
Hadoop大数据期末考试重点,选择、判断、简答
2022-06-16 14:04:49 504KB hadoop 大数据
1
使用python写微博关注者之间,相似度最高的十个用户的mapreduce,代码有点粗糙,主要是给大家提供思路的,不同的问题是需要修改的。
2022-06-16 13:59:51 1KB python mapreduce hadoop
1