云计算大作业使用Hadoop对美国新冠肺炎疫情数据分析项目。 实验内容 统计指定日期下,美国每个州的累计确诊人数和累计死亡人数。 对实验1的结果按累计确诊人数进行倒序排序。(重写排序规则) 对实验1的结果再运算,统计截止指定日期,全美各州的病死率。病死率 = 死亡数/确诊数。 统计美国截止每日的累计确诊人数和累计死亡人数。做法是以date作为分组字段,对cases和deaths字段进行汇总统计。 对实验4的结果再运算,统计美国每日的新增确诊人数和新增死亡人数。因为新增数=今日数-昨日数,所以考虑使用自连接,连接条件是t1.date = t2.date + 1,然后使用t1.totalCases – t2.totalCases计算该日新增。 对实验4的结果再运算,统计美国截止当日的病死率。 将美国不同州的疫情数据输出到不同文件,属于同一个州的各个县输出到同一个结果文件中。(重写排序规则,重写分区规则)。 统计指定日期下,美国每个州的确诊案例最多前N(TopN)的县。(重写排序规则,重写分组规则)
hadoop入门学习 mapreduce求解 天气数据 2002年整年数据的最高气温
2022-06-12 11:40:55 186.9MB hadoop
1
关键字:Linux  CentOS  Hadoop  Java   版本:  CentOS7  Hadoop2.8.0  JDK1.8   说明:Hadoop从版本2开始加入了Yarn这个资源管理器,Yarn并不需要单独安装。只要在机器上安装了JDK就可以直接安装Hadoop,单纯安装Hadoop并不依赖Zookeeper之类的其他东西。
2022-06-10 20:07:29 118B hadoop 集群 镜像 centos7
1
Hadoop集群搭建及Hive的安装与使用文档,详细记录操作步骤,该文档对于大数据平台搭建,及现场实施人员有非常大的帮助,使刚接触的人员,很容易上手。
2022-06-10 17:20:41 417KB Hadoop大数据
1
资源包含文件:lunwen文档+任务书+开题报告+文献综述+答辩PPT+项目源码及数据库文件 本系统利用大数据技术,合理的为用户做出推荐,推荐的结果可靠程度很高,这就是我的优势所在,因为它和一般的推荐系统的推荐算法不太一样,我的推荐算法是利用Hadoop技术写的,我们可以利用Hadoop集群的高吞吐量,一次读取多次写入等特点进行大数据处理,我们也可以通过JDBC编程直接把推荐结果写入到Mysql数据库,等我们用到时再把它读出来。 而且系统首页利用CSS/DIV 技术的结合,让页面动感展示,效果很不错,我利用JSP做的页面展示,页面整体构想简单明了,各种优惠活动都在首页,一眼就能看到。 采用C/S架构,使用Java Spring MVC架构 开发平台:Eclipse 操作系统:Ubuntu16-04 数据库服务器:Mysql 使用技术:Java 、Jsp、Mysql、Hadoop 详细介绍参考:https://biyezuopin.blog.csdn.net/article/details/122768619?spm=1001.2014.3001.5502
2022-06-10 09:09:32 18.72MB 大数据 Hadoop 购物推荐 购物分析
core-site.xml常用配置文件模板: fs.defaultFS hdfs://c101:8020 hadoop.tmp.dir /data hadoop.http.staticuser.user root hadoop.security.authorization false
2022-06-09 22:09:53 628B hadoop
1
PageRank_MapReduce 在 Hadoop 上运行的 MapReduce 程序
2022-06-09 21:34:33 3KB Java
1
【目录】 简介 数据模型 业务设计 产品线使用建议 监控 总结
2022-06-09 19:04:43 1.25MB hadoop 大数据 hbase
大数据技术分享 Hadoop技术分享 360超大规模HBase集群的改进 共43页.pdf
2022-06-09 14:05:43 1.51MB hadoop 大数据 hbase
大数据技术分享 Hadoop技术分享 淘宝HBase技术 共14页.pptx
2022-06-09 14:05:42 170KB hadoop 大数据 hbase