可作为java大数据课程设计使用: 详情查看:https://blog.csdn.net/weixin_46115961/article/details/126061076
1
Hadoop是一个由Apache基金会所开发的分布式系统基础架,是当前最火爆的大数据应用框架,Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,而MapReduce则为海量的数据提供了计算.hdfs作为hadoop重要的组成部分,实现了一个分布式文件系统(Hadoop Distributed File System),HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。本课程详细介绍了从部署linux虚拟机环境到实现全分布式启动hdfs进程的全过程,是快速入门大数据的必经之路.
1
可作为java大数据课程设计使用: 详情查看:https://blog.csdn.net/weixin_46115961/article/details/126061076
1
mapreduce海量数据并行处理总结.pdf
2022-07-14 16:08:58 5.24MB 海量数据挖掘
Hadoop- 单词计数(Word Count)的MapReduce实现.doc
2022-07-13 13:07:28 673KB 技术资料
MongoDB的MapReduce.pdf 学习资料 复习资料 教学资源
2022-07-11 19:06:10 232KB 计算机
资源包含文件:课程论文报告word和PDF两个版本+源码及数据 本项目为一个Hadoop课程设计,使用Java语言和map/reduce实现贝叶斯文本分类器。项目的具体内容如下:1:用MapReduce算法实现贝叶斯分类器的训练过程,并输出训练模型; 2:用输出的模型对测试集文档进行分类测试。测试过程可基于单机Java程序,也可以是MapReduce程序。输出每个测试文档的分类结果; 3:利用测试文档的真实类别,计算分类模型的Precision,Recall和F1值。 详细介绍参考:https://blog.csdn.net/newlw/article/details/124984567
基于MapReduce并行化视频分析的研究与实现,易晓晔,詹志强,论文提出一种利用MapReduce编程模型加速视频处理过程的方法。随着大数据时代的到来,面对视频数据急速增长,此方法可以高效地处理海
2022-07-06 15:53:12 482KB 视频分析
1
选题:搜狗日志查询分析 (MapReduce+Hive综合实验) 前提条件: 安装好hadoop2.8.0 安装好HQL 安装好Hive 安装好eclipse 选题要求: 解压数据源,并上传到hdfs,保存的目录以个人学号区分,176为我的学号 创建hive表 编写MapReduce程序实现数据清洗,去掉不满足长度为6,并保证输出数据以 ','分割 将清洗后的数据导入Hive 使用SQL查询搜索结果排名第2点,点击次序排在第1的数据 实验步骤: 思路:用MapReduce做数据清洗,用Hive来分析数据。
2022-07-05 09:10:12 66.92MB hadoop hive mapreduce
1
基于mapreduce的小型电影推荐系统,使用javaweb的方式实现,包含数据集。
2022-07-02 19:08:28 46.68MB mapreduce javaweb 推荐系统
1