Hadoop的2.0版本的yarn的框架介绍啊 Hadoop yarnYARN 本身框架的优势是扩展性与支持多计算模型。对于扩展性目前主要体现在计算节点规模上,以前 JobTracker-TaskTracker 模型下最多大约在 5000 台机器左右,对于 YARN,官方说可以支持大约 10w 台机器,当然这个目前还没有一家公司去试用过,连 300 台机器目前估计也是测试阶段。 对于支持多计算模型,目前 YARN 理论是可以支持更多的计算模型的,如: MAP-REDUCE、 MPI、 Giraph、 Spark 等。目前 MAP-REDUCE 是默认支持的
2023-01-17 14:31:09 1.88MB yarn hadoop 框架代码分析
1
基于Hadoop的K-Means聚类算法优化与实现,陈萍,何健伟,本文针对传统K-Means聚类算法不适合海量大数据挖掘,并且对异常离群点数据非常敏感,结合Hadoop云计算平台以及MapReduce并行编程框架,��
2023-01-15 11:32:23 361KB K-Means算法;大数据;Hadoop;并行;
1
默认下载的Hadoop不支持Windows系统,需要替换bin目录下的文件方便在Windows上运行。这个就是用来直接替换掉hadoop目录下bin文件的
2023-01-11 15:12:11 1.04MB win10安装Hadoop
1
hadoop-2.7.0.zip
2023-01-10 21:44:23 1.08MB hadoop
1
按照餐饮的分类来爬虫的,数量不多,但是可以自己改餐饮分类一直爬。 可视化运用的是pyecharts。 大数据处理技术的课程项目数据预处理。
2023-01-07 17:36:54 181KB 大数据 hadoop Python 爬虫
1
hadoop-3.3.4源码包
2023-01-05 17:26:35 33.98MB hadoop 大数据 3.3.4
1
基于hadoop平台hive数据库的taptap游戏平台大数据分析项目源码.zip 已获导师指导并通过的高分项目,下载即用,无需修改。 基于hadoop平台hive数据库的taptap游戏平台大数据分析项目源码.zip 已获导师指导并通过的高分项目,下载即用,无需修改。基于hadoop平台hive数据库的taptap游戏平台大数据分析项目源码.zip 已获导师指导并通过的高分项目,下载即用,无需修改。基于hadoop平台hive数据库的taptap游戏平台大数据分析项目源码.zip 已获导师指导并通过的高分项目,下载即用,无需修改。基于hadoop平台hive数据库的taptap游戏平台大数据分析项目源码.zip 已获导师指导并通过的高分项目,下载即用,无需修改。基于hadoop平台hive数据库的taptap游戏平台大数据分析项目源码.zip 已获导师指导并通过的高分项目,下载即用,无需修改。基于hadoop平台hive数据库的taptap游戏平台大数据分析项目源码.zip 已获导师指导并通过的高分项目,下载即用,无需修改。基于hadoop平台hive数据库的taptap游戏平
基于Hadoop的hive数据库的网站流量日志数据分析系统项目源码.zip 已获导师指导并通过的高分项目。下载即用,内附说明。项目背景 1、项目名 “网站流量日志数据分析系统” 2、概念 a、点击流 点击流(Click Stream)是指用户在网站上持续访问的轨迹,形成点击事件,它会记录用户浏览站点的整个过程。 image-20211123085322048 二、日志数据的数据格式 image-20211123090020444 页面点击流数据 image-20211123091013446 点击流模型Visits表 image-20211123091120698 三、骨灰级指标 1、IP 1天之内,不重复的ip数,统计ip数 2、PV 页面加载的总次数 3、UV 1天之内,访问网站的不重复用户数(以浏览器cookie为依据),一天内同一访客多次访问网站只被计算1次。 四、整体技术架构流程 1、数据采集 2、数据预处理 3、数据入库 4、数据分析 5、数据展示 image-20211201143716799 image-20211123114258257 五、技术分析
win8 上还是用32位的 cygwin吧,64位的cygwin 无法运行"ssh localhost"
2023-01-04 14:13:52 815KB cygwin hadoop windows linux
1
在Windows环境下开发spark程序,不可避免使用到部分Hadoop功能。为了避免在Windows上报错,给windows打补丁。
2023-01-04 13:25:08 626KB 大数据
1