Hadoop-3.3.2，jdk-1.8,zookeeper-3.8.0,mysql-5.7.38，hive-3.1.3，mysql-connector-java-5.1.44.tar.gz，apache-flume-1.9.0
2022-05-20 09:06:26
643.57MB
1
K均值
KMeans 算法的 Map Reduce 实现。 该程序在单/多节点 Hadoop 集群上运行，并在 AMazon Elastic Map Reduce 多节点集群上进行了测试。
2022-05-19 22:26:18
4KB
1
本教程为授权出品
一、课程简介数据仓库（Data Warehouse，可简写为DW或DWH），是面向分析的集成化数据环境，为企业决策制定过程，提供系统数据支持的战略集合，是国内外各大公司正在重点投入的战略级技术领域。
二、课程内容《大数据电商数仓项目实战》视频教程，从项目架构的搭建，到数据采集模块的设计、数仓架构的设计、实战需求实现、即席查询的实现，我们针对国内目前广泛使用的Apache原生框架和CDH版本框架进行了分别介绍，Apache原生框架介绍中涉及到的技术框架包括Flume、Kafka、Sqoop、MySql、HDFS、Hive、Tez、Spark、Presto、Druid等，CDH版本框架讲解包括CM的安装部署、Hadoop、Zookeeper、Hive、Flume、Kafka、Oozie、Impala、HUE、Kudu、Spark的安装配置，透彻了解不同版本框架的区别联系，将大数据全生态系统前沿技术一网打尽。在过程中对大数据生态体系进行了系统的讲解，对实际企业数仓项目中可能涉及到的技术点都进行了深入的讲解和探讨。同时穿插了大量数仓基础理论知识，让你在掌握实战经验的同时能
2022-05-19 08:37:37
241.32MB
1
手把手教你搭建分布式Hadoop家族集群视频教程（视频+讲义+笔记+配置），内容包括 Hadoop，SQOOP，Hive,Hbase的安装配置及集群搭建。内容包括但不限于：
01_回顾集群架构及配置集群时间同步
02_配置主节点与从节点之间的SSH无密钥登录
03_ZK集群启动脚本编写及NN启动过程（fsimage和edits）及SNN功能
04_HADOOP中服务组件的高可用HA说明
05_搭建分布式HBase集群
06_SQOOP安装及导入数据到HBase表
07_HBase Backup Masters配置、启动、测试
08_HBase 压缩配置测试
09_分布式集群搭建：大数据框架回顾说明
10_分布式集群搭建：集群环境说明及基本配置
11_分布式集群搭建：集群安装配置
12_分布式集群搭建：安装配置部署Zookeeper 集群
13_分布式集群搭建：规划设计集群服务分布
14_分布式集群搭建：HADOOP分布式集群安装部署测试
......
2022-05-16 14:07:52
978.16MB
大数据集群规划 hadoop集群软件硬件规划，报告一个规模超上千个节点Hadoop集群的【硬件规划,软件规划,
网络规划,应用规划】设计,综合考虑了集群头节点的高可用设计,
元数据的备份恢复设计，读写流量分离,多租户,安全审计设计,集
群冗余设,结合应用场景，结构化(文本和数据表)和非结构化数据
(影像)的等不同并行处理方式,并探索深度学习和Hadoop分布式融
合等规划。
2022-05-06 18:12:36
853KB
如何编写自己的Hadoop调度器
步骤1 编写JobInProgressListener
步骤2 编写调度器类，继承抽象类TaskScheduler
步骤3 配置并启用Hadoop调度器
//编写自己的 JobInProgressListener 抽象类
abstract class JobInProgressListener {
public abstract void jobAdded(JobInProgress job) throws IOException;
public abstract void jobRemoved(JobInProgress job);
public abstract void jobUpdated(JobChangeEvent event);
}
2022-05-05 23:33:55
1.1MB
1