Hadoop是一个由Apache基金会所开发的分布式系统基础架,是当前最火爆的大数据应用框架,Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算.hdfs作为hadoop重要的组成部分,实现了一个分布式文件系统（Hadoop Distributed File System),HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。本课程详细介绍了从部署linux虚拟机环境到实现全分布式启动hdfs进程的全过程,是快速入门大数据的必经之路.
2022-08-22 11:56:04
2.03MB
1
我的报错：Could not locate Hadoop executable: E:\big_data\hadoop-3.3.0\bin\winutils.ex
hadoop的winutils.exe及hadoop.dll文件,可以用于hadoop3.3.
下载好直接将两个文件复制到我们hadoop的bin目录下就行了
2022-08-19 09:21:45
80KB
1
2.1【实验目的】
掌握集群安装过程原理
了解 Hadoop 的关键配置选项
掌握动态管理节点方法
学习HDFS基本命令
HDFS实践
2.2【实验环境】
安装虚拟机和linux,虚拟机推荐使用vmware,PC可以使用workstation,服务器可 以使用ESXi,在管理上比较方便。ESXi还可以通过拷贝镜像文件复制虚拟机,复制后 自动修改网卡号和ip,非常快捷。如果只是实验用途,硬盘大约预留20-30G空间。
以Centos为例,分区可以选择默认,安装选项选择Desktop Gnome,以及Server、 Server GUI即可。其它Linux,注意选项里应包括ssh,vi(用于编辑配置文件),perl 等(有些脚本里包含perl代码需要解析)
到Oracle官网下载java jdk安装包,并且进行安装 。
2022-08-17 19:00:42
1.39MB
1
实验1：Hadoop 安装与配置管理
实验2：HDFS实验
实验3:VARN技术
实验4：MapReduce技术
实验5：MapReduce编程
实验6 Hadoop气象数据集实战
掌握集群安装过程原理，熟悉 SSH 免密码登录原理，了解 Hadoop 的关键配置选项 ，掌握动态管理节点方法，学习HDFS基本命令，HDFS实践，学会YARN技术
2022-08-17 19:00:41
14.59MB
1
实验1：Hadoop 安装与配置管理 4
1.1【实验目的】 4
1.2【实验环境】 4
1.3【实验过程】 4
Step1:基础设施. 5
Step2:各服务器安装JDK 7
Step3:各服务器的网络设置 8
Step4:在namenode安装Hadoop 9
Step5:修改Hadoop的配置文件 10
Step6:SSH免密码登录 14
Step7:启动/停止Hadoop集群 18
Step8: Hadoop集群验证 21
Step9: 解决jps命令没有namenode或datanode 22
1.4【实验结果】 24
1.5【实验总结】 26
实验2：HDFS实验 28
2.1【实验目的】 28
2.2【实验环境】 28
2.3【实验过程】 28
Step1: 启动Hadoop. 28
Step2: 学习HDFS基本命令 30
Step3: HDFS实践 42
2.4【实验结果】 45
2.5【实验总结】 46
实验3:VARN技术 48
3.1【实验目的】 48
3.2【实验环境】 48
3.3【实验过程】 48
Step1:基础配置 48
Step2: Distribu
2022-08-14 09:04:51
14.59MB
1
1111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111没什么用的东西
2022-08-14 09:04:47
98KB
1
11111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111
2022-08-14 09:04:46
4.05MB
1
1. MINOS简介
2. MINOS架构原理介绍
4. 使用MINOS布署机群
5. MINOS Future
2022-08-11 19:51:12
5.57MB
1
hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。
2022-08-11 14:05:44
121MB
1