【实验一】Ubuntu/Centos通用的hadoop集群搭建实验(来自OUC) 具体内容和步骤: 1. 成功创建Linux的虚拟机操作系统(Ubuntu或Centos)作为namenode,并设置好虚拟网卡、使用net方式使虚拟机可以访问互联网。 2. 完成虚拟机vim、net等工具的安装(最小安装的需要)、Hadoop环境变量的配置和安装。 3. 完成对namenode的链接克隆生成两台datanode,并设置好datanode的IP地址,确保其可以访问互联网。 4. 实现三台虚拟机两两之间的ssh无密登录。 5. 成功启动集群,且可通过jps命令查看各个虚拟机上活跃的节点(与实验要求一致),并可以正常访问对应的web页面。 以上实验要求均完美实现,且对每一步操作做了详细的截图和文字记录,细致入微。
2022-11-11 18:28:29 462KB 大数据 Hadoop linux ubuntu
1
上海大数据集群搭建与运维竞赛手册(中职)
1
1.本机虚拟机镜像为ova格式,大小为2.9G,仅限VirtualBox使用,本机无图形界面!请注意! 2.本机为ubuntu16.04服务器版本,无图形化界面,剔除无用冗杂的三方软件,速度更快。 hadoop=3.1.3 jdk=1.8.0_162 hbase=2.2.2 mysql=5.7.3 hive=3.1.2 scala=2.11.12 spark=2.4.0 sbt=1.3.8 flink=1.9.1 maven=3.6.3 建议配合主机的IntelliJ-IDEA的Bigdata拓展工具以及SSH服务进行远程操控使用。 3.本机密码都是“hadoop”。 4.mysql5.7用户名为"root",密码为"hadoop"。 5.使用hadoop集群前,需要根据本地虚拟机的IP地址修改/etc/hosts文件中的host配置。
1
基于VMware虚拟机的大数据分布式集群搭建,并完成集群基础环境的配置,可在此集群上直接安装大数据组件,用于学习、实验
1