Spark集群及开发环境搭建,适合初学者,一步一步并配有截图。
目录
一、 软件及下载 2
二、 集群环境信息 2
三、 机器安装 2
1. 安装虚拟机VirtualBox 2
2. 安装CentOs7 2
四、 基础环境搭建(hadoop用户下) 6
1. 机器名HostName 6
2. 关闭防火墙 6
3. 系统更新及常用工具安装 7
4. IP配置 8
5. JDK安装 8
五、 Hadoop安装及配置 9
1. 安装 9
2. 配置 10
六、 机器集群搭建 12
1. 复制机器 13
2. 设置静态IP 13
3. 设置机器名hostname 14
4. ssh免密登录 14
5. hadoop集群测试 16
七、 Spark & Scala 集群安装 18
1. scala安装 18
2. spark安装 19
3. 测试spark集群 20
八、 Scala开发 20
1、插件下载 20
2、插件安装 21
3、scala开发 22
4、程序执行 22
1