【课程实验一:云主机实现大数据】 实验报告中涉及了几个关键知识点,主要涵盖了云服务、ECS配置、SSH互信、JDK安装、Hadoop集群搭建、OBS(Object Storage Service)交互以及Hadoop集群功能测试。以下是这些知识点的详细说明: 1. **华为云ECS购买**: - 自定义云服务器名称是为了方便识别和管理,格式为“姓名+学号+节点序号”,例如“lzy-2018211582-0001”。 2. **ECS配置**: - 使用PuTTY或XShell等工具连接ECS,显示主机名和IP地址,确保远程访问成功。 3. **SSH互信配置**: - SSH互信允许节点间无密码登录,提高自动化操作的便捷性。通过在各个节点上执行ssh命令,配置公钥,使得节点间可以自由跳转。 4. **JDK安装**: - 安装JDK并配置环境变量JAVA_HOME,验证安装成功的方法是执行`java -version`命令,显示对应的Java版本,这里是OpenJDK 1.8.0_232。 5. **Hadoop集群搭建**: - 启动Hadoop集群,包括在node1上启动Namenode,在其他节点上启动Datanode。 - 使用jps命令检查进程,确认各个角色如Namenode、Datanode、NodeManager等正确运行。 - 使用hdfs命令创建目录,如`hdfs dfs -mkdir /bigdata`,并用`hdfs dfs -ls`验证创建成功。 6. **OBS与Hadoop集群互联**: - 在OBS中创建存储桶,如“obs-2018211582”,并上传文件,文件名应包含学号和姓名。 - 使用Hadoop命令检查OBS中的文件,确保上传成功。 7. **Hadoop集群功能测试**: - 通过`wordcount`程序测试集群,输入文件应包含特定内容,例如姓名中英文和重复单词,如“play”。 - `wordcount`程序会统计文件中每个单词的出现次数。 8. **资源释放**: - 实验完成后,必须按照指导释放ECS资源和OBS桶,以避免不必要的费用。 9. **结果分析**: - `hdfs-site.xml`中的`dfs.replication`参数定义了数据块的副本数量,默认为3。设置为3的原因是提高数据可靠性、可用性和网络效率,遵循机架感知策略,一个副本在本地机架,一个在同一机架的另一节点,一个在不同机架的节点,优化了读写性能和数据安全性。 以上就是实验报告中涉及到的全部核心知识点,涵盖了云服务基础、Linux系统管理、分布式计算框架Hadoop的部署和使用。这些知识对于理解和实践大数据处理流程至关重要。
2025-05-08 19:27:39 425KB
1
云计算技术及应用实践
2022-12-03 14:19:25 1.03MB 云计算 计算技术 应用实践
1
蓝色大气云服务商企业HTML5模板_蓝色 企业 大气 商业 动画 按钮 官网 云主机 云空间 企业 网站建设 软件 主机空间 大图 幻灯 菜单 html5 css3 精品 整站.rar
2022-12-02 18:19:31 4.61MB 模板
VNC(Virtual Network Computing),为一种使用RFB协议的显示屏画面分享及远程操作软件。此软件借由网上,可发送键盘与鼠标的动作及即时的显示屏画面。 VNC与操作系统无关,因此可跨平台使用,例如可用Windows连线到某Linux的计算机,反之亦同。甚至在没有安装客户端程序的计算机中,只要有支持JAVA的浏览器,也可使用。
2022-10-03 19:35:18 2.74MB 苹果电脑 GUI 可视化界面 云主机
1
Debian 系统。 based on Debian Buster 10.9, but using a newer, long-term supported Linux kernel 5.4. Optionally, the 5.11 kernel can be installed, providing support for the latest hardware. The 5.4 kernel remains the default on Proxmox VE 6.x series. The latest versions of leading open-source technologies for virtualization like QEMU 5.2, LXC 4.0, and OpenZFS 2.0.4 have been included. The Proxmox maintainers support two versions of Ceph, the massively scalable, distributed storage system, in their v
2022-09-13 17:00:43 885.96MB PVE 云计算 云主机 IaaS
1
09_12_阿里云主机配置_ffmpeg编译09_12_阿里云主机配置_ffmpeg编译09_12_阿里云主机配置_ffmpeg编译09_12_阿里云主机配置_ffmpeg编译09_12_阿里云主机配置_ffmpeg编译09_12_阿里云主机配置_ffmpeg编译09_12_阿里云主机配置_ffmpeg编译09_12_阿里云主机配置_ffmpeg编译09_12_阿里云主机配置_ffmpeg编译09_12_阿里云主机配置_ffmpeg编译09_12_阿里云主机配置_ffmpeg编译09_12_阿里云主机配置_ffmpeg编译09_12_阿里云主机配置_ffmpeg编译09_12_阿里云主机配置_ffmpeg编译09_12_阿里云主机配置_ffmpeg编译09_12_阿里云主机配置_ffmpeg编译09_12_阿里云主机配置_ffmpeg编译09_12_阿里云主机配置_ffmpeg编译09_12_阿里云主机配置_ffmpeg编译09_12_阿里云主机配置_ffmpeg编译09_12_阿里云主机配置_ffmpeg编译09_12_阿里云主机配置_ffmpeg编译09_12_阿里云主机配置_ff
2022-07-01 14:05:46 796.41MB 09_12_阿里云主机配置_ff
主机安全能力发展态势 主机安全关键能力及技术要求 重点行业主机安全能力需求 主机安全能力建设流程
linux 云主机 管理系统,包含 CMDB,webssh登录、命令执行、异步执行shell/python/yml、查看日志等功能
2022-06-08 09:02:17 4.7MB linux python 源码软件 运维