spark+hadoop大数据处理学习笔记

Hadoop大数据开发案例教程与项目实战

在搭建完hadoop大数据系统（CDH5.16.1）后，如何访问hdfs文件系统上的数据呢？那当然是通过构建maven项目 使用java api接口进行文件了。为此，特别进行了hdfs文件系统java api访问的整理。

Hive调优全方位指南，总结了25条关于Hive调优的经验，对于大数据及hive工程师是不可多得的资源。

七月在线七月在线## Note, this file is written by cloud-init on first boot of an instance

HDFS,HBase,Hive,Zookeep,Yarn,HadoopLoader,Storm,Kafka,Spark等命令实例，系统全面。

hadoop-3.3.4源码包

使用MongoDB，Hadoop大数据和Spring技术开发电子商务应用程序 该电子商务项目展示了如何使用MongoDB，Hadoop大数据和Spring技术来开发电子商务应用程序。 该应用程序包括几个基本的电子商务组件：“产品目录”组件，“库存管理”组件和“产品类别”组件。 分片的MongoDB集群为产品目录数据，产品库存数据和其他应用程序数据提供存储。 应用程序域模型基于MongoDB POJO类构建。 建立了一个包含100000多种产品的示例数据库，以支持E-Commerce应用程序。 Hadoop大数据技术用于自动发现电子商务应用程序中数据的用户见解。 Hadoop集成主要通过开发Map / Reduce作业来实现。 已开发的Map / Reduce作业在MongoDB和Ubuntu平台上运行。 Spring和Spring Boot技术用于为电子商务应用程序提供系统集成平台。

【实验一】Ubuntu/Centos通用的hadoop集群搭建实验（来自OUC） 具体内容和步骤： 1. 成功创建Linux的虚拟机操作系统(Ubuntu或Centos)作为namenode，并设置好虚拟网卡、使用net方式使虚拟机可以访问互联网。 2. 完成虚拟机vim、net等工具的安装(最小安装的需要)、Hadoop环境变量的配置和安装。 3. 完成对namenode的链接克隆生成两台datanode，并设置好datanode的IP地址，确保其可以访问互联网。 4. 实现三台虚拟机两两之间的ssh无密登录。 5. 成功启动集群，且可通过jps命令查看各个虚拟机上活跃的节点（与实验要求一致），并可以正常访问对应的web页面。 以上实验要求均完美实现，且对每一步操作做了详细的截图和文字记录，细致入微。

本文详细介绍了在虚拟机中Hadoop安装与配置。文中介绍了Linux的基本命令，静态 IP 地址的配置、主机名和域名映射的修改、防火墙的关闭与打开；在 Linux 环境下 Java和Hadoop的安装、相关环境变量的配置、基本命令的使用；为何需要配置 SSH 免密登录，掌握 Linux 环境下 SSH 的安装、免密登录的配置；在 Linux 环境下如何部署全分布模式 Hadoop 集群。 实验的软硬件环境包括 PC、VMware Workstation Pro、CentOS7 安装包、Oracle JDK1.8.0_144安装包、Hadoop-2.7.2 安装包。 本文主要面对学习Hadoop的在校大学生以及社会上的学习者，本文用保姆级别的详细步骤带给读者极致的学习体验。