一、实验目的 1. 理解Hive作为数据仓库在Hadoop体系结构中的角色。 2. 熟练使用常用的HiveQL。 二、实验平台 1. 操作系统：Ubuntu18.04（或Ubuntu16.04）。 2. Hadoop版本：3.1.3。 3. Hive版本：3.1.2。 4. JDK版本：1.8。 三、数据集 由《Hive编程指南》(O'Reilly系列，人民邮电出版社)提供，下载地址： https://raw.githubusercontent.com/oreillymedia/programming_hive/master/prog-hive-1st-ed-data.zip 备用下载地址： https://www.cocobolo.top/FileServer/prog-hive-1st-ed-data.zip 解压后可以得到本实验所需的stocks.csv和dividends.csv两个文件。 在大数据处理领域，Hive是一种基于Hadoop的数据仓库工具，它允许用户使用SQL类的语言（称为HiveQL）对大规模数据进行分析和处理。在这个实验中，我们将深入理解Hive的角色以及如何执行基本操作。 Hive在Hadoop生态系统中的角色是作为一个数据仓库接口，它简化了对分布式存储的大数据进行查询和分析的过程。Hive将复杂的MapReduce任务转化为简单的SQL查询，使得非Java背景的分析师也能轻松地处理大数据。 实验平台包括Ubuntu操作系统、Hadoop 3.1.3、Hive 3.1.2和JDK 1.8。这些组件共同构成了一个支持大数据处理的基础架构。 实验主要分为以下几个步骤： 1. 创建内部表`stocks`，它包含了关于股票交易的信息，如交易所、股票代码、交易日期、开盘价、最高价、最低价、收盘价、交易量和调整后的收盘价。内部表的数据存储在HDFS上，由Hive完全管理。 2. 创建一个外部分区表`dividends`，该表用于存储股息信息，包括交易日期、股息金额、交易所和股票代码。分区表的好处在于可以根据分区字段快速定位数据，提高查询效率。 3. 导入数据到`stocks`表，这是通过LOAD DATA命令实现的，将csv文件的数据加载到Hive表中。 4. 创建未分区的外部表`dividends_unpartitioned`，然后从csv文件导入数据。外部表的元数据由Hive管理，但数据本身的位置由用户指定，这使得数据可以独立于Hive存在。 5. 利用Hive的自动分区功能，将`dividends_unpartitioned`表中的数据按特定条件插入到`dividends`的各个分区中，这样可以优化查询性能。 6-10. 这些步骤涉及到各种查询操作，包括： - 查询IBM公司从2000年起的股息支付记录。 - 查询苹果公司2008年10月的涨跌情况。 - 查找收盘价高于开盘价最多的股票记录。 - 查询Apple公司年平均调整后收盘价超过50美元的年份及价格。 - 找出每年年平均调整后收盘价前三的股票代码和价格。 通过这些操作，我们可以熟练掌握HiveQL的基本语法，如CREATE TABLE、LOAD DATA、INSERT INTO、SELECT等，以及如何利用Hive进行数据分区和复杂查询。此外，实验也强调了Hive在大数据分析中的实用性，特别是在处理大量历史交易数据时，能够提供高效的数据查询和分析能力。 实验总结指出，通过实际操作，我们不仅了解了Hive在大数据处理中的核心功能，还掌握了如何利用Hive进行数据导入、查询和分析。这对于理解大数据处理流程，提升数据分析技能，以及在实际工作中应用Hive解决复杂问题具有重要意义。

#Zabbix Hadoop 监控 目录 ##Namenode Zabbix 监控 此脚本可用于监控 Namenode 参数。 该脚本可用于 生成 Zabbix 导入 XML。 将监控数据发送到 Zabbix 服务器。 监控的参数在JSON的索引中，如下所示。 category_to_process = [0, 1, 4, 8, 14, 15, 16, 21, 23, 26, 27, 29] 使用脚本。 步骤 1 - 生成 Zabbix 导入 XML 文件。 我们需要这个文件来在 Zabbix 中创建项目。 我们目前正在创建上面的子类别 [0, 1, 4, 8, 14, 15, 16, 21, 23, 26, 27, 29] 中的项目。 以下是正在监控的类别。 记忆 RpcActivityForPort8020 名称节点活动 操作系统 RpcDetailedActivityFo

一、实验要求 1、学习Hadoop开源云计算平台的安装、配置和应用。实习MapReduce并行计算程序编程。 2、撰写上机实验报告。 二、说明 1、该实验实现了Hadoop的运行环境搭建，包括虚拟机环境准备，安装JDK，安装Hadoop；配置了Hadoop的三种运行模式，包括本地运行模式，伪分布式运行模式，完全分布式运行模式；实现了MapReduce并行计算程序编程，官方自带的WordCount案例。附录记录了CentOS6.8虚拟机的安装及配置。 2、相关软件和安装包已经上传至百度网盘。 链接：https://pan.baidu.com/s/1stoNBwI8-6I0DidrQY-GrA?pwd=59yk 提取码：59yk 3、镜像自行在官网下载即可。

此资源还是hadooponwindows-master，原地址为https://github.com/sardetushar/hadooponwindows/，为了方便上传，我把它换了一个名字，无意修改。 方便观看博客的人能够使用，请谅解。

花了N久时间在win10_x64下编译的hadoop2.7.1版本的hadoop.dll和winutils.exe，ECLIPSE下集成开发使用，供大家下载。(里面两个压缩包，其中一个是winutils-master 从github弄下来参考用的)

hadoop-eclipse-plugin-2.2.0.jar hadoop安装eclipse必备插件，亲测可用，欢迎大家下载，交换下载币，谢谢！

Hadoop集群完整搭建，直接跳过部署Hadoop集群

一．实验内容 Hadoop安装使用： 1）在PC机上以伪分布式模式安装Hadoop； 2）访问Web界面查看Hadoop信息。 二．实验目的 1、熟悉Hadoop的安装流程。 2、熟悉Hadoop访问Web界等基本操作。 ### Hadoop安装及使用知识点详解 #### 一、实验内容概览 本次实验的主要目标是掌握Hadoop在PC机上的安装及使用方法，具体包括： 1. **伪分布式模式下的Hadoop安装**：通过在一台PC机上模拟多台机器的行为来搭建Hadoop集群。 2. **Web界面访问**：安装完成后，通过Web界面监控和管理Hadoop集群的状态。 #### 二、实验目的 1. **熟悉Hadoop安装流程**：从环境准备、软件安装到配置调试，全面了解Hadoop部署的全过程。 2. **掌握基本操作**：学会如何通过Web界面等工具进行集群状态监控和管理。 #### 三、实验过程知识点详解 1. **SSH无密码登录配置**： - **生成SSH密钥对**：使用`ssh-keygen -t rsa`命令生成一对RSA类型的公钥和私钥。这一步骤是为了后续能在没有密码的情况下实现SSH登录。 - **添加公钥至authorized_keys文件**：将生成的公钥文件内容追加到`.ssh/authorized_keys`文件中，实现SSH免密码登录。 2. **Java环境配置**： - **JDK安装**：首先下载JDK压缩包，并将其解压到指定目录。 - **配置环境变量**：通过编辑`~/.bashrc`文件，设置JAVA_HOME等环境变量，并使用`source ~/.bashrc`命令使更改立即生效。 3. **Hadoop的安装与配置**： - **Hadoop安装**：从官方网站下载Hadoop压缩包，并将其解压到`/usr/local`目录下。 - **配置核心文件**：编辑`core-site.xml`、`hdfs-site.xml`、`mapred-site.xml`和`yarn-site.xml`四个配置文件，设置Hadoop的关键参数。 - **格式化HDFS**：使用`hdfs namenode -format`命令格式化Hadoop的NameNode，这是启动集群前的必要步骤。 - **启动Hadoop集群**：通过执行`start-dfs.sh`和`start-yarn.sh`脚本启动Hadoop服务，可通过`jps`命令查看是否成功启动NameNode、DataNode以及SecondaryNameNode进程。 4. **Web界面访问**： - **查看集群状态**：通过浏览器访问`http://localhost:9870`来查看Hadoop集群的Web界面，可以监控集群的状态和性能指标。 #### 四、实验总结及心得体会 **实验总结**： - **虚拟机搭建**：使用virtualBox创建多个虚拟机，模拟多台服务器的环境。 - **JDK安装**：在每个虚拟机上安装JDK，为Hadoop提供必要的运行环境。 - **Hadoop配置**：通过编辑配置文件，完成Hadoop集群的部署和启动。 - **功能测试**：通过简单的程序验证集群的功能性，确认数据能在各节点间正常传输和处理。 **心得体会**： - **虚拟机技术**：熟练掌握了virtualBox等虚拟机软件的使用，提高了在虚拟环境中搭建分布式系统的技能。 - **Hadoop安装过程**：深入了解了Hadoop的安装流程，包括在不同操作系统上的安装配置技巧。 - **分布式系统架构**：通过实验加深了对Hadoop分布式平台架构和组件的理解，为后续大数据项目的实施积累了宝贵经验。 - **Linux技能提升**：在实验过程中，通过编写和执行Shell脚本来管理集群，提高了Linux命令行操作的能力。 - **大数据处理**：对大数据处理有了更深刻的认识，了解了Hadoop在大数据处理中的作用及其发展前景。 通过本次实验，不仅提升了个人技能和理论知识，也为未来的职业发展打下了坚实的基础。

3．1 需求分析 需求分析是任何一个项目开发过程中的一个决定性环节，一份完整好的需求分 析，开发者可以准确的熟悉整个软件或者系统的功能，要求，设计条件等具体要求， 进而确定项目要去完成的具体模块。需求分析对整个开发国政具有决定性，是项目 做好，高质的重要保证。 3.1.1 开发背景及目标 本文的数据来源于校园区域内学生上网搜狗搜索日志，每条日志通常都代表一 个学生的访问行为，本位所使用的数据是搜狗一天内的 500 万条搜索日志记录，其 格式为：访问时间，用户 ID，查询词，该 URL 在返回结果中的排名，点击顺序号， 点击 URl。 其中用户 ID 是根据用户使用浏览器访问搜索引擎的自动复制，同一次使用浏 览器输入的不同查询词对应于同一 ID。五条用户查询记录如表 3.1 所示： 表 3.1 用户查询记录 访问时间 用户 ID 查询词 返回结果 排名 点击顺 序号 点击 URL 2011123000 0005 f31f594bd1f31472 98bd952ba35de84d 傲视千雄 3 1 http://web. 4399.com 2011123000 0017 2ebbc38bf56753b0 9c945de813a443c3 人在囧途 2 1 http://tv.s ogou.com 2011123000 0020 072fa3643c91b29b d586aff29b402161 12306.cn 1 1 http://www. 12306.cn 2011123000 0016 16c3b69cc93e838f 89895b49643cef1d 王小丫 6 1 http://www. 94caobi.com 2011123000 0018 3d1acc7235374d53 1de1ca885df5e711 满江红 2 2 http://www. baidu.com 从上面的这几条日志中，我们可以得到很多有价值的信息，例如搜索者的 ID、 访问的时间、查询的关键词、点击的 URL 等。 毫无疑问，搜狗搜索日志中包含了

hadoop-docker 前言 本项目使用docker-compose在单机上快速构建hadoop进行，方便基于hadoop的开发与测试。 快速启动 1.准备 本地需要提前安装 && 2.创建 hadoop容器将分为主机和从属两个类型，其中master容器中运行namenode和ResourceManager，slave容器中运行datanode和NodeManager。 容器将在../hdfs_data位置存储namenode和datanode hadoop-master容器配置参数 namenode文件夹地址： /root/hdfs/namenode 环境 IMAGE_ROLE 容器类型为从属容器，当IMAGE_ROLE标记为master表示此容器为master容器，根据此标记容器启动时自动执行格式namenod && start-dfs && start-yarn等命令 奴