基于多计算框架的《云计算与大数据》实验教学平台设计.pdf

鲲鹏云大数据实验实验报告。

本实验项目采用Java编写，项目名称为大数据拼车，严格按照企业要求的标准格式书写，内含源代码

大数据实验代码.zip

实验一 Hadoop环境安装和使用 实验目的: 1、掌握linux系统的安装调试，熟悉linux的用户管理和软件安装相关命令，熟悉linux下软件的使用； 2、掌握Hadoop的安装调试和使用；

大数据实验报告，内含八个实验报告，Hadoop集群伪分布式搭建、Hadoop基本操作、MapReduce程序设计、Zookeeper安装与Hadoop高可用性部署、Hbase数据储存设计、 Sqoop数据迁移实战、Flume数据采集实战、Hive数据分析实战

一、大数据平台的搭建 3 1. 架构设计 6 2 服务器集群的搭建 7 （1）安装Linux操作系统、 14 （2）安装大数据处理框架Hadoop 20 3 工具软件安装 21 （1）安装关系型数据库MySQL 26 （2）安装列族数据库HBase 27 （3）安装Zookeepper 28 （4）安装数据仓库Hive 29 （5）安装Sqoop 32 （6）安装Eclipse 33 二、数据导入 34 1. 数据库、表清单 34 2. 数据对象的定义 37 （1） 创建数据库 39 （2） 创建数据表； 43 3. 数据分析 44 （1） 简单查询分析 45 （2） 查询条数统计分析 46

一、大数据平台的搭建 3 1. 架构设计 6 2 服务器集群的搭建 7 （1）安装Linux操作系统、 14 （2）安装大数据处理框架Hadoop 20 3 工具软件安装 21 （1）安装关系型数据库MySQL 26 （2）安装列族数据库HBase 27 （3）安装Zookeepper 28 （4）安装数据仓库Hive 29 （5）安装Sqoop 32 （6）安装Eclipse 33 二、数据导入 34 1. 数据库、表清单 34 2. 数据对象的定义 37 （1） 创建数据库 39 （2） 创建数据表； 43 3. 数据分析 44 （1） 简单查询分析 45 （2） 查询条数统计分析 46

山东大学大数据课程的实验二。基于hadoop集群系统（也可以在伪分布式系统上运行）系统使用Java编写的倒排索引实现，具有使用停词表功能，使用正则表达式选择规范的单词。代码重构了setup()，map()，combiner()，partitation()和reducer()函数，功能是对文档进行倒排索引，得到一个单词有序，且单词的文件列表同样有序的倒排列表集合。

倒排索引（Inverted Index）被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射，是目前几乎所有支持全文索引的搜索引擎都需要依赖的一个数据结构。资源中包含了MapReduce实现的文档倒排索引的源码、jar包、测试数据（包含停词表）和结果。