用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。

大数据hadoop安装伪分布式成熟虚拟机镜像，只需改本地虚拟网卡ip地址为192.168.6.1，网关192.168.6.2即可

基于Hadoop的大数据平台架构建设思虑： 1、数据获得 2、数据汇集和存储 3、数据的管理 4、数据的分析 5、数据的价值：决策支持系统 6、数据的使用

大数据第一次实验上传，hadoop的环境配置确实难搞，配置环境感觉快要比实验花的时间还长了！学艺不精，有不足之处大家可以进行自行完善~

已经配置好拿来即用

Hadoop完全分布式集群安装及配置.docx

Hive是一个基于Hadoop的数据仓库工具，它本身并不存储数据，部署在Hadoop集群上，数据是存储在HDFS上的. Hive所建的表在HDFS上对应的是一个文件夹，表的内容对应的是一个文件。它不仅可以存储大量的数据而且可以对存储的数据进行分析，但它有个缺点就是不能实时的更新数据，无法直接修改和删除数据，如果想要修改数据需要先把数据所在的文件下载下来，修改完之后再上传上去。 Hive也不是分布式计算框架，Hive的核心工作就是把sql语句翻译成MR程序去执行，不用我们再手动去写MapReduce了。 Hive也不提供资源调度系统，默认由Hadoop集群中的YARN集群来调度。 Hive可以将结构化的数据映射为一张数据库表，并提供HQL（HiveSQL）查询功能。

一、 课程的性质 本课程是为大数据技术类相关专业学生开设的课程。随着时代的发展，大数据已经成为一个耳熟能详的词汇。与此同时，针对大数据处理的新技术也在不断的开发和运用中，逐渐成为数据处理挖掘行业广泛使用的主流技术之一。Hadoop作为处理大数据的分布式存储和计算框架，得到了国内外大小型企业广泛的应用。Hadoop是一个可以搭建在廉价服务器上的分布式集群系统架构，它具有可用性高、容错性高和可扩展性高等优点。由于它提供了一个开放式的平台，用户可以在完全不了解底层实现细节的情形下，开发适合自身应用的分布式程序。经过十多年的发展，目前Hadoop已经成长为一个全栈式的大数据技术生态圈，并在事实上成为应用最广泛最具有代表性的大数据技术。因此，学习Hadoop技术是从事大数据行业工作所必不可少的一步。 二、 课程的任务 通过本课程的学习，使学生学会搭建Hadoop完全分布式集群，掌握HDFS的原理和基础操作，掌握MapReduce原理架构、MapReduce程序的编写。为将来从事大数据挖掘研究工作以及后续课程的学习奠定基础。

Hadoop背景及基础核心技术简介，包括mapreduce，HDFS,pig。。。

基于Hadoop大数据平台实现遗传算法并行化，借助于Hadoop中的MapReduce模型，将遗传算法划分为Map和Reduce两个阶段，在Map阶段并行化执行。真正意义上实现了遗传算法的并行化。