Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。
Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。
尽管创建 Spark 是为了支持分布式数据集上的迭代作业，但是实际上它是对 Hadoop 的补充，可以在 Hadoop 文件系统中并行运行。通过名为 Mesos 的第三方集群框架可以支持此行为。Spark 由加州大学伯克利分校 AMP 实验室 (Algorithms, Machines, and People Lab) 开发，可用来构建大型的、低延迟的数据分析应用程序。
2021-09-27 12:19:07
4.55MB
1
用户画像是精准营销和个性化应用的前提，门户或者业务平台可以查询客户画像标签，提供用户的喜爱偏好及业务特征偏好支撑个性化服务支撑、精确营销支撑和融合营销支撑。
2021-09-23 15:02:00
2.52MB
1
提供Hadoop、HBase、Hive、Spark、Storm等大数据集群实验环境和快速搭建服务
从入门到实战，帮助用户构建大数据课程和实训体系
2021-09-17 16:27:24
81.75MB
1
1、 load data local inpath '/input/files/tb.txt' overwrite into table tb;
LOCAL ，就是从HDFS加载
OVERWRITE意味着，数据表已经存在的数据将被删除。省略OVERWRITE，数据文件将会添加到原有数据列表里
2 、hive –e 执行hql语句
-i 初始化参数，多用于加载UDF
-f 执行hql文件，因为无法传参数，所以项目中基本不用
2021-09-14 18:08:03
507KB
1
能独立熟练完成Hadoop的安装及熟悉Hadoop的配置与管理
熟练地在Hadoop和操作系统以及关系型数据库之前传递数据
能独立制定数据集成方案
熟练地向Hadoop提交作业以及查询作业运行情况
了解Map-Reduce原理，能书写Map-Reduce程序
了解HDFS原理，能熟练地对HDFS中的文件进行管理
能独立完成pig的安装并且利用pig做简单的数据分析工作
能独立完成Hbase的安装和配置
了解Hbase的原理并能进行简单的shell操作
能独立完成Hive的安装和配置
了解Hive的原理及进行HiveQL操作
2021-09-06 17:19:02
1.17MB
能独立熟练完成Hadoop的安装及熟悉Hadoop的配置与管理
熟练地在Hadoop和操作系统以及关系型数据库之前传递数据
能独立制定数据集成方案
熟练地向Hadoop提交作业以及查询作业运行情况
了解Map-Reduce原理，能书写Map-Reduce程序
了解HDFS原理，能熟练地对HDFS中的文件进行管理
能独立完成pig的安装并且利用pig做简单的数据分析工作
能独立完成Hbase的安装和配置
了解Hbase的原理并能进行简单的shell操作
能独立完成Hive的安装和配置
了解Hive的原理及进行HiveQL操作
2021-09-06 17:18:59
711KB
能独立熟练完成Hadoop的安装及熟悉Hadoop的配置与管理
熟练地在Hadoop和操作系统以及关系型数据库之前传递数据
能独立制定数据集成方案
熟练地向Hadoop提交作业以及查询作业运行情况
了解Map-Reduce原理，能书写Map-Reduce程序
了解HDFS原理，能熟练地对HDFS中的文件进行管理
能独立完成pig的安装并且利用pig做简单的数据分析工作
能独立完成Hbase的安装和配置
了解Hbase的原理并能进行简单的shell操作
能独立完成Hive的安装和配置
了解Hive的原理及进行HiveQL操作
2021-09-06 17:18:59
501KB