dolphinscheduler使用hive，hadoop，spark，datax，python，scala修改添加的配置

使用hive，hadoop，spark修改添加的配置

使用hive，hadoop，spark，datax，python，scala修改添加的配置

人工智能-推荐系统-电影推荐-基于Spark ML实现的豆瓣电影推荐系统

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

当前形式的 Spark Core 的开发始于 2013 年 1 月在中国深圳，当时 Spark 参与了 HAXLR8R 硬件加速器。Spark Cloud 的开发始于 2011 年 12 月，作为支持 Spark Socket 的软件基础设施。2013 年 1 月至 5 月期间，Spark Core 和 Cloud 从原型开发为用于构建互联网连接硬件的功能平台。2013 年 5 月 2 日，Spark Core 在众筹平台 Kickstarter 上推出。2013 年 5 月 17 日，该产品的硬件设计文件在 GitHub 上发布，供其他人使用和学习。 包括什么 BOM — Spark Core 最新版本的当前材料清单。包括来自设计文件、组件值、数量和封装类型的零件编号标签。 数据表— Spark 内核中包含的各种组件的数据表，包括 STM32F103CBT6 微控制器和 CC3000 Wi-Fi 模块。 EAGLE — Spark 核心的原理图和电路板文件。我们使用 EAGLE，一个免费增值的 PCB 设计软件包 更多详情、使用方法，请下载后阅读README.md文件

HIVE建表; Mysql同步HIVE; HIVE同步Mysql; HIVE运算；

评分表(ratings.dat)︰用户ID::电影ID::评分::时间戳 用户表(users.dat):用户ID::性别::年龄:.职业代码::邮编 电影表(movies.dat)︰电影ID::名字:类别 注:年龄和职业代码参见READM 1.男女用户的比例 2.每个用户的平均评分中，排名前十和最后十名的用户及其评分分别是多少 3.按性别计算每部电影的平均得分 4.过滤掉评分数据不够250条的电影，按性别计算每部电影的平均得分 5.男女观众分别最喜欢的前10部电影 6.男女观众评分差别最大的10部电影 7.所有观众评分分歧最大的10部电影（电影评分标准差大者，分歧则大)

AdXmpp(Openfire+asmack+spark) Android 源码.zip

大数据时代： 数据量大 数据种类繁多 数据增长速度快 大数据不同层面及技术: 大数据关键技术: 分布式存储 GFS/HDFS BigTable/HBase NoSQL(键值、列族、图形、文档数据库) NewSQL(如 : SQL Azure ) 分布式处理框架: Hadoop Storm Flink Spark hadoop: hadoop是Apache软件基金会旗下的一个开源式计算平台为用户提供了系统底层细节透明的分布式基础架构 Hadoop是java编写的开源、可伸缩和容错的框架，并且可部署在廉价的计算机集群中 hadoop以分布式文件系统HDFS和MapReduce为核心进行海量数据的