在本篇文章，作者将讨论机器学习概念以及如何使用SparkMLlib来进行预测分析。后面将会使用一个例子展示SparkMLlib在机器学习领域的强悍。Spark机器学习API包含两个package：spark.mllib和spark.ml。spark.mllib包含基于弹性数据集（RDD）的原始Spark机器学习API。它提供的机器学习技术有：相关性、分类和回归、协同过滤、聚类和数据降维。spark.ml提供建立在DataFrame的机器学习API，DataFrame是SparkSQL的核心部分。这个包提供开发和管理机器学习管道的功能，可以用来进行特征提取、转换、选择器和机器学习算法，比如分类和
2022-06-13 16:03:22
300KB
1
【目录】
·聚合分析总体架构
·实时数据业务需求
·技术框架选型
·Cassandra简介
·性能测试
·实际应用
2022-06-10 09:09:45
1.14MB
【目录】
大数据时代
阿里巴巴数据事业部
离线大数据处理平台(ODPS)
我们面临的主要问题
ODPS部分功能概览
结语
2022-06-09 19:04:53
2.36MB
【目录】
===海量运维带来的挑战和机会
一大数据时代到来
-挑战
一机会
===如何做好海量运维
-质量
-成本
效率
===海量运维之道
一先抗住再优化
一灰度发布
-更多.
2022-06-09 14:05:53
1007KB
给大家分享一套课程——PySpark大数据处理及机器学习Spark2.3，完整版视频课程下载。提供课件、源码。
本课程主要讲解Spark技术，借助Spark对外提供的Python接口，使用Python语言开发。涉及到Spark内核原理、Spark基础知识及应用、Spark基于DataFrame的Sql应用、机器学习等内容。由浅到深的带大家深入学习大数据领域最火的项目Spark。帮助大家进入大数据领域，抓住大数据浪潮的尾巴。
2022-05-30 14:07:42
536B
1
首先根据处理形式的不同,介绍了不同形式数据的特征和各自的典型应用场景以及相应的代表性处理系 统,总结了大数据处理系统的三大发展趋势;随后,对系统支撑下的大数据分析技术和应用(包括深度学习、知识计 算、社会计算与可视化等)进行了简要综述,总结了各种技术在大数据分析理解过程中的关键作用;最后梳理了大数 据处理和分析面临的数据复杂性、计算复杂性和系统复杂性挑战,并逐一提出了可能的应对之策.
2022-05-24 23:35:51
265KB
1