基于HBase和Spark构建企业级数据处理平台.zip

Spark机器学习

spark-2.4.6-bin-hadoop2.7.tgz,可以下载

spark--bin-hadoop2-without-hive.tgz

spark 机器学习使用的例子数据，sample_libsvm_data.txt

今天在intellij调试spark的时候感觉每次有新的一段代码，都要重新跑一遍，如果用spark-shell，感觉也不是特别方便，如果能像python那样，使用jupyter notebook进行编程就很方便了，同时也适合代码展示，网上查了一下，试了一下，碰到了很多坑，有些是旧的版本，还有些是版本不同导致错误，这里就记录下来安装的过程。 1.运行环境 硬件：Mac 事先装好：Jupyter notebook，spark2.1.0，scala 2.11.8 (这个版本很重要，关系到后面的安装） 2.安装 2.1.scala kernel 从github下载 git clone https:/

hive-on-spark客户端

hadoop是3.1.3，centOS8下测试通过

内容包括 1、用户访问sesssion的实时分析和根据不同条件进行过滤 2、根据用户的点击次数，下单次数，支付次数进行二次排序 3、将结果实现存入数据库，并用echart进行展示

整体系统架构和软件栈，怎样利用和改进Spark来形成最终方案。 如何搭建快速强大的特征衍生，选择和转化流程（Pipeline）。我们会在细节方面展示真实数据所带来的挑战和我们开发的采样，填充，缩放和其他领域专用的特征转换模块。我们正在将其中的许多内容贡献给Spark社区。 深入分析我们使用的算法怎样解决数据的不平衡性及与其他算法的对比结果。 在实现过程中累积的其他开发经验