首先我们看下阿里巴巴Aliware团队对企业中台的定义。即企业中台是由业务中台和数据中台构建起数据闭环的运营体系,实现以数字化资产的形态构建企业核心差异化竞争力。从数据采集传输，到数据存储，再到数据计算&查询，到后续的数据可视化及分析

一、实验目的 1. 通过实验掌握基本的Flink编程方法。 2. 掌握用IntelliJ IDEA工具编写Flink程序的方法。 二、实验内容和要求 1. Ubuntu18.04（或Ubuntu16.04）。 2. IntelliJ IDEA。 3. Flink1.9.1。 三、实验步骤（每个步骤下均需有运行截图） 1．使用IntelliJ IDEA工具开发WordCount程序 在Linux系统中安装IntelliJ IDEA，然后使用IntelliJ IDEA工具开发WordCount程序，并打包成JAR文件，提交到Flink中运行。 在本次实验中，主要是学习掌握基本的Flink编程方法编写Flink程序的方法以及对大数据的基础编程技能进行巩固。并且还学习了Flink的基本原理和运行机制，还通过具体的代码实现，了解到Flink程序的编写步骤和注意事项。此外，还学会了如何使用IntelliJ IDEA工具进行Flink程序的编写和调试，加深了对开发工具的了解。

2022年智慧化工厂安全监管监测大数据平台建设方案-智慧化工园区安监大数据平台建设方案完整版.pptx

随着大数据技术的发展,各大中型企业陆续建立起自己的大数据平台,依托大数据平台的海量数据存储处理能力和数据分析能力,研发各种大数据应用,但大数据平台与传统信息系统有着较大差异,需要对以往的运维体系进行调整,才能更好的适应大数据平台的运维需求.本文分析大数据平台运维体系工作,对比与传统信息系统的运维差异,关注大数据平台运维管理中的重点,为运维团队构建提出建议

基于Hadoop的MapReduce并行apriori算法，实验设计在3台虚拟机上，搭建步骤：（1） 虚拟机上安装ubuntu系统，安装JDK、SSH、Hadoop。 （2） 配置JDK、Hadoop环境变量及MapReduce组件。 （3） 配置SSH免密登录。 （4） 使用hadoop namenode -format命令格式化NameNode，使用start-all.sh命令启动所有Hadoop进程。 （5） 在各节点命令行输入jps检查是否启动成功，若成功，使用wordcount示例进行测试，Hadoop平台搭建完成。 （6） 将数据集从本地传输到HDFS上，使用hadoop jar命令，输入驱动类规定参数，使用Apriori.jar包，运行AprioriDriver驱动类，实现算法效果。 （7） 运行结束使用hadoop fs -cat /output命令查看结果。

2022年智慧小镇特色小镇产业大数据建设综合解决方案.pptx

力窃漏电用户自动识别 1.背景与数据分析目的 a.通过电力系统采集到的数据，提取出窃漏电用户的关键特征， b.构建窃漏电用户的识别模型:以实现自动检查、判断用户是否是存在窃漏电行为。 2.数据预处理 通过对拿到的数据进行数据质量分析，检查原始数据中存在的脏数据，通过查看原始数据中抽取的数据，发现存在数据缺失的现象，使用朗格拉日插值法：选取缺失值前5个数据作为前参考组，缺失值后5个数据作为后参考组，处理缺失值程序. 3.挖掘建模 从专家样本中随机选取20%作为测试样本，剩下的80%作为训练样本，初步选择常用的分类预测模型：CART决策树和LM神经网络。 3.1 构建CART决策树模型 3.2 LM神经网络模型 3.3 CART和LM模型对比 结论：LM神经网络的ROC曲线比CART决策树更加靠近单位方形的左上角且LM神经网络的ROC曲线下的面积更大，则LM神经网络预测模型的分类性能更好，更适合应用于窃漏电用户自动识别当中。 将处理后的数据作为模型输入数据，利用构建好的模型（位于工程的tmp中）计算用户的窃漏电结果，并与实际调查结果做对比，对模型进行优化，进一步提高识别准确率。 ——

1.# 基于docker技术搭建Hadoop与MapReduce分布式环境 2.# 基于hadoop与MapReduce的分布式编程 3.# HDFS基本操作实验 4.# 使用docker构建spark运行环境 5.# 使用mllib完成mnist手写识别任务

若是你有几百万数据的一个文本，想把数据分割成每个1000条，若是人工手动分割的话。那可是累的够呛，有了这个批处理小程序，几分钟就可以搞定了，，

#用户消费行为预测比赛代码 第二届中国大数据技术创新大赛 电商赛题-用户消费行为预测 包含比赛用到的所有代码。