一、实验目的 1. 通过实验掌握基本的Flink编程方法。 2. 掌握用IntelliJ IDEA工具编写Flink程序的方法。 二、实验内容和要求 1. Ubuntu18.04（或Ubuntu16.04）。 2. IntelliJ IDEA。 3. Flink1.9.1。 三、实验步骤（每个步骤下均需有运行截图） 1．使用IntelliJ IDEA工具开发WordCount程序 在Linux系统中安装IntelliJ IDEA，然后使用IntelliJ IDEA工具开发WordCount程序，并打包成JAR文件，提交到Flink中运行。 在本次实验中，主要是学习掌握基本的Flink编程方法编写Flink程序的方法以及对大数据的基础编程技能进行巩固。并且还学习了Flink的基本原理和运行机制，还通过具体的代码实现，了解到Flink程序的编写步骤和注意事项。此外，还学会了如何使用IntelliJ IDEA工具进行Flink程序的编写和调试，加深了对开发工具的了解。

2022年智慧化工厂安全监管监测大数据平台建设方案-智慧化工园区安监大数据平台建设方案完整版.pptx

随着大数据技术的发展,各大中型企业陆续建立起自己的大数据平台,依托大数据平台的海量数据存储处理能力和数据分析能力,研发各种大数据应用,但大数据平台与传统信息系统有着较大差异,需要对以往的运维体系进行调整,才能更好的适应大数据平台的运维需求.本文分析大数据平台运维体系工作,对比与传统信息系统的运维差异,关注大数据平台运维管理中的重点,为运维团队构建提出建议

基于Hadoop的MapReduce并行apriori算法，实验设计在3台虚拟机上，搭建步骤：（1） 虚拟机上安装ubuntu系统，安装JDK、SSH、Hadoop。 （2） 配置JDK、Hadoop环境变量及MapReduce组件。 （3） 配置SSH免密登录。 （4） 使用hadoop namenode -format命令格式化NameNode，使用start-all.sh命令启动所有Hadoop进程。 （5） 在各节点命令行输入jps检查是否启动成功，若成功，使用wordcount示例进行测试，Hadoop平台搭建完成。 （6） 将数据集从本地传输到HDFS上，使用hadoop jar命令，输入驱动类规定参数，使用Apriori.jar包，运行AprioriDriver驱动类，实现算法效果。 （7） 运行结束使用hadoop fs -cat /output命令查看结果。

本系统设计的是一个智慧医疗系统的网站，此网站让用户实现了足不出户就可以在电脑前进行网上查看智慧医疗信息。不需要亲临现场就可以在网站上进行操作。 1. 用户注册 在用户注册页面通过填写账号、密码、姓名、手机、等信息完成用户注册。在个人中心页面通过填写账号、密码、姓名、性别、手机、邮箱、图片等内容进行信息更新操作，还可以对我的收藏进行详细操作。 2. 用户后台管理模块 用户登录进入智慧医疗系统后台可以查看首页、个人中心、医师信息和我的预约管理、我的收藏管理、药品商城、购物车等内容进行详细操作。 3. 首页 首页包含了横向手风琴导航菜单和轮播图，最受欢迎的医院和医师，以及时事热点的医院要闻。 4. 个人中心 在个人中心页面可以查看自己的电子健康卡和对账号、姓名、性别、手机、邮箱、照片等信息进行详情，修改或删除等操作。 5. 医师信息 在医师信息页面可以对医师、图片等信息进行详情、收藏、查询、预约等操作。 6. 我的预约 用户可以查看自己预约的医生，可以做查询和删除操作。 7. 药品商城 用户可以在平台上查询、查看药品的文字信息介绍、图片信息和在线购买药品。 8. 购物车 用户可以在.....

2022年智慧小镇特色小镇产业大数据建设综合解决方案.pptx

力窃漏电用户自动识别 1.背景与数据分析目的 a.通过电力系统采集到的数据，提取出窃漏电用户的关键特征， b.构建窃漏电用户的识别模型:以实现自动检查、判断用户是否是存在窃漏电行为。 2.数据预处理 通过对拿到的数据进行数据质量分析，检查原始数据中存在的脏数据，通过查看原始数据中抽取的数据，发现存在数据缺失的现象，使用朗格拉日插值法：选取缺失值前5个数据作为前参考组，缺失值后5个数据作为后参考组，处理缺失值程序. 3.挖掘建模 从专家样本中随机选取20%作为测试样本，剩下的80%作为训练样本，初步选择常用的分类预测模型：CART决策树和LM神经网络。 3.1 构建CART决策树模型 3.2 LM神经网络模型 3.3 CART和LM模型对比 结论：LM神经网络的ROC曲线比CART决策树更加靠近单位方形的左上角且LM神经网络的ROC曲线下的面积更大，则LM神经网络预测模型的分类性能更好，更适合应用于窃漏电用户自动识别当中。 将处理后的数据作为模型输入数据，利用构建好的模型（位于工程的tmp中）计算用户的窃漏电结果，并与实际调查结果做对比，对模型进行优化，进一步提高识别准确率。 ——

1.# 基于docker技术搭建Hadoop与MapReduce分布式环境 2.# 基于hadoop与MapReduce的分布式编程 3.# HDFS基本操作实验 4.# 使用docker构建spark运行环境 5.# 使用mllib完成mnist手写识别任务

若是你有几百万数据的一个文本，想把数据分割成每个1000条，若是人工手动分割的话。那可是累的够呛，有了这个批处理小程序，几分钟就可以搞定了，，

#用户消费行为预测比赛代码 第二届中国大数据技术创新大赛 电商赛题-用户消费行为预测 包含比赛用到的所有代码。