一、实验目的 1. 通过实验掌握基本的Flink编程方法。 2. 掌握用IntelliJ IDEA工具编写Flink程序的方法。 二、实验内容和要求 1. Ubuntu18.04（或Ubuntu16.04）。 2. IntelliJ IDEA。 3. Flink1.9.1。 三、实验步骤（每个步骤下均需有运行截图） 1．使用IntelliJ IDEA工具开发WordCount程序 在Linux系统中安装IntelliJ IDEA，然后使用IntelliJ IDEA工具开发WordCount程序，并打包成JAR文件，提交到Flink中运行。 在本次实验中，主要是学习掌握基本的Flink编程方法编写Flink程序的方法以及对大数据的基础编程技能进行巩固。并且还学习了Flink的基本原理和运行机制，还通过具体的代码实现，了解到Flink程序的编写步骤和注意事项。此外，还学会了如何使用IntelliJ IDEA工具进行Flink程序的编写和调试，加深了对开发工具的了解。

2022年智慧化工厂安全监管监测大数据平台建设方案-智慧化工园区安监大数据平台建设方案完整版.pptx

随着大数据技术的发展,各大中型企业陆续建立起自己的大数据平台,依托大数据平台的海量数据存储处理能力和数据分析能力,研发各种大数据应用,但大数据平台与传统信息系统有着较大差异,需要对以往的运维体系进行调整,才能更好的适应大数据平台的运维需求.本文分析大数据平台运维体系工作,对比与传统信息系统的运维差异,关注大数据平台运维管理中的重点,为运维团队构建提出建议

基于Hadoop的MapReduce并行apriori算法，实验设计在3台虚拟机上，搭建步骤：（1） 虚拟机上安装ubuntu系统，安装JDK、SSH、Hadoop。 （2） 配置JDK、Hadoop环境变量及MapReduce组件。 （3） 配置SSH免密登录。 （4） 使用hadoop namenode -format命令格式化NameNode，使用start-all.sh命令启动所有Hadoop进程。 （5） 在各节点命令行输入jps检查是否启动成功，若成功，使用wordcount示例进行测试，Hadoop平台搭建完成。 （6） 将数据集从本地传输到HDFS上，使用hadoop jar命令，输入驱动类规定参数，使用Apriori.jar包，运行AprioriDriver驱动类，实现算法效果。 （7） 运行结束使用hadoop fs -cat /output命令查看结果。

2022年智慧小镇特色小镇产业大数据建设综合解决方案.pptx

力窃漏电用户自动识别 1.背景与数据分析目的 a.通过电力系统采集到的数据，提取出窃漏电用户的关键特征， b.构建窃漏电用户的识别模型:以实现自动检查、判断用户是否是存在窃漏电行为。 2.数据预处理 通过对拿到的数据进行数据质量分析，检查原始数据中存在的脏数据，通过查看原始数据中抽取的数据，发现存在数据缺失的现象，使用朗格拉日插值法：选取缺失值前5个数据作为前参考组，缺失值后5个数据作为后参考组，处理缺失值程序. 3.挖掘建模 从专家样本中随机选取20%作为测试样本，剩下的80%作为训练样本，初步选择常用的分类预测模型：CART决策树和LM神经网络。 3.1 构建CART决策树模型 3.2 LM神经网络模型 3.3 CART和LM模型对比 结论：LM神经网络的ROC曲线比CART决策树更加靠近单位方形的左上角且LM神经网络的ROC曲线下的面积更大，则LM神经网络预测模型的分类性能更好，更适合应用于窃漏电用户自动识别当中。 将处理后的数据作为模型输入数据，利用构建好的模型（位于工程的tmp中）计算用户的窃漏电结果，并与实际调查结果做对比，对模型进行优化，进一步提高识别准确率。 ——

1.# 基于docker技术搭建Hadoop与MapReduce分布式环境 2.# 基于hadoop与MapReduce的分布式编程 3.# HDFS基本操作实验 4.# 使用docker构建spark运行环境 5.# 使用mllib完成mnist手写识别任务

若是你有几百万数据的一个文本，想把数据分割成每个1000条，若是人工手动分割的话。那可是累的够呛，有了这个批处理小程序，几分钟就可以搞定了，，

#用户消费行为预测比赛代码 第二届中国大数据技术创新大赛 电商赛题-用户消费行为预测 包含比赛用到的所有代码。

基于大数据反电信诈骗管理系统是一个高级的Python项目，旨在通过分析海量通信数据来识别和预防电信诈骗活动。该系统结合了大数据分析、自然语言处理（NLP）、机器学习等技术，以提高检测诈骗电话和短信的准确性。 主要功能可能包括： 1. **实时监控与分析**：系统能够实时收集并分析通话记录和短信内容，使用预定义的规则和模式识别潜在的诈骗行为。 2. **智能报告系统**：生成关于可疑通信行为的报告，包括时间、频率、通信双方等信息，供进一步分析和调查。 3. **用户反馈机制**：允许用户标记和报告诈骗电话或短信，系统据此更新诈骗数据库和检测规则。 4. **风险评估模型**：构建风险评估模型，根据历史数据和行为模式预测单个电话号码或短信的诈骗概率。 5. **教育和预防措施**：提供教育用户的模块，普及如何识别和防范电信诈骗的知识。 6. **接口友好的管理平台**：提供一个易于使用的Web界面，让管理人员可以轻松地查看分析结果、管理报告和调整系统设置。 技术栈通常涉及： - Python编程语言：作为主要的后端逻辑和数据处理工具。 - 数据库技术：如MySQL、PostgreSQL或MongoDB，用于存储通信日志和诈骗数据库。 - 前端技术：HTML, CSS, JavaScript以及框架（如React或Vue.js），用于构建用户界面。 - 机器学习库：如scikit-learn或TensorFlow，用于构建和训练诈骗检测模型。 - NLP工具：如NLTK或Spacy，用于分析短信内容和识别诈骗语言模式。 部署方式可能包括： - 本地部署：在内部网络中配置环境运行系统，确保数据安全性。 - 云服务部署：利用云服务提供商的可扩展性和高可用性优势进行托管。 该系统对于提高公众对电信诈骗的防范意识、减少诈骗成功率具有重要作用。同时，它为电信运营商、安全机构和金融机构提供了一个强有力的工具来保护其客户不受诈骗活动的侵害。通过大数据分析和机器学习，系统能够不断学习和适应新的诈骗手段，从而持续提升防护能力。