Hadoop_MapReduce
使用Hadoop进行大数据处理
该项目在Hadoop框架上使用Map-Reduce从零开始实现基本的文本处理任务，例如字数，n元语法，倒排索引，关系连接和k近邻算法。
2022-05-16 15:26:00
8.21MB
1
资源名称：大数据处理系统：Hadoop源代码情景分析内容简介：Hadoop是目前重要的一种开源的大数据处理平台，读懂Hadoop的源代码，深入理解其各种机理，对于掌握大数据处理的技术有着显而易见的重要性。 本书从大数据处理的原理开始，讲到Hadoop的由来，进而讲述对于代码的研究方法，然后以Hadoop作为样本，较为详尽地逐一分析大数据处理平台各核心组成部分的代码，并从宏观上讲述这些部分的联系和作
资源太大，传百度网盘了，链接在附件中，有需要的同学自取。
2022-04-25 09:28:37
127B
1
项目背景：太阳能具有波动性和间歇性的特性，太阳能电站的输出功率受光伏板本体性能、气象条件、运行工况等多种因素影响，具有很强的随机性，由此带来的大规模并网困境严重制约着光伏发电的发展。
在分析光伏发电原理的基础上，论证了辐照度、光伏板工作温度等影响光伏输出功率的因素，通过实时监测的光伏板运行状态参数和气象参数建立预测模型，预估光伏电站瞬时发电量，根据光伏电站DCS系统提供的实际发电量数据进行对比分析，验证模型的实际应用价值。
使用的模型方法：通过特征工程的方法，建立新的字段集，如设定峰值、日前间隔、特征多项式等，最后通过建立Xgboost,Lstm以及lightgbm的模型来完成预测的任务，最终获得该大数据挖掘竞赛的二等奖。
2022-04-17 12:05:51
1.82MB