NCDC天气数据集Hadoop MapReduce猪蜂巢 国家气候数据中心(NCDC)是世界上最大的实时气象数据存档。 我下载了1930年的NCDC数据并将其加载到HDFS系统中。 我实现了MapReduce程序和Pig,Hove脚本,以找到不同站点的Min,Max,avg温度。 编译了Java文件:javac -classpath /home/student3/hadoop-common-2.6.1.jar:/home/student3/hadoop-mapreduce-client-core-2.6.1.jar:/home/student3/commons-cli -2.0.jar -d MaxTemperature.java MaxTemperatureMapper.java MaxTemperatureReducer.java 创建了JAR文件:jar -cvf hadoop-
2022-12-03 21:57:08 46KB Java
1
自述文件 该项目基于Hadoop和Hive。 如果您尚未设置它们,请参考以下说明: & 。 您可以从下载我们的测试数据。 README.txt具有有关其数据属性的非常详细的说明。 在wirteup中也有描述。 请将给定数据集中的::替换为 (这是一个标签)。 只要使其更容易处理即可。 请将目录更改为刚刚下载的数据文件。 对我来说是$cd ~/ml-1m 请启动hadoop,这是Hive运行的先决条件。 输入命令$hive -f extract.q 。 将出现目录“结果”。 它存储我们要使用的数据。 我们已经在源文件中提供了这样提取的数据,称为new_data.txt 。 在HDFS上创建文件夹,我们将数据放入文件夹: $ hadoop fs -makedir /hadoop 将数据放在HDFS上: $ hadoop -fs copyFromLocal /directory of
2022-12-02 20:42:13 84.58MB Java
1
本系统主要设计完成两件工作,一是搭建分布式的hadoop的集群环境,二是基于分布式的集群环境做日志分析。详细介绍参考:https://blog.csdn.net/newlw/article/details/127332767
2022-11-30 14:25:46 1.25MB hadoop hive 数据处理 电影数据分析
大数据Hadoop第八章hive
2022-11-28 21:22:17 7.07MB 大数据
1
datagrip连hive连不上,用这个驱动可以连上
2022-11-24 19:26:01 15.79MB hive DataGrip
1
安装环境配置,使用案例等
2022-11-24 16:22:45 577KB 大数据 hadoop hive
1
Hive编程指南_PDF_中文高清版.pdf
2022-11-22 17:01:54 26.8MB Hive编程指南 PDF 中文高清版
1
pdf文件讲述hive实现原理,图文并茂。
2022-11-21 20:58:30 3.21MB hive hadoop hbase mapreduce
1
hive-mysqlhive-mysql
2022-11-21 18:25:45 581.83MB hive
1
HiveJDBC41.jar
2022-11-21 18:25:44 14.87MB hive clouder
1