贝克找房网站爬取的二手房数据信息，该数据用于Hadoop综合项目的数据分析。主要利用MapReduce、Hive对爬取的数据统计分析，并进行数据可视化。

大数据学习：Hive数据定义语言.pdf

大数据学习：Hive数据操作语言.pdf

大数据学习：Hive数据查询语言.pdf

大数据学习：Hive函数.pdf

大数据学习：Hive简介

大数据学习：Hive部署.pdf

hive连接数据库必备，hive开发必备 hive连接驱动大集合

NCDC天气数据集Hadoop MapReduce猪蜂巢 国家气候数据中心（NCDC）是世界上最大的实时气象数据存档。 我下载了1930年的NCDC数据并将其加载到HDFS系统中。 我实现了MapReduce程序和Pig，Hove脚本，以找到不同站点的Min，Max，avg温度。 编译了Java文件：javac -classpath /home/student3/hadoop-common-2.6.1.jar:/home/student3/hadoop-mapreduce-client-core-2.6.1.jar:/home/student3/commons-cli -2.0.jar -d MaxTemperature.java MaxTemperatureMapper.java MaxTemperatureReducer.java 创建了JAR文件：jar -cvf hadoop-

自述文件 该项目基于Hadoop和Hive。 如果您尚未设置它们，请参考以下说明： ＆ 。 您可以从下载我们的测试数据。 README.txt具有有关其数据属性的非常详细的说明。 在wirteup中也有描述。 请将给定数据集中的::替换为 （这是一个标签）。 只要使其更容易处理即可。 请将目录更改为刚刚下载的数据文件。 对我来说是$cd ~/ml-1m 请启动hadoop，这是Hive运行的先决条件。 输入命令$hive -f extract.q 。 将出现目录“结果”。 它存储我们要使用的数据。 我们已经在源文件中提供了这样提取的数据，称为new_data.txt 。 在HDFS上创建文件夹，我们将数据放入文件夹： $ hadoop fs -makedir /hadoop 将数据放在HDFS上： $ hadoop -fs copyFromLocal /directory of