选题:搜狗日志查询分析 (MapReduce+Hive综合实验) 前提条件: 安装好hadoop2.8.0 安装好HQL 安装好Hive 安装好eclipse 选题要求: 解压数据源,并上传到hdfs,保存的目录以个人学号区分,176为我的学号 创建hive表 编写MapReduce程序实现数据清洗,去掉不满足长度为6,并保证输出数据以 ','分割 将清洗后的数据导入Hive 使用SQL查询搜索结果排名第2点,点击次序排在第1的数据 实验步骤: 思路:用MapReduce做数据清洗,用Hive来分析数据。
2022-07-05 09:10:12 66.92MB hadoop hive mapreduce
1
这是我的一份课程作业,需要事先下载搜狗日志文件。有问题,可以问百度。里面也参考了其他博客主的文章,在最后有相关链接。
2021-05-31 22:05:43 1.47MB Hive 搜狗日志 作业
1
spark搜狗日志数据饭呢西实战源码(搜索结果和点击排名都是第一)
2019-12-21 21:00:23 273KB spark 搜狗日志 分析源码
1
本文利用搜狗搜索日志的500w条数据,对搜索日志进行了一系列的分析。主要分为两个阶段,第一阶段是数据准备、数据预处理和数据加载阶段,第二阶段为分析阶段。利用Hive等工具,完成30页的分析报告。
2019-12-21 19:55:55 1.05MB 搜狗日志分析 Hadoop hive Cloudera
1