Spark streaming应用运行7天之后，自动退出，日志显示token for xxx(用户名): HDFS_DELEGATION_TOKEN owner=xxxx@xxxx.com, renewer=yarn, realUser=, issueDate=1581323654722, maxDate=1581928454722, sequenceNumber=6445344, masterKeyId=1583) is expired, current time: 2020-02-17 16:37:40,567+0800 expected renewal time: 2020-02-17
2022-06-03 18:57:25
37KB
1
概念
MapReduce是hadoop分布式计算框架。
MapReduce意味着在计算过程中实际分为两大步，Map过程和Reduce过程。
下面以一个统计单词次数简单案例为例:
数据源
Map类
import java.io.IOException;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
// 案例：统计每一个单词出现的次数
// KEYIN - 这一行的偏移量 ---
// VALUEIN
2022-06-03 10:18:20
214KB
1
hadoop搭建环境所需要的文档手册，步骤详细
包括相关的依赖包和jdk，适合初学者小白。
也可以通过私信联系我，半价安装
2022-06-03 09:08:27
530.53MB
2022-06-02 18:07:17
41.45MB
1
大数据相关框架学习
本仓库主要存放了一些学习大数据的实战项目代码，项目来源主要来自慕课网
1. 集群搭建
这里面的项目都可以通过搭建单机standalone模式完成整个流程
这学期云计算课程需要使用集群环境，刚好学校有云资源，记录下集群搭建过程
2. 目录结构
hadoop-train
Hadoop基础与电商行为日志分析 新手入门大数据
本课程从Hadoop核心技术入手，以电商项目为依托，带领你从0基础开始上手，逐步掌握大数据核心技术（如：HDFS、YARN、MapReduce以及Hive），并使用这些技术进行实战，最终完成电商行为日志分析项目，让你轻松入门大数据！
项目博客
spark-train, spark-data-visualization
Spark Streaming实时流处理项目实战
本课程从实时数据产生和流向的各个环节出发，通过集成主流的分布式日志收集框架Flume、分布
2022-06-01 16:43:50
5.25MB
1
目录网盘文件永久链接
互联网电商大数据环境 - 1
互联网电商大数据环境 - 2
商业智能与数据仓库基础理论 - 1 - BI的作用
商业智能与数据仓库基础理论 - 2 - BI的构建
商业智能与数据仓库基础理论 - 3 - 数据仓库理论
商业智能与数据仓库基础理论 - 4 - 数据仓库理论
维度建模基础理论 - 1 - 理论
维度建模基础理论 - 2 - 实例
电商大数据一般架构 - 1
电商大数据一般架构 - 2
电商数据平台从零搭建............
2022-06-01 14:06:00
369B
说明：
1. 安装软件版本：
jdk1.8.0_131、apache-zookeeper-3.8.0、hadoop-3.3.2、hbase-2.4.12
mysql5.7.38、mysql jdbc驱动mysql-connector-java-8.0.8-dmr-bin.jar、
apache-hive-3.1.3
2.本文软件均安装在自建的目录/export/server/下 ：sudo mkdir -p /export/server
创建好目录后要改变该目录的属主和属组 ：sudo chown -R ljr:ljr /export
修改目录权限：sudo +771 -R /export
-R 表示递归，即export目录下的所有文件及目录的属组和属组以及权限均跟随着改变
3.集群能正常运行的条件是集群可节点宕机数应保证有超过集群机器总数一半的机器在运行，因此从经济和实用性来说，集群的节点一般是奇数个，本文部署4台机器，其容灾能力与部署3台机器一致，即只能宕机1台
2022-06-01 09:13:54
1.48MB
1