yarn编码，实现Application列表查询，Application的kill操作。以及Job的查询，map和reduce个数查询

入门 要求 纱包 Node.js v8.9.1或更高版本 pm2软件包 数据存储 mongodb 快速开始 取得最新版本 $ git clone https://github.com/xugy0926/community.git $ cd community 运行纱线安装 $ yarn 修改src / config / index.dev.js 三个最重要的配置 mongodb github，获取github登录用的信息请参考 运行开发 $ yarn run dev 部署 如何部署 取得最新版本 $ git clone https://github.com/xugy0926/commun

详细介绍Hadoop Yarn的架构以及如何构建Hadoop Yarn。详解介绍如何进行资源调优。

Yarn 缓存了每个下载过的包，所以再次使用时无需重复下载。 同时利用并行下载以最大化资源利用率，因此安装速度更快。

Spark&Yarn手动安装指南

Flink任务、Spark任务提交到集群，通常需要将可执行Jar上传到集群，手动执行任务提交指令，如果有配套的大数据平台则需要上传Jar，由调度系统进行任务提交。 对开发者来说，本地IDEA调试Flink、Spark任务不涉及对象的序列化及反序列化，任务在本地调试通过后，执行在分布式环境下也可能会出错。 而将任务提交到集群进行调试还要走那些繁琐的流程太影响效率了。 因此，为方便大数据开发人员进行快速开发调试，开发了从本地IDEA提交Flink/Spark任务到集群的工具类。任务提交代码稍加改造后也可以和上层调度系统进行集成，替代脚本模式进行任务提交的方式。 支持Flink yarnPerJob、Standalone 、yarnSession模式下的任务提交。 支持Spark任务以Yarn Cluster模式提交到YARN，支持自动上传用户Jar包，依赖的Spark Jars需要提前上传到H

大数据平台实践 六.HDFS数据迁移和yarn运行任务

yarn-auditlog-parser Yarn的hdfs-audit.log的日志文件解析，从ip,用户名，时间段维度对hdfs的qps量进行统计 原理介绍 此工具用于分析hdfs-audit日志文件中的hdfs请求,比如下面是一条完整的记录 2015-09-09 05:29:54,727 INFO FSNamesystem.audit: allowed=true ugi=data (auth:SIMPLE) ip=/192.128.10.15 cmd=open src=/user/data/.staging/job_1441718170682_2949/job.jar dst=null perm=null proto=rpc 解析程序主要抽取出其中的时间,ugi用户信息,ip地址信息,cmd操作命令信息,然后进行各个维度统计. 下面是几种使用方法 1.用户分时段统计 java -j

hadoop自带的Container-executor在配置yarn-kerberos时存在问题，这边给出编译后的Container-executor，默认加载配置文件路径/etc/container-executor.cfg，大家不用再重新编译了

Hadoop技术内幕深入解析YARN架构设计与实现原理