yarn-auditlog-parser
Yarn的hdfs-audit.log的日志文件解析,从ip,用户名,时间段维度对hdfs的qps量进行统计
原理介绍
此工具用于分析hdfs-audit日志文件中的hdfs请求,比如下面是一条完整的记录
2015-09-09 05:29:54,727 INFO FSNamesystem.audit: allowed=true ugi=data (auth:SIMPLE) ip=/192.128.10.15 cmd=open
src=/user/data/.staging/job_1441718170682_2949/job.jar dst=null perm=null proto=rpc
解析程序主要抽取出其中的时间,ugi用户信息,ip地址信息,cmd操作命令信息,然后进行各个维度统计.
下面是几种使用方法
1.用户分时段统计
java -j
2022-01-28 10:10:05
7KB
Java
1