LogCollector是一套基于ETL数据分析模型的分布式数据流系统，同时适用于云域内网数据传送和跨云数据传送；同时支持Windows和Linux双系统平台（内置JRE8.X）；同时支持实时传送、离线传送和断点续传；同时支持组件化集成、服务化管理和插件化扩展；同时支持单机单实例、多实例部署以及跨云级别的分布式集群部署，分布式场景下通过过载熔断事务反馈机制来保障各子系统数据一致性，收集器可一键安装部署，自动识别系统环境并完成相应配置，无需任何附加操作，解压开箱即用。该系统框架的功能和性能可直接秒杀ELK、Flume、Kettle等数据流工具，系统框架使用说明参考如下地址： https://blog.csdn.net/lixiang2114/article/details/114239052

大数据处理技术越来越火,云计算平台也如火如荼,二者犹如IT列车的两个车轮,相辅相成,高速发展。如果我们将大数据处理平台比作一个可能会得病的人的话，那么日志分析系统就是给病人诊断的医生。由于集群甚大，几百台机器都是起步价，甚至可能会有上千台、上万台机器同时协作运行。如此大的集群，不可能一点问题都不出,就像一个人不可能不得病一样。如果出现问题，如何快速的找到问题的根源并对症下药，则显得至关重要。在这样的背景下，日志分析和监控系统也犹如雨后春笋，得到了空前的发展。目前，日志分析工具多达数十种，其中应用较多的有Splunk、ELK、AWStats、Graphite、LogAnalyzer、Rsyslo

ELK安装文档 - 副本.doc

IP转地理位置，开发或者elk使用。

记录服务日志

Elasticsearch核心技术与实战 笔记

elastic集群镜像包

一键部署高可用Elasticsearch得以实施 此安装部署程序运行环境要求：Ansible> = 2.5（es部署调度无须安装，只需确保有SSH登录权限） 支持部署的es版本：5.x，6.x，7.x :rocket:快速使用说明 初步：修改配置项 复制或直接修改example.cfg配置文件，填写集群名称， es 版本..等信息。 第二步： ES_HEAP_SIZE配置 根据自身环境配置，修改vars目录下， vars jvm_heap_size名称配置文件的jvm_heap_size大小值至合适大小。 master角色节点修改master.yml文件， mix节点修改mix.yml文件......，文件中其他配置项按需也可以修改。所有相同角色节点使用相同配置。 第三步：一键安装 ansible-playbook -i example.cfg setup.yml -v 第四步：启动实力 安装完毕后进入/home/<部署用户>///elasticsearch elasticsearch目录，内部包含start_elastics

SIAC：SIAC是基于开源技术构建的企业SIEM

在搜索ELK资料的时候，发现这篇文章比较好，于是摘抄一小段： 以下内容来自：http://baidu.blog.51cto.com/71938/1676798日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉