本文通过对ELKStack、Kafka、SparkStreaming整合方案的介绍描述了系统平台日志处理流程,希望对系统运维工程师、数据库工程师在实现数据平台集中式运维工作中有所帮助,读者还可以参考文章末尾给出的互联网公司在系统运维、日志处理工作中的实践经验,结合自身情况设计自己的方案。大数据时代,随着数据量不断增长,存储与计算集群的规模也逐渐扩大,几百上千台的云计算环境已不鲜见。现在的集群所需要解决的问题不仅仅是高性能、高可靠性、高可扩展性,还需要面对易维护性以及数据平台内部的数据共享性等诸多挑战。优秀的系统运维平台既能实现数据平台各组件的集中式管理、方便系统运维人员日常监测、提升运维效率,
1