基于Spark的网络数据分析系统研究与实现.pdf

将深度学习 框架 Keras 与大数据处理平台 Spark 相结合，为 Spark 扩展深度学习能力，实现深度 学习的分布式计算，使得大数据的获取与处理、数据模型的学习与应用都在一个统 一的分布式集群中。其次，利用 Spark Streaming 流式计算的特点，系统能够对网络 数据进行实时监控，对异常数据及时作出判断和响应。且通过对有效参数的调整控 制实现对 Spark Streaming 实时计算的性能分析与预测。最后，对于 Spark Streaming 实时计算性能的优化，设计了一种批次时间间隔的动态调整策略，实现了实时系统 低延迟与高吞吐量之间的平衡，提升计算性能。 相较于传统的分布式Keras深度学习集群，基于Spark的网络数据分析系统不需 要在深度学习与数据处理两个独立集群之间传递大型数据，并且能够轻松将 Keras 代码迁移到此平台上，减少了系统复杂性和数据传输延迟。同时对于 Spark Streaming 流计算来说，本系统能够更好的适应外部条件的变化，保持系统稳定性，提升计算 性能。