基于Spark的大数据人员信息智能管理系统.pdf

公安和情报部门作为维稳和维护社会治安的重要部门，多年积累建设了多个不 同类型数据库，存储了海量数据信息，但是由于大部分为传统关系型数据库，性能 被约束，无法发挥这些数据的价值。其缺点主要体现在:情报信息来源的分散化和 滞后性、维稳信息归档能力薄弱、数据查询和呈现的自动化/可视化程度不高、专属 业务模型应用数量少且数据的关联性没有得到利用等方面。如何挖掘这些海量数据 的关联关系，筛查重点人员并分析其人员关系网络，成为了公安机关急需解决的问 题。本文针对这方面的需求，设计了一个大数据人员信息管理系统，采用 HDFS 分 布式文件存储系统搭配 mysql 关系型数据库存储数据，应用 spark 分布式文件计算 引擎来进行数据分析和处理，再搭配 web 前端技术和 EChart 数据可视化等技术，设 计出可拓展性强、数据处理速度高效快速、实用性强、操作简单的人员信息管理系 统，为公安和情报部门者提供人员信息查询、人员信息数据可视化、人员信息数据 预测等功能，可用于公安侦查、治安管理、刑侦立案等工作。目前该系统已经在深 圳市某公安部门投入使用并取得了很好的效果