网络舆情大数据分析平台 面向各级公安、网信办、各企事业单位的实际应用，紧密结合用户的业务特色， 采用先进的大数据和人工智能技术，通过深度挖掘数据的潜在价值，为用户研判决 策提供各种辅助支撑。通过互联网信息采集、全文检索和文本分词技术，自动搜集 互联网的信息，通过相似性聚类聚类、垃圾过滤、情感分析、提取摘要、主题监控、 数据挖掘等技术，实现对社会热点话题、突发事件的快速识别以及定向追踪，从而 帮助用户在第一时间获取关于本单位、本行业的正负面新闻、领导及从业人员的相 关报道、舆论热点等，及时掌握舆论动向，从而实现快速发现、快速处置。
2022-05-17 19:07:21
3.66MB
01_大数据项目的开发流程
02_大数据的应用领域（一）
03_大数据的应用领域（二）
04_大数据分析平台（一）
05_大数据分析平台（二）
06_数据量及集群规模的规划（一）
07_数据量及集群规模的规划（二）
08_企业常见数据分析需求（一）
09_企业常见数据分析需求（二）
2022-04-06 02:50:07
271.24MB
大数据分析平台总体架构——数据存储层
业务系统前日增量数据
缓存数据，支持后续ELT数据处理
数据内容
主要用途
数据模型
保留周期
用户
访问模式
工作负载
平台要求
贴源数据模型
保存最近7天数据
贴源数据区和主题数据区批量作业访问
无最终用户访问
I/O敏感，连续小批量的数据抽取和加载
少量量数据使用Hive的Load命令，大量数据使用MR程序
与主题区/贴源区/集市区构成一个Hadoop集群（Hive）
无单点故障，7×24小时+非工作日有限停机
主题数据区、集市数据区和沙盘演练数据区批量作业访问
无最终用户访问
I/O敏感，日终批量ETL
以ELT形式通过Hive SQL执行
与主题区/贴源区/集市区构成一个Hadoop集群（Hive）
无单点故障，7×24小时+非工作日有限停机
贴源数据模型
不保存历史
业务系统前日快照数据和一段时间的流水数据
数据标准化，为后续主题模型、集市和沙盘演练提供数据
临时数据区
贴源数据区
2022-02-18 20:56:33
5.01MB
1
01_大数据项目的开发流程
02_大数据的应用领域（一）
03_大数据的应用领域（二）
04_大数据分析平台（一）
05_大数据分析平台（二）
06_数据量及集群规模的规划（一）
07_数据量及集群规模的规划（二）
08_企业常见数据分析需求（一）
09_企业常见数据分析需求（二）
2022-02-17 14:15:27
332.04MB