# wifi
基于flume+kafka+HBase+spark+ElasticSearch的用户轨迹查询大数据开发项目
项目名称：实时的用户轨迹查询项目
项目介绍：
利用企业建设的WIFI基站，实时采集用户的信息，可以基于这些信息做用户画像处理，网络安全监控，精准营销等；
项目架构：
主要是基于Flume+Kafka+Sparkstreaming +HBase+ES来实现实时的用户信息存储轨迹查询任务。
每个部分的数据运行结果以及集群的运行状况见结果文件ProjectResult！！！
2024-07-08 22:13:24
301.98MB
1
大数据开发是指利用一系列技术和工具对大规模数据集进行收集、存储、处理、分析和可视化，以提取有价值的信息，支持业务决策、产品优化、市场洞察、风险评估等应用场景。以下是大数据开发的关键组成部分和相关流程：
### **大数据开发工作内容与职责**
1. **数据采集与存储**：
- 设计并实施数据采集策略，从各种源头（如传感器、日志文件、API、社交媒体、数据库等）获取数据。
- 选择和配置合适的数据存储系统，如关系型数据库、NoSQL数据库、数据湖（如Hadoop HDFS）、云存储服务等，以高效、安全地存储海量数据。
2. **数据清洗与预处理**：
- 对采集到的数据进行质量检查，识别并处理缺失值、异常值、重复数据等质量问题。
- 进行数据转换，如标准化、归一化、编码等，以适应后续分析和建模的需求。
- 使用ETL（Extract, Transform, Load）工具或编写脚本进行数据清洗和整合，准备可供分析的数据集。
3. **数据建模与分析**：
- 根据业务需求，选择合适的统计分析、数据挖掘或机器学习算法对数据进行深度分析。
2024-07-01 20:57:06
351KB
1
"大数据开发基础知识点"
大数据开发基础知识点是指在大数据开发过程中使用到的各种技术和概念。这些技术和概念构成了大数据开发的基础，涵盖了数据存储、数据处理、数据分析和数据可视化等方面。
1. HDFS的HA是指高可用性（High Availability），即使某个节点出现故障，也不会影响整个系统的运行。
2. YARN（Yet Another Resource Negotiator）是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度。
3. Hive是构建在Hadoop之上的数据仓库工具，提供了类SQL的查询语言，用于数据分析和报表生成。
4. Sqoop是一种数据ETL工具，用于在关系型数据库、数据仓库等多种数据源与Hadoop存储系统之间进行高效批量数据传输。
5. Spark是一种基于内存的分布式计算框架，用于构建大型的、低延迟的数据分析应用程序。
6. 在大数据中，常见的数据类型有结构化数据、非结构化数据和半结构化数据。
7. 大数据是指数量级别为PB（Petabyte）及以上的数据集合。
8. HDFS的核心组件是NameNode和DataNode。
9. 集群的各节点会被分配到不同的机架上，以方便管理和提高集群的容错性。
10. HDFS的数据块大小默认为128MB。
11. NameNode上存储的元数据信息不包括HDFS文件的真实数据。
12. DataNode通过发送心跳将block信息报告给NameNode。
13. 客户端、NameNode节点和DataNode节点之间的通信都是基于RPC（Remote Procedure Call）的。
14. 在大数据处理过程中，磁盘读写通常是集群的主要瓶颈。
15. 虚拟机有三种网络连接模式。
16. 执行hostname命令，可以查看CentOS系统当前的主机名。
17. 在ZooKeeper集群中，不属于角色的选项是NameNode。
18. 通过ZooKeeper管理两个或多个NameNode时，一个NameNode须为active状态。
19. 一般可以通过验证校验和的方式来检查数据的完整性。
20. Hadoop主要采用的序列化格式是Writable。
21. 在Hadoop常用的文件压缩格式中，支持切分的是bzip2。
22. 不属于Writable集合类的是SortedMapWritable。
23. 序列化和反序列化之间有必然联系，序列化是将对象转化为便于传输的格式，而反序列化是把字节序列恢复为对象的过程。
24. MapReduce充分体现了“分而治之”的思想，即把一个复杂的任务拆分成小的任务并行处理，从而提高了任务的处理速度。
25. 对于某些简单的数据处理任务，只需要执行Map任务就够了。
这些知识点涵盖了大数据开发的基础概念和技术，包括数据存储、数据处理、数据分析和数据可视化等方面，为大数据开发提供了坚实的基础。
2024-07-01 20:51:11
221KB
1
基于Orange Telecom历史数据开发的客户流失预测模型的数据集和要求
2024-04-17 14:30:13
221KB
1
模型设计的三个阶段
１. 概念模型：划分主题
２. 逻辑模型：即一个主题可以分析归纳出的某几种具体生活常识中的总结点，例如自然人的 动产 不动产等。
３. 物理模型：物理模型设计是指根据逻辑模型设计的结构为基础，设计数据对象的物理实现，比如表的命名规范、字段的命名规范、字段类型选择、分区设置、存储设置、更新方式、调度配置(调度时间、父子节点等)
2023-05-23 18:52:23
472KB
1
项目总结24：海关179号（实时获取电商平台企业支付相关原始数据）开发流程和相关资料...-附件资源
2023-03-30 15:55:14
106B
1
MATLAB拟合出指定数据的正态分布函数和对数正态分布函数
2022-10-22 16:20:08
2KB
1
大数据开发工程师2022（29周全，源码+课件+电子书+软件+接口数据），课程内容包含：Linux—>hadoop—>hbase—>hdfs—>Flume—>hive—>Impala—>Sclala—>Spark3.x—>kafka—>redis—>Flink1.15—>FlinkSQL—>Es—>数据中台
2022-10-20 14:08:24
188B
1