2017年大数据样题

### 大数据样题解析与知识点概述 #### 一、数据抓取与处理 ##### 1.1 网络爬虫与数据筛选 - **背景介绍**：本任务要求从2GB大小的日志文件`spider.log`中筛选出有效的电影市场数据，并将这些数据以指定格式保存至`ans0201.csv`文件中。 - **关键技能**： - **网络爬虫基础**：了解如何使用Python进行网页抓取。 - **正则表达式**：用于从文本中提取特定模式的信息。 - **数据处理**：使用Pandas库处理数据，包括数据读取、清洗和转换。 - **实现步骤**： 1. **数据读取**：使用Python内置的文件操作功能打开并读取`spider.log`文件。 2. **数据筛选**：根据题目要求筛选出包含有效电影市场的数据行。 3. **数据清洗**：使用Pandas库进行数据清洗，如去除无效行、处理缺失值等。 4. **数据保存**：将清洗后的数据按照指定格式保存至CSV文件。 ##### 1.2 数据统计与可视化 - **任务要求**：从已抓取的数据中统计电影的评分信息，并将其统计结果保存至`ans0202.txt`文件中。 - **关键技能**： - **网页抓取**：使用Python的requests库获取网页内容。 - **BeautifulSoup**：解析HTML页面，提取所需数据。 - **数据分析与统计**：使用Pandas进行数据分析及统计计算。 - **数据输出**：将统计结果以指定格式输出至文件。 - **实现步骤**： 1. **网页抓取**：使用requests库获取网页内容。 2. **数据解析**：使用BeautifulSoup库解析网页结构，提取评分信息。 3. **数据统计**：计算评分的平均值、最大值和最小值等统计指标。 4. **结果输出**：将计算结果按照题目要求的格式保存至`ans0202.txt`文件中。 #### 二、数据清洗与分析 ##### 2.1 数据清洗与计算 - **任务描述**：对电影票房信息数据进行清洗和整理，并完成数据计算、分析。 - **关键技能**： - **数据预处理**：使用Pandas进行数据清洗，如删除重复记录、填充缺失值等。 - **数据聚合**：基于电影名称、上映地点等字段进行数据分组和聚合计算。 - **数据分析**：计算特定电影的上映天数和日平均票房。 - **数据可视化**：使用Matplotlib库绘制数据图表。 - **实现步骤**： 1. **数据读取**：使用Pandas读取`film_log3.csv`文件。 2. **数据清洗**：对数据进行预处理，包括删除重复记录、填充缺失值等。 3. **数据计算**：根据题目要求计算特定电影的上映天数和日平均票房。 4. **结果输出**：将计算结果按照指定格式保存至`ans0301.dat`文件中。 ##### 2.2 数据可视化与比较 - **任务描述**：利用Bar函数输出三部电影的周平均票房，并比较它们的票房总收入。 - **关键技能**： - **数据聚合**：根据题目要求对数据进行分组和聚合计算。 - **数据可视化**：使用Matplotlib库绘制柱状图。 - **数据比较**：比较不同电影的票房总收入。 - **实现步骤**： 1. **数据读取与清洗**：使用Pandas读取并清洗`film_log3.csv`文件。 2. **数据计算**：计算三部电影的周平均票房。 3. **数据可视化**：使用Matplotlib绘制柱状图，展示各电影的周平均票房。 4. **结果输出**：将票房总收入按从高到低排序后保存至`ans0302.dat`文件中。 ##### 2.3 时间序列分析与可视化 - **任务描述**：绘制三部电影各自周票房收入的变化趋势。 - **关键技能**： - **时间序列分析**：基于时间轴的数据分析方法。 - **数据可视化**：使用Matplotlib绘制折线图。 - **实现步骤**： 1. **数据读取与清洗**：使用Pandas读取并清洗`film_log3.csv`文件。 2. **时间序列分析**：计算各电影的周票房收入。 3. **数据可视化**：使用Matplotlib绘制折线图，展示票房收入随时间的变化趋势。 4. **结果输出**：将特定周的票房收入保存至`ans0303.dat`文件中。 这些任务不仅考验了参赛者对于Python编程的基本功底，还要求他们具备一定的数据处理和分析能力，尤其是使用Pandas和Matplotlib等库来进行高效的数据处理和可视化的能力。通过完成这些任务，参赛者能够系统地学习到大数据处理的核心技能和技术栈。