### 大数据样题解析与知识点概述 #### 一、数据抓取与处理 ##### 1.1 网络爬虫与数据筛选 - **背景介绍**：本任务要求从2GB大小的日志文件`spider.log`中筛选出有效的电影市场数据，并将这些数据以指定格式保存至`ans0201.csv`文件中。 - **关键技能**： - **网络爬虫基础**：了解如何使用Python进行网页抓取。 - **正则表达式**：用于从文本中提取特定模式的信息。 - **数据处理**：使用Pandas库处理数据，包括数据读取、清洗和转换。 - **实现步骤**： 1. **数据读取**：使用Python内置的文件操作功能打开并读取`spider.log`文件。 2. **数据筛选**：根据题目要求筛选出包含有效电影市场的数据行。 3. **数据清洗**：使用Pandas库进行数据清洗，如去除无效行、处理缺失值等。 4. **数据保存**：将清洗后的数据按照指定格式保存至CSV文件。 ##### 1.2 数据统计与可视化 - **任务要求**：从已抓取的数据中统计电影的评分信息，并将其统计结果保存至`ans0202.txt`文件中。 - **关键技能**： - **网页抓取**：使用Python的requests库获取网页内容。 - **BeautifulSoup**：解析HTML页面，提取所需数据。 - **数据分析与统计**：使用Pandas进行数据分析及统计计算。 - **数据输出**：将统计结果以指定格式输出至文件。 - **实现步骤**： 1. **网页抓取**：使用requests库获取网页内容。 2. **数据解析**：使用BeautifulSoup库解析网页结构，提取评分信息。 3. **数据统计**：计算评分的平均值、最大值和最小值等统计指标。 4. **结果输出**：将计算结果按照题目要求的格式保存至`ans0202.txt`文件中。 #### 二、数据清洗与分析 ##### 2.1 数据清洗与计算 - **任务描述**：对电影票房信息数据进行清洗和整理，并完成数据计算、分析。 - **关键技能**： - **数据预处理**：使用Pandas进行数据清洗，如删除重复记录、填充缺失值等。 - **数据聚合**：基于电影名称、上映地点等字段进行数据分组和聚合计算。 - **数据分析**：计算特定电影的上映天数和日平均票房。 - **数据可视化**：使用Matplotlib库绘制数据图表。 - **实现步骤**： 1. **数据读取**：使用Pandas读取`film_log3.csv`文件。 2. **数据清洗**：对数据进行预处理，包括删除重复记录、填充缺失值等。 3. **数据计算**：根据题目要求计算特定电影的上映天数和日平均票房。 4. **结果输出**：将计算结果按照指定格式保存至`ans0301.dat`文件中。 ##### 2.2 数据可视化与比较 - **任务描述**：利用Bar函数输出三部电影的周平均票房，并比较它们的票房总收入。 - **关键技能**： - **数据聚合**：根据题目要求对数据进行分组和聚合计算。 - **数据可视化**：使用Matplotlib库绘制柱状图。 - **数据比较**：比较不同电影的票房总收入。 - **实现步骤**： 1. **数据读取与清洗**：使用Pandas读取并清洗`film_log3.csv`文件。 2. **数据计算**：计算三部电影的周平均票房。 3. **数据可视化**：使用Matplotlib绘制柱状图，展示各电影的周平均票房。 4. **结果输出**：将票房总收入按从高到低排序后保存至`ans0302.dat`文件中。 ##### 2.3 时间序列分析与可视化 - **任务描述**：绘制三部电影各自周票房收入的变化趋势。 - **关键技能**： - **时间序列分析**：基于时间轴的数据分析方法。 - **数据可视化**：使用Matplotlib绘制折线图。 - **实现步骤**： 1. **数据读取与清洗**：使用Pandas读取并清洗`film_log3.csv`文件。 2. **时间序列分析**：计算各电影的周票房收入。 3. **数据可视化**：使用Matplotlib绘制折线图，展示票房收入随时间的变化趋势。 4. **结果输出**：将特定周的票房收入保存至`ans0303.dat`文件中。 这些任务不仅考验了参赛者对于Python编程的基本功底，还要求他们具备一定的数据处理和分析能力，尤其是使用Pandas和Matplotlib等库来进行高效的数据处理和可视化的能力。通过完成这些任务，参赛者能够系统地学习到大数据处理的核心技能和技术栈。

《大数据》题目 1. 单选题 1) 大数据的4V特点：Volume、Velocity、Variety、Veracity，其中他们的含义分别是（ 1 ）、（ 2 ）、（ 3 ）、（ 4 ）。 A.价值密度低 B.处理速度快 C.数据类型繁多 D.数据体量巨大 2) 大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行 （ 5 ）。 A. 数据信息 B. 专业化处理 C.速度处理 D. 内容处理 3) 随着谷歌（ 6 ）和（ 7 ）的发布，大数据不再仅用来描述大量的数据，还涵盖了处理数据的 （ 8 ）。 6: A.Map B.Docs C. YouTube D. MapReduce 7: A. Google Mobile B. iGoogle C. GoogleFile System D. Google Docs 8: A.质量 B. 速度 C.精度 D. 进度 4) 斯隆数字巡天是使用位于新墨西哥州阿帕奇山顶天文台的2.5米口径望远镜进行的红移 巡天项目，2012年4月发布的关于Quasar spectra的数据为（ 9 ）。 A.932,891,133 B. 2