大数据实训.zip数据收集：网络爬虫、公开数据集、客户数据 数据处理：数据清洗、数据规整

1.2功能需求
明确任务：明确目的、确定思路
数据收集：网络爬虫、公开数据集、客户数据
数据处理：数据清洗、数据规整
数据分析：数据统计、探索性数据分析(EDA)、数据建模
结果展示：数据可视化、报表生成、结果保存
数据收集：获取歌单索引页、获取歌单详情页
数据处理：数据清洗、数据规整
数据分析统计：歌曲出现次数TOP10，歌单贡献UP主TOP10，歌曲播放量TOP10，歌单收藏量TOP10，歌单评论数TOP10
歌单收藏数量分布情况，单播放数量分布情况，歌单标签图，歌单介绍词云图
结果展示：可视化图表
二、项目分析与设计
2.1本项目需解决的关键技术问题
1.运用大数据分析技术对网站数据进行挖掘。
2.将挖掘到的数据输出到excel表格，并统一到一起进行整理。
3.对大量的数据基于Python进行技术分析，完成数据分析。
4.通过代码实现数据可视化，得出所需要的结论的图表形式。
2.2项目流程
1.基于Python语言，对网站数据进行爬取挖掘。
2.将数据整理到表格中。
3.对数据进行分析，并对数据进行统计处理，得到所需要的数据。
4.对数据进行计算处理，得到所需要的排名，占比等。
5.进行数据可视化，将得出的结论通过更直观的图表形式呈现。