第二阶段模块开发训练：
1）网络数据采集，使用requests或者scrapy爬取数据（不能使用我案例中爬取的页面），存储到一个文本文件（文件命名为：姓名-学号-数据源文件.txt）中。
2）使用Spark RDD或者Spark Sql，读取“姓名-学号-数据源文件.txt”内容，对某一个字段的数据进行统计，获得词频前10的字段数据。把结果放在一个文本文件里面，命名为：姓名-学号-排行结果.txt
不能爬取下面2个网页内容，可以爬取其网站的其他网页内容
http://www.yingjiesheng.com/commend-fulltime-{}.html
https://www.bilibili.com/v/popular/rank/all
要求：
1）7月15号21:00前提交作业
2）提交的作业为：爬虫项目+处理数据项目+姓名-学号-数据源文件.txt+姓名-学号-排行结果.txt四个内容放在一个文件夹里面打包，命名为：姓名-学号-第二阶段作业.rar（或者zip），然后发给我。可以发邮件+私聊窗口（21:00前有效）
2021-07-14 22:06:39
3KB
hadoop大数据平台技术与应用---第5章分布式数据库HBase.pdf
2021-07-14 15:01:57
2.4MB
1
hadoop大数据平台技术与应用--第7章数据迁移工具Sqoop.pdf
2021-07-14 15:01:55
559KB
1
绝对第四版！绝对中文！绝对完整！绝对第四版！绝对中文！绝对完整！
Hadoop权威指南 大数据 第四版 修订版&升级版 中文版 pdf格式。Tom White 著，王海 等译，清华大学出版社，最新第4版。
2021-07-09 11:49:30
187.82MB
1
win10下hadoo2.7.2的hadoop.dll和winutils.exe
2021-07-08 14:09:25
560KB
1