项目功能:使用Python爬取Top100电影榜单数据并保存csv文件,需要的小伙伴们下载源码做参考即可。
开发工具
Python版本: 3.6
相关模块:
requests模块、time模块、parsel模块、csv模块。
操作:
浏览器中打开我们要爬取的页面,然后按F12进入开发者工具,查看我们想要的Top100电影榜单数据(参考附件中截图),这里我们需要页面数据就可以了。
对于新手,关于网址的介绍如下:
首先我们先来认识所谓的网址,网址的高端叫法叫做‘统一资源定位符’,在互联网里面如果获取到数据都是通过网址来定位到的(就跟你找辣条借钱首先需要知道辣条目前所在的地址)那么每天都在用的网址到底是有什么特殊的含义呢?
网址有包含:协议部分、域名部分、文件名部分、参数部分
1、协议比较常见的就是http以及hettps
2、域名部分也就是我们说的服务器地址
3、文件名部分就是我们所需要的数据所在的地方
4、参数部分根据我们所查询的条件筛选数据
1