分析并写下爬取过程
1.打开豆瓣影评url=https://movie.douban.com/review/best/
分析页面发现一页有十部电影,循环获取这十部电影的url
2.打开其中一部电影url发现其所有短评皆在此页面的一个子url中,获取此url
3.进入短评页面获取数据,并存储
代码步骤实现
我这里用的是定义一个类来实现首先声明__init__
class DouBanSpider(object):
driver_path = r"C:\Downloads\driver\chromedriver.exe"#谷歌自动测试机器人的存储路径
def __init__(se
2022-04-08 21:34:27
120KB
go
god
le
1