我们的需求是利用python爬虫爬取豆瓣电影排行榜数据,并将数据通过pandas保存到Excel文件当中(步骤详细)
我们用到的第三方库如下所示:
import requests
import pandas as pd
import json
下面我们看一下豆瓣电影排行榜的信息(以喜剧电影排行榜为例)
思路步骤:
注意:之前我们写过爬取链家房源数据的爬虫(见下方),通过观察我们发现,链家网址进行翻页是在url地址上更改页数数字即可,所以当时用的xpath。那么由于豆瓣电影排行榜翻页的时候只能通过下拉的方式,而不能通过更改url地址页数,所以这里我们就通过另外一种简单的方式进行爬取。
xp
2021-11-02 17:51:32
320KB
AND
AS
c
1