爬蟲四步原理:
1.发送请求:requests
2.获取相应数据:对方及其直接返回
3.解析并提取想要的数据:re
4.保存提取后的数据:with open()文件处理
爬蟲三步曲:
1.发送请求
2.解析数据
3.保存数据
注意:豆瓣网页爬虫必须使用请求头,否则服务器不予返回数据
import re
import requests
# 爬蟲三部曲:
# 1.获取请求
def get_data(url, headers):
response = requests.get(url, headers=headers)
# 如果爬
1