上传者: 38660069
|
上传时间: 2022-05-19 18:31:34
|
文件大小: 252KB
|
文件类型: PDF
python3快速爬取房源信息,并存入mysql数据库,超详细
闲来没事,想做一个有趣的项目,首先整理一下思路,如何快速爬取关键信息。并且实现自动翻页功能。
想了想用最常规的requests加上re正则表达式,BeautifulSoup用于批量爬取
import requests
import re
from bs4 import BeautifulSoup
import pymysql
然后引入链接,注意这里有反爬虫机制,第一页必须为https://tianjin.anjuke.com/sale/,后面页必须为’https://tianjin.anjuke.com/sale/p%d/#fi