python3快速爬取房源信息,并存入mysql数据库,超详细
闲来没事,想做一个有趣的项目,首先整理一下思路,如何快速爬取关键信息。并且实现自动翻页功能。
想了想用最常规的requests加上re正则表达式,BeautifulSoup用于批量爬取
import requests
import re
from bs4 import BeautifulSoup
import pymysql
然后引入链接,注意这里有反爬虫机制,第一页必须为https://tianjin.anjuke.com/sale/,后面页必须为’https://tianjin.anjuke.com/sale/p%d/#fi
1