此篇笔记是笔者在学习嵩天老师的《Python网络爬虫与信息提取》课程及笔者实践网络爬虫的笔记。
淘宝商品比价爬虫一、前提准备1、功能描述2、分析页面3、代码实现4、完整代码：5、运行结果6、总结
一、前提准备
1、功能描述
获取淘宝搜索页面的信息，提取其中的商品名称和价格。
2、分析页面
①先确定搜索url
根据上图我们可以看到url为：https://s.taobao.com/search?q后面的书包为自定义搜索内容。
由此我们可以知道起始url为：start_url = 'https://s.taobao.com/search?q=' + 自定义搜索内容
②确定每一页物品的数量。
2021-10-22 16:22:10
1.41MB
1
Python爬虫学习记录（1）——BeautifulSoup爬取天气信息
上节学习了flask简单使用并且爬取网站，本节学习BeautifulSoup爬取天气信息
打开网站：http://www.weather.com.cn/weather/101030100.shtml 可以看到天津天气七天信息
查看网页源代码：分析一天的天气标签 ul li h1 p span i win
下面开始编写代码：
BeautifulSoup的详细使用方法就不再介绍网上应该有很多，这里只针对本练习使用。
1.首先导入requests、BeautifulSoup库
import requests
from
2021-08-23 14:17:04
264KB
1
第1段：爬虫原理与数据抓取
爬虫能做些什么通用爬虫
和聚焦爬虫URL的意义
（了解）关于HTTP和
HTTPS HTTP代理工具
Fidder HTTP的请求与响
应urlib2：Python的标准
模块案例：批量爬取页面
数据 URLError与
HTTPError 附录：响应状
态码详解
2021-08-18 13:33:58
8.66MB
1