前言
上一节用beautifulsoup库爬取了csdn的个人信息，这一节学习使用re库爬取淘宝商品信息。
re库
正则表达式常用符号：
常用函数：
分析网页
在淘宝搜索物品就是将url结尾加上q = ?的关键字，这里以书包为例查看网页源码：
可以看到，标签名字在raw_title中，价格在view_price中，那么就用正则表达式匹配这个字符串即可。
代码
# 淘宝商品比价
import requests
import re
from prettytable import PrettyTable
import prettytable as pt
def getHtmlText(ur
2021-12-27 16:28:07
713KB
1
中国大学mooc上的爬取淘宝页面商品已经因为淘宝的维护而无法爬取
比如，只出现个表头：
这是我按照嵩天老师代码学习，遇到的问题。
原代码如下：
import requests
import re
def getHTMLText(url):
try:
r= requests.get(url,timeout=30)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return ""
def parseP
2021-06-20 08:06:54
394KB
1
这个工具是爬淘宝商品排名的，例如按价格排序，然后把搜索出来的所有商品保存成一个json文件，代码里面有json转sql的工具类，可以直接保存所以已经排名的商品信息到数据库。已经验证过，非常不错。希望帮到有需要的朋友。
2019-12-21 20:28:52
54KB
1