本篇文章是python爬虫系列的第三篇，介绍如何抓取京东商城商品评论信息，并对这些评论信息进行分析和可视化。下面是要抓取的商品信息，一款女士文胸。这个商品共有红色，黑色和肤色三种颜色， 70B到90D共18个尺寸，以及超过700条的购买评论。
京东商品评论信息是由JS动态加载的，所以直接抓取商品详情页的URL并不能获得商品评论的信息。因此我们需要先找到存放商品评论信息的文件。这里我们使用Chrome浏览器里的开发者工具进行查找。
具体方法是在商品详情页点击鼠标右键，选择检查，在弹出的开发者工具界面中选择Network，设置为禁用缓存(Disable cache)和只查看JS文件。然后刷新页面
2021-11-15 11:22:34
1.49MB
1
简介
百度迁徙 ：http://qianxi.baidu.com
不多逼逼，相关的自己了解。趁这几天比较好抓取数据，需要的数据就赶紧抓抓抓。
效果展示
不着急看代码，先给你们看一波效果图，各位看官看完效果图看看是不是自己需要的再看代码。
我是把获得的数据存成一个xls格式，因为csv换列不太方便（我不会）所以我选择了xls。这张图里表是我的家乡泉州一月、二月一共两个月的迁出数据，左边第一列是全国所有城市的编码（身份证前6位，这也和爬取百度迁徙url要求的编码一样），左边第二列是全国所有城市的名称，第一行是日期。为什么我要把表弄成这样呢？因为我要把表丢进GIS里做可视化（后面有可视化的图），又
2021-11-14 22:51:08
964KB
1
自己写的一个爬虫，模仿了python核心编程书里的程序，有详细的注释。
是我一个理解学习的过程吧。
执行robot.py 按照提示输入一个完整的url，单域名结尾需要加/
，抓取的网页会在脚本目录下生成一个域名的文件夹。
2021-11-14 18:21:12
3KB
1
曾尝试各种方法，没有效果。使用的是函数requests.get()，已写header、cookie、User-Agent，也写了rsp.encoding = rsp.apparent_encoding。
但是仍是爬取不了。奇怪的同一个网站同一个榜单，只是页数不同，前若干页能爬取，后若干页就爬取不了，一度怀疑是不允许爬。
最后终于发现原因！
因为Cookie找错了（kao！！！！！）
注意要用这里的cookie！
（下图是Chrome的开发者工具视图）
用requests.get()的标准格式：
【仅为个人总结】
# 伪装成浏览器，防止封ip
headers = {
'User
2021-11-14 16:51:11
304KB
1
58 同城 网站中有很多招聘信息， 进入其中的软件工程师栏目， 使用
Selenium 编写程序爬取这个栏目的所有招聘信息。
2021-11-14 14:14:24
827KB
1
** 楼主也才学习python半年，写下在这个博客算是对自己成长的记录和提高吧，欢迎小伙伴们一起探讨，共同提高。**
** 话不多说，这个爬虫的目的是将某壁纸网站上的图片爬取下来，并保存在本地。所以我们需要Beautifulsoup库和os库，以及requests库**
首先壁纸网站url = ‘http://www.win4000.com/’
**进入网站**然后选择自己喜欢的壁纸，点击进去，观察链接的变化**想要把这七张壁纸全部下载下来就需要每下载一张就变化一下链接：
然后我们需要获取页面信息：
然后查看页面源代码，找到壁纸的具体位置：
利用find函数来提取壁纸：这里首先要建立一个hr
2021-11-13 17:02:38
335KB
1
python 抓取一个网站所有图片并保存。
python 抓取一个网站所有图片并保存
python 爬虫
2021-11-13 16:52:39
102KB
1