常见的反爬手段和解决思路 学习目标 了解 通过headers反扒以及对应的解决方法 了解 通过js反扒以及对应的解决方法 了解 通过验证码反扒以及对应的解决方法 了解 通过IP反扒以及对应的解决方法 了解 通过用户行为反扒以及对应的解决方法 1 明确反反爬的主要思路 反反爬的主要思路就是：尽可能的去模拟浏览器，浏览器在如何操作，代码中就如何去实现。 例如：浏览器先请求了地址url1，保留了cookie在本地，之后请求地址url2，带上了之前的cookie，代码中也可以这样去实现。 2 通过headers字段来反爬 headers中有很多字段，这些字段都有可能会被对方服务器拿过来进行判断是否为爬虫 2.1 通过headers中的User-Agent字段来反爬 反扒原理：爬虫默认情况下没有User-Agent 解决方法：请求之前添加User-Agent即可；更好的方式是使用User-Agent池来解决（收集一堆User-Agent的方式，或者是随机生成User-Agent）

利用python爬虫技术爬取中国气象网的天气数据，并对数据进行分析处理可视化，绘制图线，内涵源码及说明文档，完美应付课设及大作业

python爬虫scrapy框架，对于智联招聘职位进行抓取 python爬虫scrapy框架，对于智联招聘职位进行抓取

sina图片爬虫，依据一个博客id来查询所关注的相关博客的id，然后将这些所有的id来爬取相应的图片，需要修改相应页面（主要包括个人关注页面与个人图片展示页面）的cookies，具体可以见代码中说明

使用Python爬虫、EChart、WordCloud等技术，实现了对豆瓣电影Top250的数据可视化以及词云图片生成。

爬取豆瓣图书中各个标签下的书籍，用户可自行选择需要爬取的标签及其页数，爬取下来的数据保存在csv文件中。

运用爬虫知识和多线程技术爬取斗图啦网站图片，图片保存在项目同级文件夹中。

对豆瓣电影进行爬取，对数据进行清洗、可视化 资源下载：https://blog.csdn.net/jklxx110/article/details/118701823

Python爬虫实战 | (12) 爬取万方数据库文献摘要并存入MongoDB-附件资源

简单，易懂，容易上手，适合初学者。python版本使用的python3，BeautifulSoup 需要安装