常见的反爬手段和解决思路-Python-爬虫课件

常见的反爬手段和解决思路 学习目标 了解 通过headers反扒以及对应的解决方法 了解 通过js反扒以及对应的解决方法 了解 通过验证码反扒以及对应的解决方法 了解 通过IP反扒以及对应的解决方法 了解 通过用户行为反扒以及对应的解决方法 1 明确反反爬的主要思路 反反爬的主要思路就是：尽可能的去模拟浏览器，浏览器在如何操作，代码中就如何去实现。 例如：浏览器先请求了地址url1，保留了cookie在本地，之后请求地址url2，带上了之前的cookie，代码中也可以这样去实现。 2 通过headers字段来反爬 headers中有很多字段，这些字段都有可能会被对方服务器拿过来进行判断是否为爬虫 2.1 通过headers中的User-Agent字段来反爬 反扒原理：爬虫默认情况下没有User-Agent 解决方法：请求之前添加User-Agent即可；更好的方式是使用User-Agent池来解决（收集一堆User-Agent的方式，或者是随机生成User-Agent）