爬虫技术

数据挖掘与数据管理

网站做了很多反爬虫工作，爬起来有些艰难，本文详细介绍了python解决网站的反爬虫策略，有需要的小伙伴可以参考下。

全网最全User-Agent，包含了PC、个品牌手机和各种浏览器上的User-Agent，共有两万多个不同的User-Agent 文件内容格式为json。格式如下， [ { "equipment_type": "手机", "system_type": "Android", "equipment_name": "LG手机", "browser_type": "Chrome", "user_agent": "Mozilla/5.0 (Linux; Android 10; LM-Q730) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Mobile Safari/537.36" }, { "equipment_type": "PC", "system_type": "Windows", "equipment_name": "Win10", "browser_type": "Chrome", "user_agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36" } ]