在使用selenium这个压箱底的反爬技能爬取boss时，踢到了铁板。
selenium也能被反爬系统识别出来，无法打开链接。
原因在于slenium打开网页时，Chrome会显示这个标签条，使得服务器识别为爬虫。
解决办法就是设置options，隐藏标签：
代码如下：
from selenium import webdriver
from selenium.webdriver import Chrome
from selenium.webdriver import ChromeOptions
options = webdriver.ChromeOptions()
options.add_e
2021-09-09 22:10:27
43KB
1
反爬比较严的网站会识别selenium driver中的js属性，导致页面加载识别，可以通过本地手动驱动浏览器解决。
启动方式：在windows或者mac下找到浏览器执行文件，然后运行：/Applications/Google\ Chrome.app/Contents/MacOS/Google\ Chrome --remote-debugging-port=9222
#手动启动浏览器
1.手动启动chrome。启动之前确保所有关闭
:return:
options =Options()
options.add_argument(--disable-extensions)
o
2021-09-09 21:29:29
27KB
1
corpredit
crawler of the campany redit infomation
预计目标：爬取信用信息公示系统中指定企业的信用相关信息
实际目标：绕过反扒，同时结合requests包和cookie信息进一步进行请求，从而获得相关信息。
反爬系统：加速乐+极验验证码（滑动或文字点击）
主要使用包：selenium,chromdriver,requests,cv2,numpy,PIL,lxml
思路：
1、请求2次加速乐验证网址，第一遍获取gt和challenge的cookie，第二遍带cookie访问。
2、请求首页网址。
3、定位输入框，输入关键字查询。
4、定位验证框，根据验证码类型确定选用点击验证程序还是滑动验证程序。
5、如果是点击验证程序，将其验证框截图发送至打码平台（此处选用超级鹰）。
6、如果是滑动验证程序，则自己编写程序操控鼠标拖动破解。
7、破解失败的化
2021-09-08 15:47:01
9KB
1
shangbiaojuruishu
商标局瑞数绕过与反爬学习
贴逆向好的js代码..剩下靠你们自己了
需要返回cookie,否则无限跳转,文件夹中带有nginx静态服务配置
增加2020年7月30号的逆向学习代码
1.对代码格式
2.处理控制流平坦化,减少对键盘伤害
3.对加密方法名解密,减少对鼠标伤害
4.删除无限debugger
备注:index.html为原始页面代码,index2.html为处理后页面代码,eval.js为格式化后的evaljs代码,eval2.js为处理后代码
快速阅读:
index2.html 搜索call快速找到eval的入口
eval2.js 搜索"$$a[0]"这里是控制流平坦化代码的开始,搜索"$WH(24)"这里是设置无限debugger,很多个
商标网已经改版,部分js已经改变
2021-07-27 14:40:13
254KB
1
常见的反爬手段和解决思路
学习目标
了解 通过headers反扒以及对应的解决方法
了解 通过js反扒以及对应的解决方法
了解 通过验证码反扒以及对应的解决方法
了解 通过IP反扒以及对应的解决方法
了解 通过用户行为反扒以及对应的解决方法
1 明确反反爬的主要思路
反反爬的主要思路就是：尽可能的去模拟浏览器，浏览器在如何操作，代码中就如何去实现。
例如：浏览器先请求了地址url1，保留了cookie在本地，之后请求地址url2，带上了之前的cookie，代码中也可以这样去实现。
2 通过headers字段来反爬
headers中有很多字段，这些字段都有可能会被对方服务器拿过来进行判断是否为爬虫
2.1 通过headers中的User-Agent字段来反爬
反扒原理：爬虫默认情况下没有User-Agent
解决方法：请求之前添加User-Agent即可；更好的方式是使用User-Agent池来解决（收集一堆User-Agent的方式，或者是随机生成User-Agent）
2021-07-16 09:02:45
5.62MB
1
基于Python Scrapy实现的蜂鸟数据采集爬虫系统 含代理、日志处理和全部源代码等
import scrapy
from fengniao.items import FengniaoItem
from scrapy.spidermiddlewares.httperror import HttpError
from twisted.internet.error import TimeoutError, TCPTimedOutError, DNSLookupError, ConnectionRefusedError
class FengniaoclawerSpider(scrapy.Spider):
name = 'fengniaoClawer'
allowed_domains = ['fengniao.com']
# 爬虫自定义设置，会覆盖 settings.py 文件中的设置
custom_settings = {
'LOG_LEVEL': 'DEBUG', # 定义log等级
'DOWNLOAD_DELAY': 0, # 下载延时
'COOKIES_ENABLED': False, # enabled by default
'DEFAULT_REQUEST_HEADERS': {
# 'Host': 'www.fengniao.com',
'Referer': 'https://www.fengniao.com',
},
# 管道文件，优先级按照由小到大依次进入
'ITEM_PIPELINES': {
'fengniao.pipelines.ImagePipeline': 100,
'fengniao.pipelines.FengniaoPipeline': 300,
},
# 关于下载图片部分
'IMAGES_STORE': 'fengniaoPhoto', # 没有则新建
'IMAGES_EXPIRES': 90, # 图片有效期,已经存在的图片在这个时间段内不会再下载
'IMAGES_MIN_HEIGHT': 100, # 图片最小尺寸（高度），低于这个高度的图片不会下载
'IMAGES_MIN_WIDTH': 100, # 图片最小尺寸（宽度），低于这个宽度的图片不会下载
# 下载中间件，优先级按照由小到大依次进入
'DOWNLOADER_MIDDLEWARES': {
'fengniao.middlewares.ProxiesMiddleware': 400,
'fengniao.middlewares.HeadersMiddleware': 543,
'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
},
'DEPTH_PRIORITY': 1, # BFS，是以starts_url为准，局部BFS，受CONCURRENT_REQUESTS影响
'SCHEDULER_DISK_QUEUE': 'scrapy.squeues.PickleFifoDiskQueue',
'SCHEDULER_MEMORY_QUEUE': 'scrapy.squeues.FifoMemoryQueue',
'REDIRECT_PRIORITY_ADJUST': 2, # Default: +2
'RETRY_PRIORITY_ADJUST': -1, # Default: -1
'RETRY_TIMES': 8, # 重试次数
# Default: 2, can also be specified per-request using max_retry_times attribute of Request.meta
'DOWNLOAD_TIMEOUT': 30,
# This timeout can be set per spider using download_timeout spider attribute and per-request using download_timeout Request.meta key
# 'DUPEFILTER_CLASS': "scrapy_redis.dupefilter.RFPDupeFilter",
# 'SCHEDULER': "scrapy_redis.scheduler.Scheduler",
# 'SCHEDULER_PERSIST': False, # Don't cleanup red
2021-07-10 17:02:46
14KB