什么是Scrapy?   Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架,非常出名,非常强悍。所谓的框架就是一个已经被集成了各种功能(高性能异步下载,队列,分布式,解析,持久化等)的具有很强通用性的项目模板。对于框架的学习,重点是要学习其框架的特性、各个功能的用法即可。 一、背景      在做爬虫项目的过程中遇到ip代理的问题,网上搜了一些,要么是用阿里云的ip代理,要么是搜一些网上现有的ip资源,然后配置在setting文件中。这两个方法都存在一些问题。 1、阿里云ip代理方法,网上大都是配置阿里云的ip代理的用户名、密码然后加密、解密。我按照上面的方面操作,发现阿里
2023-04-06 04:26:24 76KB c ip ip代理
1
为获取连续属性值数据集的最小属性子集,提出了一种两步约简方法.该方法以模糊粗糙集模型为基础,将描述条件属性和决策属性依赖关系的模糊依赖度概念进行了扩展,使其能对条件属性之间的依赖关系进行度量,利用属性与类别之间的依赖度选出候选属性集,然后根据单个属性与类别和属性之间的依赖度对候选属性集进行约简.仿真结果表明,该方法在有效降低属性维数的同时一定程度上保证了分类正确率.
2023-04-05 21:13:13 422KB 工程技术 论文
1
宝塔面板Windows提权方法 本项目整理一些宝塔特性,可以在无突破的情况下利用这些特性来增加提权的机会。 目录 写数据库提权 宝塔面板在2008安装的时候替换www用户是可以对宝塔面板的数据库有完全控制权限的: powershell -Command " get-acl C:\BtSoft\panel\data\default.db | format-list " 对于这种情况可以直接往数据库写一个面板的账号直接获取到面板权限,而在2016年安装替换是用户权限权限不可写 这种情况可以从里面读取一些敏感信息,例如mysql的root密码,而一般这个配置的不会只有这个文件提示,可以使用其他方法。 盐: [A-Za-z0-9]{12} 密码: md5(md5(md5(password) + '_bt.cn') + salt) 可以直接使用bt_panel_script.py ,脚本会自动新建
2023-04-05 18:37:58 174KB Python
1
为了利用信息系统对象在数据空间中分布,通过对对象的模糊聚类,计算每一类在坐标轴上的统计值。利用正态概率分布特性,引入重叠度和空隙度选取合适的概率,确定最优的区间端点,实现连续属性离散化。
1
提出一种连续属性值域划分的离散化新方法,该方法定义一个新的离散化函数,依据类与属性之间的相互依赖关系选择最优的离散区间列表;此外,采用变精度粗糙集理论合理地控制数据离散化产生的信息丢失,减少分类错误。仿真结果和统计分析表明,提出的方法有较好的C5.0决策树分类能力。
1
设计要求   1.设计一个能测量方波信号频率的频率计,测量结果用十进制数显示。   2.测量的频率范围是1~10KHz,分成两个频段,即1~999Hz,1KHz~10KHz,用三位数码管显示测量频率,用LED显示表示单位,如亮绿灯表示Hz,亮红灯表示KHz。   3.具有自动校验和测量两种功能,即能用标准时钟校验测量精度。   4.具有超量程报警功能,在超出目前量程档的测量范围时,发出灯光和音响信号。   设计提示   脉冲信号的频率就是在单位时间内所产生的脉冲个数,其表达式为f=N/T,f为被测信号的频率,N为计数器所累计的脉冲个数,T为产生N个脉冲所需的时间。所以,在1秒时
2023-04-05 16:34:18 175KB 数字频率表设计方法
1
MATLAB 粘贴代码 - 一种画相同运算时间下不同算法迭代进化图的精确方法 由于不同算法在相同运算时间下的迭代次数不同,使用常规画图函数很难画出来,因此,可以先用这个代码运行出最初的画图结果,然后通过在matlab中选择编辑图,去掉X的曲线, 复制图片粘贴至visio,取消组合,把曲线横向拉至相同长度然后组合即可。这种方法绘制的图形保持了绝对精确,而且不用对数据进行任何处理。
2023-04-05 15:29:41 2KB 系统开源
1
浅海中的宽带水声信号传播呈现出频散的特点,通过高分辨率的时频分析方法可以刻画频散曲线。通过数值仿真和实验数据处理,对比分析几类常用的时频分析方法在提取宽带声信号频散曲线方面的性能。结果表明:STFT时频局部化精度不够高;在较强频散的情况下,DSTFT时频分辨率较高。WVD时频聚集性最好,但是有严重的交叉项干扰;固定核函数的CWD较好地抑制交叉项,时频分辨率虽优于STFT,但弱化了时频聚集性;AOK时频分布采用自适应高斯核函数,在抑制交叉项的同时,时频聚集性较好,有望较好地用于提取信号频散曲线。
2023-04-05 15:16:32 1015KB 自然科学 论文
1
主要介绍了实例展示使用Java压缩和解压缩7z文件的方法,用到了7-zip的开源项目7-zip-JBinding,需要的朋友可以参考下
2023-04-05 15:13:27 39KB Java 7z
1
研究了HTTP接口自动化测试方法,采用Python语言开发代码,使用Request调用HTTP接口。提出了一种分层结构的自动化测试框架,将接口调用、测试用例和测试数据的代码分层开发,生成基于HTML的测试报告。提出了两种解决CSRF Token验证问题的方案。该方法开发出的自动化测试脚本具有结构清晰、易维护等优点,能够有效提高测试效率,降低测试成本。
2023-04-05 09:49:21 230KB HTTP接口
1