介绍 一个可视化的爬虫平台。以流程图的方式配置爬虫,基本上无需编写代码即可完成工作。 本项目源自开源项目 ,本着学习的目的,在它的基础上进行了重构,修复了一些问题,并增加了一些新的功能。 特性 支持 xpath 和 css 选择器 支持选择器提取、正则提取、json 提取等 支持 Cookie 自动管理 支持抓取由 js 动态渲染的页面 支持代理 支持多数据源 内置常用的字符串、日期、文件、加解密等函数 支持结果保存至多目的地(数据库、csv 文件等) 支持插件扩展(自定义执行器,自定义函数等) 支持任务日志 支持爬虫可视化调试 新增的特性: 采用内置数据库 ,做到开箱即用 支持同步执行,对于执行结果有顺序要求的可以使用该功能 增加随机 User-Agent(数据来自: ) 增加代理的管理界面,方便进行代理的手工添加(不推荐)和启动代理的自动管理功能 增加身份认证机制,默认账号和密码都
2021-11-17 10:45:33 2.53MB crawler spider websocket visual-crawler
1
本文提出了一种多目标的滑模模型算法(MOSMA),它是最近开发的滑模模型算法(SMA)的一种多目标变体,用于处理行业中的多目标优化问题。 最近,为了处理优化问题,优化社区提出了几种元启发式和进化优化技术。 在评估多目标优化 (MOO) 问题时,这些方法往往会遇到低质量的解决方案,而不是解决识别帕累托最优解的准确估计和增加所有目标的分布的目标函数。 SMA 方法遵循从实验室实验中黏菌的振荡行为获得的逻辑。 与其他成熟的方法相比,SMA 算法显示出强大的性能,它是通过使用正负反馈系统结合最佳食物路径而设计的。 所提出的 MOSMA 算法采用相同的底层 SMA 机制进行收敛,并结合精英非支配排序方法来估计帕累托最优解。 作为后验方法,多目标公式保留在 MOSMA 中,并使用拥挤距离算子来确保增加所有目标的最佳解决方案的覆盖范围。 为了验证和验证 MOSMA 的性能,考虑了 41 个不同的案例研究
2021-09-23 22:04:56 3.05MB matlab
1
SLIME User Manual.pdf
2021-08-20 09:08:16 669KB SLIME