python3实现的百度贴吧爬虫，可自动登录，自动关注贴吧成员，这一版本使用cookie登录

简书爬虫 功能： 1、爬取简书分类下的文章内容，作者，评论，喜欢等数据 2、对简书用户进行数据分析 环境：python3+mysql数据库 使用到的技术： GUI（wxpython）+ socket网络编程 + 文件读写 + 爬虫(beautifulsoup) + 数据库 + 数据分析绘图(matplotlib)

《百度搜索关键词自动提交》配套源代码文件，供python学习者交流学习之用，免费下载，供爬虫爱好者学习和交流。

网站爬虫程序，html 解析，页面爬取，公司实际正在使用项目，使用于java 类爬虫程序，可当做实际实例使用。

爬虫项目源码，里面有java爬网的案例，和详细代码，里面代码可以运行

wechat_spider 微信公众号爬虫。 需要环境: mysql、redis 支持平台： windows/mac 。 示例配置文件: mysqldb: ip: localhost port: 3306 db: wechat user: root passwd: "123456" auto_create_tables: true # 是否自动建表 建议当表不存在是设置为true，表存在是设置为false，加快软件启动速度 redisdb: ip: localhost port: 6379 db: 0 passwd: spider: monitor_interval: 3600 # 公众号扫描新发布文章周期时间间隔 单位秒 ignore_haved_crawl_today_article_account: true # 忽略已经抓取到今日发布文章的公众号，即今日不再监测该公众号 redis_task_cache_root_key: wechat # reids 中缓存任务的根key 如 wechat: zombie_ac

整理的frida hook anroid 自吐算法js，自己使用的，可以通杀所有常见的算法，例如mac，md，rsa，aes等等。不会使用可以在csdn 搜索frida hook 入门 ，执行效果会实现入参，返回值，加密算法打印，快速确定参数的加密算法，对于androd 爬虫工程师，安全工程师，在校学生等有很大用处

分享课程——2020版-系统搞定Python分布爬虫，，非常棒的一套python爬虫课程，值得学习，里面结合了大量案例，手把手教学

只有你想不到，没有玩不到

spiderflow是一个高度灵活可配置的爬虫平台。作为新一代爬虫平台，它以图形化方式定义爬虫流程，不写代码即可完成爬虫。 特性： 支持Xpath/JsonPath/css选择器/正则提取/混搭提取 支持JSON/XML/二进制格式 支持多数据源、SQL select/selectInt/selectOne/insert/update/delete 支持爬取JS动态渲染(或ajax)的页面 支持代理 支持自动保存至数据库/文件 常用字符串、日期、文件、加解密等函数 支持插件扩展(自定义执行器，自定义方法） 任务监控,任务日志 支持HTTP接口 支持Cookie自动管理 支持自定义函数