这是配合https://blog.csdn.net/CUFEECR/article/details/104573023的代码和数据，可以用于进行测试和交流学习，不得滥用，违者请自负责任。

基于搜狗微信搜索的微信公众号爬虫接口 我的另外一个作品: ，基于代码生成的 Lark/飞书 Go SDK，欢迎 star 。

履带式 用于LinkedIn个人资料页面的网络搜寻器。

pkulaw_spider 爬取北大法宝网 1.打开网站，导航栏点击司法案例，看左边法律文档按案由分类，可以看见大概一共2kw左右的文书，实时与裁判文书网同步更新。 2.可以看见文书案例顶部有筛选条件，可以按照日期、法院等筛选。（本爬虫按照日期爬取所有的文书） 3.分析网站内容时发现，点击下一页按钮地址栏的链接并无变化，属于动态网页。 4.使用浏览器自带抓包工具或者fidder,点击下一页按钮，查看http请求。 5.发现记录由/Recod传送，该请求即是需要模拟的请求link，使用requests模拟浏览器直接请求数据库，带上浏览器headers和post data 6.分析得到的url，可以发现start和end参数，我们修改其为我们所需的日期范围。 7.pagesize我们设置为1000，太小页数过多，太大网页加载太慢。pageIndex为页号，其它参数默认。 8.模拟请求数据库，得

天眼查、企查查 公司信息爬虫 使用说明 设置数据源 MysqlConfig = { 'develop': { 'host': '192.168.1.103', 'port': 3306, 'db': 'enterprise', 'username': 'root', 'password': 'root@123' } } 执行db/data.sql生成数据结构 配置IP代理config/settings # 全局代理控制 GLOBAL_PROXY = True PROXY_POOL_URL = "http://localhost:5010" 设置爬取关键字qichacha&tianyancha keys = ['Google'] # 设置爬取列表 crawler.load_keys(keys) c

应用商店爬虫 一个简单的 App Store 应用信息爬虫

sina-weibo-crawler-master

免登录下载微博图片 批量下载特定用户的高清大图。 用法 下载bin/wb.jar 双击运行 或者执行java -jar wb.jar来启动 无法运行? 没有安装JAVA 去安装 按照需求点入相应的信息 由于微博接口变动 目前支持根据ID下载 如果对账号类型有疑问的话，可以参考 等待下载完成即可. So Easy! 更新说明 2017年9月18日 修复显示文件下载目录时出现的ID重复问题 优化代码 服务器上没有后缀名的图片默认设置为jpg格式 2017年9月17日 重构代码 增加了多线程下载，下图的速度更快了~ 修复下载GIF图片时后缀不显示为gif的问题 2018年3月8日 根据的反馈，修正图片URL获取方式。感谢反馈者idtolerate！他发现了问题并且提出了修复代码 重新编译了可执行JAR文件。注意该文件需要在JDK 1.7+上才能运行 2019年10月24日 增加GUI，操作更加人

豆雨弹幕专业版 比功能更加强大智能，界面更加易用，可视化更加科学！（第一个版本其实是用来试水的，为了验证这个想法的可行性。没想到的是收到了那么一点点的星级，这激励我要把这个项目做好，做完整，不能辜负大家的期望。这个版本有两位知乎朋友在认真的使用，反馈问题，非常感谢！） 目前已基本可以使用，不排除还有莫名奇妙的问题，欢迎反馈。 起飞~~~ 功能 开始/暂停抓取弹幕 开启/关闭弹幕墙，支持弹幕飘过速度，弹幕字体大小，可选等设置 抓取弹幕记录查询，下载指定抓取记录所抓取的弹幕，下载全部弹幕 自定义关键字统计 铁粉（发送弹幕最多）统计 高光时刻实时自动捕获，记录，查询，下载高光时刻弹幕 弹幕发送速度实

work_crawler-Setup-2.13.0漫画下载器，下载漫画的工具