pkulaw_spider 爬取北大法宝网 1.打开网站，导航栏点击司法案例，看左边法律文档按案由分类，可以看见大概一共2kw左右的文书，实时与裁判文书网同步更新。 2.可以看见文书案例顶部有筛选条件，可以按照日期、法院等筛选。（本爬虫按照日期爬取所有的文书） 3.分析网站内容时发现，点击下一页按钮地址栏的链接并无变化，属于动态网页。 4.使用浏览器自带抓包工具或者fidder,点击下一页按钮，查看http请求。 5.发现记录由/Recod传送，该请求即是需要模拟的请求link，使用requests模拟浏览器直接请求数据库，带上浏览器headers和post data 6.分析得到的url，可以发现start和end参数，我们修改其为我们所需的日期范围。 7.pagesize我们设置为1000，太小页数过多，太大网页加载太慢。pageIndex为页号，其它参数默认。 8.模拟请求数据库，得

该项目已不再维护 前提说明 1.拉勾网搜索页面一般都只展示30页、每页15个职位信息，一次搜索约450条 2.拉勾网反爬虫机制更新频繁，直接解析Ajax请求容易触发反爬虫机制（提示：”msg”:”您操作太频繁,请稍后再访问”），浏览器也无法访问。 3.解析这个Ajax请求前发起GET请求获取当前会话session, 可在某程度上解决第2点, 但在频繁请求后仍会触发反爬虫机制, 被Ban IP 开发设计 1.可构建大量代理IP池, 通过不断更换代理IP的方式, 解析Ajax请求进行爬取 2.亦可使用 selenium 浏览器自动化测试框架驱动谷歌浏览器, 模拟人使用浏览器查看网页的过程获取数据 3.此程序使用第2点解决方案, 使用 selenium 模拟人操作 4.搜索页和详情页请求过快便会跳出来登录页面, 连续请求10个详情页也会弹出登录页面, 因此此程序需要登录 5.在第一次登录后将保存

百度图片爬取。开箱即用。找了很多资源都不能用，浪费积分。这个亲测可用，打包成exe。

baike_spider，百科爬取

QQ-Groups-Spider-master

java实现爬虫

##Weibo_Spider 微博爬虫 爬取内容：微博内容、账号、发表时间、点赞数、转发数、评论数 存储方式：将爬取内容存储到mongo数据库中 注意：只需要更改微博账号的ID 更新时间：2017.11.18 如有问题：联系 增加定时爬取 更新时间2018.1.30 环境 Python3.6+Mongo数据库 填写自己的微博账号名 整理自己爬取的微博账号的ID 直接运行main.py文件

qichacha-spider 爬取企查查网站上面登记的企业信息 脚本文件说明 qichachaspider.py 爬虫脚本 qichachaspider.2.0.py 新页面的爬虫脚本 qichacha_company.csv 数据保存的CSV文件，自动生成 脚本目前只爬取广东地区的企业信息，如果需要请更改脚本的URL地址 网站页面修改了，重新编写获取电话、邮箱、官网和地址的代码，新脚本为qichachaspider.2.0.py 如果获取的电话号码和邮箱地址不显示，请添加登录后的网站cookies然后在contentPage(url)中的requets.get()中添加cookies=cookies,然后再执行爬虫 如果内容页打不开或者自动跳转到首页导致获取不到内容，请使用代理再运行爬虫脚本 代码修改进行中 2018-06-1

#####使用python开发定向抓取器mini_spider.py，实现对种子链接的广度优先抓取，并把URL长相符合特定pattern的网页保存到磁盘上。 程序运行: python mini_spider.py -c spider.conf #####配置文件spider.conf: [spider] url_list_file: ./urls ; 种子文件路径 output_directory: ./output ; 抓取结果存储目录 max_depth: 1 ; 最大抓取深度(种子为0级) crawl_interval: 1 ; 抓取间隔. 单位: 秒 crawl_timeout: 1 ; 抓取超时. 单位: 秒 target_url: .*.(gif|png|jpg|bmp)$ ; 需要存储的目标网页URL pattern(正则表达式) thread_count: 8 ; 抓取线程

JS前端数据缓存，用于富交互的前端数据缓存