多线程爬图片

行业资料-交通装置-一种油罐车爬梯护栏联动装置.zip

爬虫获取线报

##Weibo_Spider 微博爬虫 爬取内容：微博内容、账号、发表时间、点赞数、转发数、评论数 存储方式：将爬取内容存储到mongo数据库中 注意：只需要更改微博账号的ID 更新时间：2017.11.18 如有问题：联系 增加定时爬取 更新时间2018.1.30 环境 Python3.6+Mongo数据库 填写自己的微博账号名 整理自己爬取的微博账号的ID 直接运行main.py文件

仅仅只是教学源码，并非专业爬虫 所用到库，requests，bs4，re，json，time，os 代码可运行，可适当根据自身情况调整爬取频率，即 time.sleep() 中的间隔时间

TuShare是实现对股票/期货等金融数据从**数据采集**、**清洗加工** 到 **数据存储**过程的工具

此资源仅供学习用途，当前selenium都是基于无头模式的firefox或者chrome等浏览器进行爬虫抓取，天眼查的反爬技术算是很不错的，仅仅用于个人学习用，并不可以进行大数据的爬取 技术： python selenium 爬虫 模拟登陆 xpath css选择器 可自己装proxy 想添加翻页功能可以参考里面的代码模板 也可以加我QQ问;必须将deckodriver放在相同路径 记住：自己输入账号和密码！每次输入之后都要回车！

qichacha-spider 爬取企查查网站上面登记的企业信息 脚本文件说明 qichachaspider.py 爬虫脚本 qichachaspider.2.0.py 新页面的爬虫脚本 qichacha_company.csv 数据保存的CSV文件，自动生成 脚本目前只爬取广东地区的企业信息，如果需要请更改脚本的URL地址 网站页面修改了，重新编写获取电话、邮箱、官网和地址的代码，新脚本为qichachaspider.2.0.py 如果获取的电话号码和邮箱地址不显示，请添加登录后的网站cookies然后在contentPage(url)中的requets.get()中添加cookies=cookies,然后再执行爬虫 如果内容页打不开或者自动跳转到首页导致获取不到内容，请使用代理再运行爬虫脚本 代码修改进行中 2018-06-1

这是一个爬取互联网开放的POI数据以及POI边界坐标代码集，包括高德和百度地图，可以爬取指定经纬度范围或者指定城市/省份的POI数据以及POI边界坐标(目前仅限百度)。 相关网站 百度地图开放平台： 百度地图开放平台-POI地点检索接口文档： 高德地图开放平台： 高德地图开放平台-POI地点检索接口文档： Uber小姐姐开发的一个超级炫酷的地图可视化平台： (也欢迎访问我的网站上的地址： ，功能一样的) 开放路网地图： 代码目录介绍 baidu 百度地图POI数据爬取(WGS84坐标系) app.py 程序入口文件 data 存放爬取的POI数据目录 boundary 百度POI边界坐标爬取目录 POI边界爬取结果存放目录 gaode 高德地图POI数据爬取 poi-city 划分行政区划来爬取指定城市范围内的POI数据 poi-pology 划分矩形网格来爬取指定城市的POI数据 p

java图片爬取神器，下载即可爬取，亲测有效。