动态加载网页的爬取-v3

baike_spider，百科爬取

多线程爬图片

行业资料-交通装置-一种油罐车爬梯护栏联动装置.zip

爬虫获取线报

##Weibo_Spider 微博爬虫 爬取内容：微博内容、账号、发表时间、点赞数、转发数、评论数 存储方式：将爬取内容存储到mongo数据库中 注意：只需要更改微博账号的ID 更新时间：2017.11.18 如有问题：联系 增加定时爬取 更新时间2018.1.30 环境 Python3.6+Mongo数据库 填写自己的微博账号名 整理自己爬取的微博账号的ID 直接运行main.py文件

仅仅只是教学源码，并非专业爬虫 所用到库，requests，bs4，re，json，time，os 代码可运行，可适当根据自身情况调整爬取频率，即 time.sleep() 中的间隔时间

TuShare是实现对股票/期货等金融数据从**数据采集**、**清洗加工** 到 **数据存储**过程的工具

此资源仅供学习用途，当前selenium都是基于无头模式的firefox或者chrome等浏览器进行爬虫抓取，天眼查的反爬技术算是很不错的，仅仅用于个人学习用，并不可以进行大数据的爬取 技术： python selenium 爬虫 模拟登陆 xpath css选择器 可自己装proxy 想添加翻页功能可以参考里面的代码模板 也可以加我QQ问;必须将deckodriver放在相同路径 记住：自己输入账号和密码！每次输入之后都要回车！

qichacha-spider 爬取企查查网站上面登记的企业信息 脚本文件说明 qichachaspider.py 爬虫脚本 qichachaspider.2.0.py 新页面的爬虫脚本 qichacha_company.csv 数据保存的CSV文件，自动生成 脚本目前只爬取广东地区的企业信息，如果需要请更改脚本的URL地址 网站页面修改了，重新编写获取电话、邮箱、官网和地址的代码，新脚本为qichachaspider.2.0.py 如果获取的电话号码和邮箱地址不显示，请添加登录后的网站cookies然后在contentPage(url)中的requets.get()中添加cookies=cookies,然后再执行爬虫 如果内容页打不开或者自动跳转到首页导致获取不到内容，请使用代理再运行爬虫脚本 代码修改进行中 2018-06-1