一个Python开发的爬虫实例，可用于学习网络爬虫技术新手快速理解

在scrapy框架里爬取拉勾网职位信息，利用抓包工具，构造请求头和formdata，利用cookie，实现资源的爬取（最新拉钩网反爬虫破解） Pipelins中包含写入本地json、mongoDB、mysql（同步）、mysql（异步），可通过settings设置选用

Python基础练习文件源码，里面有py文件，代码注释等等 大概有 Break退出循环语句 continue跳过本次循环继续下次循环 count计算次数 def自定义函数 Dic字典 difference差异对比 Do----While循环语句 Find查找函数 Format格式化 For循环语句 If--else语句 list列表 Mkdir新建文件夹函数 None无对象 OS系统 Pass占位符 Pass跳过语句 Print大全 Python下载网站 replace替换 Set交集 Set我有你没有 Set抛出重复 Sort排序 Split拆分函数 Time时间函数（延时休眠） Turtle画画 Type字符串类型 Update打碎字符串 white写入文件 XY轴图表 列出当前文件夹所有文件目录 发送邮件 坐标图表 字母大小写 字符串函数 字符串格式化 打开文件夹-打开文件 文件之间导入带出 是否包含字符 是否存在文件夹 最大值函数 查找字符串出现位置 测试文件 爬虫 生成二维码 生成索引号 生成随机数 类型转换 素描画 读取文件 运算符 进制 阅读代码 随机数字+字母组合（指定长度） 饼图 验证收费功能

上篇关于爬虫的文章，我们讲解了如何运用Python的requests及BeautifuiSoup模块来完成静态网页的爬取，总结过程，网页爬虫本质就两步： 1、设置请求参数（url，headers，cookies，post或get验证等）访问目标站点的服务器； 2、解析服务器返回的文档，提取需要的信息。 而API的工作机制与爬虫的两步类似，但也有些许不同： 1、API一般只需要设置url即可，且请求方式一般为“get”方式 2、API服务器返回的通常是json或xml格式的数据，解析更简单 也许到这你就明白了，API简直就是开放的“爬虫”呀，可以告诉你，基本就是这个意思。好的，言归正传，本篇我们

配套教程：Scrapy+MongoDB爬虫实例教程 https://blog.csdn.net/GreatXiang888/article/details/113485931 B站上还有我录的视频讲解

注释详细，帮助短时间消化学会使用python3爬虫，了解并学习使用requests、lxml、xlwt库。实列中以爬豆瓣电影为例，并下载到表格中。

对应的详细说明请看 http://blog.csdn.net/u012175089/article/details/60962685 内容简单，用来学习非常适合

用宇宙第一IDE学习Python很简单，不用复杂的配置环境，下载了就能用，环境变量什么都不用管，重点是中文看起来舒服极了。绝对比其它IDE方便。这是学习爬虫的入门实例1

使用scrapy爬虫框架爬取京东/天猫/滚雪球等主流网站，并存入mongodb数据库中

一个基于Java的WebSocket爬虫示例，用于模拟客户端请求服务器，建立WebSocket连接，抓取对方数据，测试为某直播网站。运行时需要获取一个正在直播的网页地址，运行项目下的YizhiboView.java类。