自己学习爬虫的时候写的每一个例子，每个例子里面都有自己的注释和解析，总共大概有几十个例子，包括百度贴吧，糗事百科，音乐，图片，代理等等很多内容，因为上传的文件大小有限制，所以删减了部分，大部分都是可以直接运行的代码，少部分当时没调试，都可以看一下，里面有详细注解，当时自己学的时候比较麻烦，所以想给新手一个很有用的资源，另外自己比较缺资源分，所以这里可能需要想下的人稍微给点分了。哈哈，欢迎评论，有什么不明白的可以在资源下方说，我看到了会回复的。

摘 要 随着社会经济的快速发展，城镇化的加速建设，房地产交易越来越火，尤其二手房交易市场居高不下，互联网涌现大批网上二手房交易网站，但是由于提供的房源质量参差不齐，对于个人用户的需求不够精确，无法做到房源精准投放，因此需要实现二手房房源推荐系统来解决用户需求，而房源推荐系统的实现首要就是需要获得足够多的房源信息，所以本毕设通过实现二手房数据爬取系统来爬取房源数据，为房源推荐系统提供数据支持。 本系统使用多线程多端爬虫的优势，设计一个基于Redis的分布式主题爬虫。本系统采用Scrapy爬虫框架来开发，使用Xpath网页提取技术对下载网页进行内容解析，使用Redis做分布式，使用MongoDB对提取的数据进行存储，使用Django开发可视化界面对爬取的结果进行友好展示，设计并实现了针对链家网二手房数据的分布式爬虫系统。 经过开发验证，本系统可以完成对链家二手房房源数据的分布式爬取，可以为房源推荐系统提供数据支持，也可以为数据分析师提供二手房数据分析的数据源。 关键词：二手房：分布式爬虫：Scrapy：可视化

利用python3的requests请求库和re正则表达式模块，爬取猫眼电影排行，并存储到MySQL数据库中。

本系列课程为Python实战系列课程：使用微信控制电脑，使用Python的Web框架Flask搭建网页， 并使用网页控制电脑；使用wxPython编写图形化的程序，并进一步将这个程序发展为远程控制程序。 课程目录: |--|----|----1 微信远控：Python 控制电脑的两种方法 |--|----|----|----1 课程介绍.mp4 |--|----|----|----2 命令提示符 CMD 入门.mp4 |--|----|----|----3 Python 执行 CMD 命令.mp4 |--|----|----|----4 Python 调用 Win API.mp4 |--|----|----2 微信远控：让微信控制电脑 |--|----|----|----1 微信控制电脑原理.mp4 |--|----|----|----2 新浪邮箱的设定.mp4 |--|----|----|----3 Python 收发邮件.mp4 |--|----|----|----4 微信控制电脑的实现.mp4 |--|----|----|----5 沙盘化的微信远控.mp4 |--|----|----3 Flask 快速搭建网站 |--|----|----|----1 课程介绍.mp4 |--|----|----|----2 Flask 与 BootStrap 搭建网页.mp4 |--|----|----|----3 Flask 操作数据库.mp4 |--|----|----4 网页控制电脑 |--|----|----|----1 课程介绍.mp4 |--|----|----|----2 建立通信.mp4 |--|----|----|----3 轮询与推送.mp4 |--|----|----|----4 网页控制电脑.mp4 |--|----|----5 Python 图形程序入门 |--|----|----|----1 wxPython 介绍与安装.mp4 |--|----|----|----2 基本控件介绍与绝对布局.mp4 |--|----|----|----3 控件相对布局.mp4 |--|----|----|----4 多线程与事件.mp4 |--|----|----6 编写图形界面的远程控制程序 |--|----|----|----1 远程控制程序的需求分析.mp4 |--|----|----|----2 Socket 通信.mp4 |--|----|----|----3 受控端功能强化.mp4 |--|----|----|----4 远程控制软件的实现与测试.mp4 |--|----|----7 开发远程控制程序高级功能 |--|----|----|----1 高级功能概述.mp4 |--|----|----|----2 读写剪贴板.mp4 |--|----|----|----3 使用 Python 截图.mp4 |--|----|----|----4 Python 上传文件.mp4 |--|----|----|----5 结课总结.mp4

java根据自定义json格式规则抓取新浪新闻、百度新闻、微博动态内容的网络爬虫源码 例子中的源码功能： 导入Hbase的jar包即可直接返回Put对象数据、可以返回map对象数据、支持自定义json格式抓取指定网页的内容、抓取指定时间段内容、抓取指定关键内容、对新闻进行正负面分类、对时间的格式进行了统一的维护、可抓取指定（页数/条数）内容、原始json规则可抓取信息：标题、url链接、内容、时间、来源

前言 本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。 一个简单的Python资讯采集案例，列表页到详情页，到数据保存，保存为txt文档，网站网页结构算是比较规整，简单清晰明了，资讯新闻内容的采集和保存！ 应用到的库 requests，time，re，UserAgent，etree import requests,time,re from fake_useragent import UserAgent from lxml import etree 列表页面 列表页，链接xpath解析 href_list=req.x

最低积分，适用于puppeteer, selinium爬虫的浏览器特征补全插件

Java根据关键词爬取视觉中国图片jar包，下载后直接通过修改配置文件clawer.properties中的数据，点击start.bat文件直接运行即可下载图片。

用c++实现了爬虫的基本功能，url判重，宽度优先搜索，域名有效判断等

爬取当当网上的医书，进行数据分析