scrapy爬取纵横小说网月票榜，并用django框架进行简单分析展示，并且包含设计文档，和ppt

来自github

某乐播的app 代码，反编译学习使用，仅用于研究和学习使用，禁止将相关技术应用到不正当途径，如侵犯隐私或权益，请联系我立即删除

1、Scrapy的简介。 主要知识点：Scrapy的架构和运作流程。 1搭建开发环境： 主要知识点：Windows及Linux环境下Scrapy的安装。 2、Scrapy Shell以及Scrapy Selectors的使用。 3、使用Scrapy完成网站信息的爬取。 主要知识点：创建Scrapy项目(scrapy startproject)、定义提取的结构化数据(Item)、编写爬取网站的 Spider 并提取出结构化数据(Item)、编写 Item Pipelines 来存储提取到的Item(即结构化数据)。

#使用requsets库的简单Python爬虫练习 #练习使用xlsxwriter对Excel进行操作 #主要功能，抓取此时的抖音的热度上升榜和热搜榜写入Excel中

Python爬取煎蛋网图片： 利用requests库请求网页；利用lxml库，配合xpath语法，解析网页，提取图片地址；最后以二进制方式保存到文件夹中。代码爬取了5页网址图片，有下载提示。

通过Python写的下载搜狗图片的源码

Python爬虫实例-爬取豆瓣Top250-保存为表格

本爬虫是根据GitHub开源项目WeiboSpider自改而来。 改动方面： 1，增加了关键词爬虫，可以根据设置的关键词列表获取近期有关的微博内容（默认为50页），爬取的字段符合该项目其他功能的要求。 2，爬取的逻辑为，关键词到微博到评论到用户关系，将原来的本地CSV读取改为数据库操作，增加了爬虫的效率和数据的可分析性。 3，将时间戳改为人类可读的时间。 4，其他一些细小的方面。 适合的人群： 1，对爬虫技术感兴趣的人 2，需要分析微博数据的人 注：readme文档为源代码的文档，要查看关键词爬虫，请看spider下的keyword.py。并更改相关数据库名称，和cookie。

python爬虫实战，爬取拉勾网全站职位（CrawlSpider），思路如下： 1.首先类似于 https://www.lagou.com/jobs/2182417.html 这样的链接是最终要的url。基本都是差不多，要变的就是那一串数字，编写正则表达式匹配就好。 2.除了首页还有其他地方也能找到这样的url，所以我先匹配职位分类的url 例如：https://www.lagou.com/zhaopin/Java/，在抓取最终的url。 3.scrapy会自动去重。