本爬虫是根据GitHub开源项目WeiboSpider自改而来。
改动方面：
1，增加了关键词爬虫，可以根据设置的关键词列表获取近期有关的微博内容（默认为50页），爬取的字段符合该项目其他功能的要求。
2，爬取的逻辑为，关键词到微博到评论到用户关系，将原来的本地CSV读取改为数据库操作，增加了爬虫的效率和数据的可分析性。
3，将时间戳改为人类可读的时间。
4，其他一些细小的方面。
适合的人群：
1，对爬虫技术感兴趣的人
2，需要分析微博数据的人
注：readme文档为源代码的文档，要查看关键词爬虫，请看spider下的keyword.py。并更改相关数据库名称，和cookie。
2021-11-09 18:00:22
34.67MB
python爬虫实战，爬取拉勾网全站职位（CrawlSpider），思路如下：
1.首先类似于 https://www.lagou.com/jobs/2182417.html 这样的链接是最终要的url。基本都是差不多，要变的就是那一串数字，编写正则表达式匹配就好。
2.除了首页还有其他地方也能找到这样的url，所以我先匹配职位分类的url 例如：https://www.lagou.com/zhaopin/Java/，在抓取最终的url。
3.scrapy会自动去重。
2021-11-06 20:07:42
6KB
1
主要介绍了Python爬虫实例——scrapy框架爬取拉勾网招聘信息的相关资料，文中讲解非常细致，代码帮助大家更好的理解和学习，感兴趣的朋友可以了解下
2021-10-19 20:45:05
596KB
1
课程——Python高级爬虫实战-加密、破解、JS逆向、海量数据存储等，完整版11章，2021年10月完结！
对爬虫工程师来说，突破反爬是一项重要但并不容易掌握的工作能力，因为反爬涉及的技术领域广泛，知识庞杂，网上也缺乏体系教程。不过别担心，本课中，爬虫技术专家带你深度了解Web端反爬策略，并教你用多手段、多方法破解反爬技术，向高级爬虫工程师晋级，挑战高薪。
2021-10-19 14:06:33
710B
1
抓取B站弹幕数据。
弹幕dmid，唯一 可用于操作参数
视频内弹幕出现时间，毫秒
弹幕类型，1 2 3：普通弹幕 4：底部弹幕 5：顶部弹幕 6：逆向弹幕 7：高级弹幕 8：代码弹幕 9：BAS弹幕（仅限于特殊弹幕专包）
弹幕字号，18：小 25：标准 36：大
弹幕颜色，十进制RGB888值
发送者mid的HASH，用于屏蔽用户和查看用户发送的所有弹幕 也可反查用户id
弹幕内容，utf-8编码
弹幕发送时间，时间戳
权重，用于智能屏蔽，根据弹幕语义及长度通过AI识别得出 范围：[0-10] 值越大权重越高
动作？，作用尚不明确
弹幕池，0：普通池 1：字幕池 2：特殊池（代码/BAS弹幕）
2021-10-13 18:04:17
26.3MB
1. 仅下载当天最新、热点的时事新闻；
2. 不同网站的新闻保存在不同文件夹中，并记录每篇新闻的来源、标题、发布时间、下载时间、url地址等信息；
3. 爬虫初始种子：
新浪：news.sina.com.cn
搜狐：news.sohu.com
凤凰：news.ifeng.com
网易：news.163.com
百度：news.baidu.com
4. 主要编程语言为Python
2021-10-12 18:58:52
9.79MB
1