基于Scrapy框架的Python3就业信息Jobspiders爬虫
Items.py : 定义爬取的数据
pipelines.py : 管道文件，异步存储爬取的数据
spiders文件夹 : 爬虫程序
settings.py : Srapy设定，请参考
scrapy spider
爬取三大知名网站,使用三种技术手段
第一种直接从网页中获取数据，采用的是scrapy的基础爬虫模块，爬的是51job
第二种采用扒接口,从接口中获取数据，爬的是智联招聘
第三种采用的是整站的爬取,爬的是拉钩网
获取想要的数据并将数据存入mysql数据库中，方便以后的就业趋势分析
实现功能：
从三大知名网站上爬取就业信息，爬取发布工作的日期，薪资，城市，岗位有那些福利，要求，分类等等，并将爬到的数据存到mysql数据库中
使用教程：
运行前需要安装的环境
Python3 Ubantu16.04自带，sudo ap
2021-07-15 09:16:44
16.83MB
1
sina图片爬虫，依据一个博客id来查询所关注的相关博客的id，然后将这些所有的id来爬取相应的图片，需要修改相应页面（主要包括个人关注页面与个人图片展示页面）的cookies，具体可以见代码中说明
2021-07-14 10:09:23
7KB
1
grunt-spider-script v0.0.9
将蜘蛛脚本编译成 javascript。
入门
这个插件需要 Grunt。
如果您以前没有使用过 ，请务必查看指南，因为它解释了如何创建以及安装和使用 Grunt 插件。 熟悉该过程后，您可以使用以下命令安装此插件：
npm install grunt-spider-script --save-dev
安装插件后，可以使用以下 JavaScript 代码在 Gruntfile 中启用它：
grunt . loadNpmTasks ( 'grunt-spider-script' ) ;
“spider_script”任务
概述
在项目的 Gruntfile 中，将名为spider_script的部分添加到传递给grunt.initConfig()的数据对象中。
grunt . initConfig ( {
spider
2021-07-11 13:03:25
12KB
1
一 下载
spider主页http://www.kyb.mpg.de/bs/people/spider/ （也可以在google上搜索spider matlab得到），关于它的介绍可以参考网址资料。
二 安装
使用时为matlab+spider+Weka；因为spider中的一些算法引用了Weka，比如j48
安装注意：
1? ?matlab7（R14）
??6.5版本对java的支持不够，还没有开发javaclasspath等函数
??? Undefined function or variable 'javaclasspath'.
??? Undefined function or variable 'javaaddclasspath'.
2? ?jre1.4.2
matlab7自带的是1.4.2；matlab6自带的是1.3.可以在D:\MATLAB7\sys\java\jre\win32下看到。如果装了matlab7，使用它自带的1.4.2就可以了，尤其不要使用1.6，因为1.6太新了，matlab还不支持。可以在Matlab下使用 version -java查看JVM版本。
如果你想使用1.5的话，C:\Program Files\Java\jre1.5.0_10；把jre1.5.0_10这个文件夹拷贝到D:\MATLAB7\sys\java\jre\win32下，然后增加环境变量MATLAB_JAVA：D:\MATLAB7\sys\java\jre\win32\jre1.5.0_10。这一步如果有问题的话，重启Matlab会给出错误提示。找不到什么什么文件...
3? ?Weka3.4.10
??使用weka版本低一些即可，高的不行，因为高版本的weka可能是用高版本的jvm支持的。
我使用的组合是 matlab7（R14）+jre1.4.2（matlab7自带的，不需要任何设置）+Weka3.4.10
2021-07-11 09:06:12
201KB
历年高考录取分数线数据，使用语言： python3.7 ，原生爬虫代码，练手项目，适合学习 python3 的程序员研究学习参考。
2021-07-04 12:32:35
15KB
1
萤火虫
Firefly 是 Cornell Spider 的一个分支，在 UIUC 为伊利诺伊州社会安全号码修复项目创建。
Firefly 的用户界面大大简化，以两个简单的“播放”和“暂停”按钮为中心。 这使我们能够部署 Firefly 以供大多数校园用户使用，而 IT 专业人员的帮助最少。
Firefly 源代码自 2007 年以来一直没有更新，因此可能与现代 Windows 系统不兼容。
有关伊利诺伊州 SSN 补救项目的更多信息： :
有关 Cornell Spider 的更多信息： :
问题
作为 UIUC 的原始开发人员，并且很乐意回答其他学校的任何问题，这些学校考虑使用 Firefly 或 Cornell Spider 来进行他们自己的 SSN 修复工作。
2021-07-02 15:03:53
1.42MB
1
该案例相对完整，欢饮下载交流。有疑问，可以留言，一起交流探讨并发掘爬虫世界的美！该案例结构清晰，注释明了，可以使大家很好地理解scrapy爬虫框架。
2021-06-30 23:01:43
6.24MB
1
项目说明
最新的自动爬取微信公众号的实时更新文章，历史文章的爬虫，帮助广大站长，懒虫，社会精英，商界达人提高工作效率。
支持Linux，Windows，Mac系统，可无限扩展爬取数量，提高爬取速度，无被封风险。
主要功能
【基础版】爬取公众号的实时更新文章（准确和实时性远超搜狗微信搜索功能）
【基础版】根据关键词（标题，正文，作者），设置不爬取某些文章或者只爬取某些文章
【升级版】对公众号进行自动的评论，点赞，转发
【升级版】对朋友圈内容进行评论，点赞
【升级版】爬取历史文章
开发时间
2018年至今（2021年3月）
参考爬取公众号文章效果
获取方式
请注意”加入星球需求估计，此项目需要另外追加购买”
2021-06-30 12:21:57
76KB
1