Python 模拟爬虫抓取知乎用户信息以及人际拓扑关系,使用scrapy爬虫框架,数据存储使用mongo数据库。   本地运行请注意:爬虫依赖mongo和rabbitmq,因此这两个服务必须正常运行和配置。为了加快下载效率,图片下载是异步任务,因此在启动爬虫进程执行需要启动异步worker,启动方式是进入zhihu_spider/zhihu目录后执行下面命令:   celery -A zhihu.tools.async worker --loglevel=info   爬虫项目部署:   进入zhihu_spider后执行```docker-compose up``` ,进入container后和本地运行方法相同,依次启动mongo、rabbitmq、异步任务、爬虫进程即可。   其它需要说明的问题:   爬虫框架从start\_requests开始执行,此部分会提交知乎主页的访问请求给引擎,并设置回调函数为post_login.   post\_login解析主页获取\_xsrf保存为成员变量中,并提交登陆的POST请求,设置回调函数为after\_login.   after\_login拿到登陆后的cookie,提交一个start\_url的GET请求给爬虫引擎,设置回调函数parse\_people.   parse\_people解析个人主页,一次提交关注人和粉丝列表页面到爬虫引擎,回调函数是parse\_follow, 并把解析好的个人数据提交爬虫引擎写入mongo。   parse\_follow会解析用户列表,同时把动态的人员列表POST请求发送只引擎,回调函数是parse\_post\_follow,把解析好的用户主页链接请求也发送到引擎,人员关系写入mongo。   parse\_post\_follow单纯解析用户列表,提交用户主页请求至引擎。
2021-12-17 09:15:06 1.82MB 其它源码-Python
1
Java Applet程序源码集,包括在Applet中弹出窗口、通过HTML文件向Applet传递参数等,还有一些swing相关应用实例。
2021-12-15 17:43:06 17KB Java源码-其它源码
1
c源码 7-zip压缩算法代码,一种比较快速且压缩比极高的压缩算法,有多个程序版本的代码,这是C代码版本,可研究下C语言压缩文件的相关思路。
2021-12-13 15:32:02 66KB 其它源码-C源码
1
Python 扫雷游戏完整源代码,包括了图片/py/pyc文件,比较完整了,我这Python编译时候说缺少什么库,截图就不发了,这个扫雷游戏可学习到许多使用Python编写游戏的技巧,希望大家下载源码学习参考。
2021-12-10 19:52:12 28KB 其它源码-Python
1
天津工业大学工商学院html版
2021-12-02 21:32:31 577KB 源码下载 其它源码 其他网站源码
1
Python游戏源码,贪吃蛇游戏,这个游戏类似Windows控制台的界面风格,对于贪吃蛇游戏的玩法,这个都知道。再此要说一下编写时候的细节,由于snake是一维数组,蛇头总是位于snake数组的第一个元素,所以对应元素直接加上以下值就表示向四个方向移动,用来代表不同东西的数字,由于矩阵上每个格子会处理成到达食物的路径长度,因此这三个变量间需要有足够大的间隔(>HEIGHT*WIDTH)。   用一维数组来表示二维的东西,board表示蛇运动的矩形场地。初始化蛇头在(1,1)的地方,第0行,HEIGHT行,第0列,WIDTH列为围墙,不可用。
2021-11-23 11:39:33 1.31MB 其它源码-Python
1
百度编辑器UEditor v1.4.3.2 更新日志: 更新 video-js 以修复 XSS 安全漏洞 百度编辑器UEditor简介 百度编辑器Ueditor是由百度web前端研发部开发所见即所得的编辑器,具有轻量,可定制,注重用户体验等特点。 Ueditor基于BSD开源协议,除了具有代码精简、加载迅速的轻量级特质外,还采用了分层理念,使开发者可以根据实际应用和需求自由定制。 Ueditor编辑器划分为了三层架构。其中,核心层为开发者提供了诸如range、selection、domUtils类的底层API接口,中间的命令插件层不仅提供了大量的基础command,还允许开发者基于核心层进行command命令的开发,而面向用户端的界面层则可以提供自由定制的用户交互界面。Ueditor开源编辑器这种拥有可配性的模式,令开发者能够根据自身需要接入任何一层进行开发。 百度编辑器UEditor页面截图展示   相关阅读 同类推荐:站长常用源码
2021-11-23 09:45:29 2.78MB Php源码-其它源码
1
WePush消息批量推送工具是一款专注批量推送的小而美的工具。v4.2.5更新日志feature:定时任务开始执行时重新导入支持标签分组 fix:修复苹果M1芯片笔记本上无法运行的问题WePush消息批量推送工具支持消息类型模板消息-公众号 模板消息-小程序 微信客服消息 微信企业号/企业微信消息 阿里云短信 阿里大于模板短信 腾讯云短信 华为云短信 百度云短信 又拍云短信 七牛云短信 云片网短信 E-Mail HTTP请求WePush消息批量推送工具功能自定义消息并批量推送 支持消息编辑、预览 支持文件导入用户 支持MySQL导入用户 支持微信公众号全员推送 支持定时任务推送WePush消息批量推送工具截图
2021-11-16 10:57:34 11.19MB 源码下载 其它源码 其他网站源码
1
一个页面功能相对完善,界面漂亮的OA办公自动化系统,采用面向对象模式开发 主要功能模块有:    个人考勤:上下班登记 外出登记 请假登记 出差登记 我的考勤记录 外出记录 请假记录 出差记录    工作计划:我的计划 计划管理 日程管理 新建安排 查看安排    通讯录: 联系人维护 员工通讯录 我的分组 增加联系人    内部邮件:发邮件 发件箱 收件箱 草稿箱    投诉意见:投诉意见    个人资料:密码修改 个人资料修改    记事本:查看记事本  新建内容    新闻:  新闻列表    我的会议:会议列表   管理选项有:我的办公桌  公文流转  信息交流  共享硬盘  文件管理 会议管理  办公用品管理 人事管理  系统管理  娱乐工具 帐号: wanglaoshi/wanglaoshi hulaoshi/123456 yuguomin/yuguomin 数据库为SQL2000,在App_Data文件夹中,附加即可!
2021-11-16 10:50:38 2.84MB .Net源码-其它源码
1