Python 模拟爬虫抓取知乎用户信息以及人际拓扑关系，使用scrapy爬虫框架，数据存储使用mongo数据库。
本地运行请注意：爬虫依赖mongo和rabbitmq，因此这两个服务必须正常运行和配置。为了加快下载效率，图片下载是异步任务，因此在启动爬虫进程执行需要启动异步worker，启动方式是进入zhihu_spider/zhihu目录后执行下面命令:
celery -A zhihu.tools.async worker --loglevel=info
爬虫项目部署：
进入zhihu_spider后执行```docker-compose up``` ，进入container后和本地运行方法相同，依次启动mongo、rabbitmq、异步任务、爬虫进程即可。
其它需要说明的问题：
爬虫框架从start\_requests开始执行，此部分会提交知乎主页的访问请求给引擎，并设置回调函数为post_login.
post\_login解析主页获取\_xsrf保存为成员变量中，并提交登陆的POST请求，设置回调函数为after\_login.
after\_login拿到登陆后的cookie，提交一个start\_url的GET请求给爬虫引擎，设置回调函数parse\_people.
parse\_people解析个人主页，一次提交关注人和粉丝列表页面到爬虫引擎，回调函数是parse\_follow, 并把解析好的个人数据提交爬虫引擎写入mongo。
parse\_follow会解析用户列表，同时把动态的人员列表POST请求发送只引擎，回调函数是parse\_post\_follow，把解析好的用户主页链接请求也发送到引擎，人员关系写入mongo。
parse\_post\_follow单纯解析用户列表，提交用户主页请求至引擎。
2021-12-17 09:15:06
1.82MB
1
主要为大家详细介绍了Material Design系列之Behavior实现Android知乎首页的相关资料,具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2021-12-16 10:13:41
126KB
1
最近基于jQuery和Bootstrap框架实现了一个仿知乎动态列表的前端效果，基本实现了和知乎动态列表相同的效果。如下：
1.基本列表项
2.列表项全文展开、折叠（图中为展开第一项）
3.评论项展开
4.列表数据加载（加载全部）
5.带动画效果的点赞功能
6.回复列表的hover显示功能
HTML代码如下：
<!DOCTYPE html>
<html>
<head>
<meta charset="utf-8" />
<meta http-equiv="X-UA-Compatible" content="IE=EmulateIE9" />
<meta name="viewport
2021-12-15 21:04:19
310KB
1
智虎
项目设置
yarn install
编译和热重装以进行开发
yarn serve
编译并最小化生产
yarn build
整理和修复文件
yarn lint
自定义配置
请参阅。
2021-12-15 19:40:31
115KB
1
主要介绍了JavaWeb开发之模仿知乎首页完整代码的相关资料,非常不错，具有参考借鉴价值，需要的朋友可以参考下
2021-12-14 11:33:20
64KB
1