使用scrapy,redis, mongodb,graphite实现的一个分布式网络爬虫,底层存储mongodb集群,分布式使用redis实现, 爬虫状态显示使用graphite实现。这个工程是我对垂直搜索引擎中分布式网络爬虫的探索实现，r， 将其网站的书名，作者，书籍封面图片，书籍概要，原始网址链接，书籍下载信息和书籍爬取到本地：分布式使用redis实现，redis中存储了工程的request，stats信息，能够对各个机器上的爬虫实现集中管理，。
2024-06-28 15:09:25
9.74MB
1
使用Scrapy,Redis,MongoDB实现的一个分布式网络爬虫,底层存储MongoDB,分布式使用Redis实现
2022-05-08 18:23:07
2.94MB
1
基于WEB的分布式网管系统和基于移动代理的分布式网管系统，并分析和讨论了这两种体系结构在实际应用中的优点和缺点。
2022-04-20 13:26:58
44KB
1
基于分布式网络爬虫的站点分析系统设计与实现，王朴野，，随着互联网的不断发展，网络中可获取的数据量呈爆炸式增长。为了批量的获取网络信息，分析网站架构及内容，网络爬虫技术应运而生
2021-12-03 22:36:17
258KB
1
本论文提出一种完全去中心化的分布式网络社区系统的设计， 该网络社区系统
与传统网络社区系统的不同之处在于，该系统将不再需要任何中心服务器来提供和
存储数据， 而是由参与进系统的所有计算机节点共同维护整个系统。 系统使用区块
链技术和分布式共识技术构建出灵活而可靠的去中心化的分布式结构，并结合现代
加密技术中的加密散列算法和数字签名算法来保障系统的安全性
2021-11-28 19:07:16
1.38MB
1
分布式网络中节点可信度评估方法的研究与仿真，张雅茹，，分布式网络作为分布式环境下网络节点可信评估方法的研究一种新型的网络结构，分布式网络的工作负载承载在网内各节点上，网络中节
2021-10-13 09:32:52
456KB
1
本项目所述系统采用ZigBee构建定位网络和数据网络，其中节点采用以高性能FPGA为核心，配置低功耗CMOS摄像头模组，实现移动物体的定位、跟踪和图象处理及传输功能。系统以智能检测技术确定运动物体所在的敏感区域，激活该区域内节点运行图象处理算法，提取运动物体的准确位置、行为状态，并将图象传输至监控中心。
2021-09-26 20:03:08
103KB
1