使用scrapy,redis, mongodb,graphite实现的一个分布式网络爬虫,底层存储mongodb集群,分布式使用redis实现, 爬虫状态显示使用graphite实现。这个工程是我对垂直搜索引擎中分布式网络爬虫的探索实现,r, 将其网站的书名,作者,书籍封面图片,书籍概要,原始网址链接,书籍下载信息和书籍爬取到本地:分布式使用redis实现,redis中存储了工程的request,stats信息,能够对各个机器上的爬虫实现集中管理,。
2024-06-28 15:09:25 9.74MB python 分布式 毕业设计 爬虫
1
seata分布式事务0.9.0
2024-06-25 15:15:37 64.76MB seata 分布式事务
1
一步一图,详细介绍项目中22个生产级技术方案设计和代码落地,并对代码落地后的方案,部署到阿里云端环境进行演示和性能压测
2024-06-22 08:21:02 453.09MB 分布式 Java RocketMQ 分布式事务
1
第一章 项目概述:授课思路、代码规范、云端部署 第二章 生单链路中的技术问题分析和代码落地 第三章 预支付中的技术问题分析和代码落地 第四章 支付成功后的履约场景问题分析和代码落地 第五章 阿里云生产环境部署演示 第六章 超时自动取消订单场景中的问题分析和代码落地 第七章 取消订单全链路技术问题分析和代码落地 第八章 售后退货全链路业务场景分析和技术方案落地 第九章 重构生单链路技术方案 第十章 支付回调到推送履约的方案重构 第十一章 在履约业务中引入Saga长事务 第十二章 订单逆向链路:手动取消订单的方案重构 第十三章 订单逆向链路:售后退货的技术方案重构 第十四章 订单逆向链路:缺品退款的技术方案重构 第十五章 重构:修复代码中的“坏味道” 第十六章 基于XXL-Job分布式调度实现自动关单 第十七章 在阿里云生产环境对订单正向链路进行压力测试 第十八章 并发压测下的库存数据错乱问题分析和修复 第十九章 库存日志错乱和扣减库存接口超时的问题分析 第二十章 订单系统高并发压测下的性能分析调优 第二十一章 订单系统的流控体系和防雪崩体系设计实战
2024-06-22 08:19:48 210.64MB 分布式 分布式锁 RocketMQ 分布式事务
1
完全按照互联网一线大厂编码规范开发,对多个生产级技术方案进行代码落地、生产环境部署、以及大流量下的性能压测
2024-06-22 08:18:18 106.14MB 分布式 Java 分布式事务 分布式锁
1
elastic-job-lite-console-3.0.0.M1-SNAPSHOT.tar.gz netcat-win32-1.12.zip ZooInspector.zip zookeeper-3.4.9.tar.gz cron表达式详解.doc
2024-06-22 03:37:53 37.43MB elastic-job 分布式任务调度 zookeeper
1
分布式系统实验报告 分布式系统实验报告.pdf 文件是一个详细的实验报告,涵盖了分布式系统的多个方面,包括数据包 socket 应用、流式 socket 应用、客户/服务器应用开发、虚拟机的使用与 Linux 系统的安装等。下面是从该文件中提取的知识点: 一、实验目的 * 了解分布式系统的基本概念和原理 * 使用 socket 编程实现数据传输 * 了解流式 socket 的应用 * 了解客户/服务器应用的开发 * 了解虚拟机的使用和 Linux 系统的安装 二、实验环境 * 操作系统:Linux * 编程语言:C 语言 * 开发工具:GCC * 实验平台:PC 机或虚拟机 三、实验原理 * 分布式系统的定义和特点 * socket 编程的基本概念和原理 * 流式 socket 的工作原理 * 客户/服务器应用的架构和原理 * 虚拟机的工作原理和应用 四、实验内容 * 实验一:数据包 socket 应用 + 实现客户端和服务器端之间的数据传输 + 使用 socket 编程实现数据包的发送和接收 * 实验二:流式 socket 应用 + 实现流式 socket 的建立和连接 + 使用流式 socket 实现数据的传输 * 实验三:客户/服务器应用开发 + 设计和实现客户/服务器应用的架构 + 实现客户端和服务器端之间的数据交换 * 实验九:虚拟机的使用与 Linux 系统的安装 + 安装和配置虚拟机 + 安装和配置 Linux 系统 五、实验报告 * 分布式系统实验报告的格式和要求 * 实验结果的记录和分析 * 实验中遇到的问题和解决方法 六、思考题 * 分布式系统的应用场景和优势 * socket 编程的优缺点 * 流式 socket 的应用场景 * 客户/服务器应用的架构和优缺点 * 虚拟机的应用场景和优缺点 七、总结 分布式系统实验报告.pdf 文件提供了一个详细的实验报告,涵盖了分布式系统的多个方面,包括数据包 socket 应用、流式 socket 应用、客户/服务器应用开发、虚拟机的使用与 Linux 系统的安装等。该文件对分布式系统的基本概念、原理和应用进行了详细的介绍,可以作为学习分布式系统的参考资料。
2024-06-17 23:13:46 1.2MB
数据说明:表格中各列按照以下顺序 Radio: The generation of broadband cellular network technology MCC: Mobile Country Code Net: Mobile Network Code Area: Location Area Code (LAC) Cell: Cell tower code (CID) lat, long: Approx coordinates of the cell tower range: Approximate area within which the cell could be. (radius in meters) samples: No of measures processed to get this data changeble: ●1 =The location is determined by processing samples ●0= We got the location directly from the telecom firm
2024-06-06 15:43:17 1.75MB
1
本文为分布式minio的部署+测试文档,MinIo功能基本全部实现,包括Nginx负载均衡部署、Prometheus监控、桶事件(发布到redis)、模拟磁盘故障、cosbench压力测试等等,基本功能全部实现
2024-06-04 09:42:13 21.07MB redis 分布式
1
使用Spring Cloud构建的Spring PetClinic示例应用程序的分布式版本 该微服务分支最初源自以演示如何将示例Spring应用程序拆分为。 为了实现该目标,我们使用了技术堆栈中的Spring Cloud Gateway,Spring Cloud Circuit Breaker,Spring Cloud Config,Spring Cloud Sleuth,Resilience4j,Micrometer和Eureka Service Discovery。 在没有Docker的情况下在本地启动服务 每个微服务都是Spring Boot应用程序,可以使用IDE在本地启动(必须安装插件)或../mvnw spring-boot:run命令。 请注意,必须先启动支持服务(Config和Discovery Server),然后再启动其他任何应用程序(客户,兽医,访问和API)。 跟踪服务器,管理服务器,Grafana和Prometheus的启动是可选的。 如果一切顺利,则可以在给定位置访问以下服务: 发现服务器 配置服务器 AngularJS前端(API网关) 客户,兽
2024-06-03 21:08:38 998KB docker microservices spring-cloud grafana
1