ZooKeeper是Hadoop的正式子项目,它是一个针对大型分布式系统的可靠协调系统,提供的功能包括:配置维护、名字服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。 那么Zookeeper能帮我们作什么事情呢?简单的例子:假设我们我们有个20个搜索引擎的服务器(每个负责总索引中的一部分的搜索任务)和一个 总服务器(负责向这20个搜索引擎的服务器发出搜索请求并合并结果集),一个备用的总服务器(负责当总服务器宕机时替换总服务器),一个web的cgi(向总服务器发出搜索请求)。搜索引擎的服务器中的15个服务器现在提供搜索服务,5个服务器正在生成索引。这20个搜索引擎的服务器经常要让正在 提供搜索服务的服务器停止提供服务开始生成索引,或生成索引的服务器已经把索引生成完成可以搜索提供服务了。使用Zookeeper可以保证总服务器自动感知有多少提供搜索引擎的服务器并向这些服务器发出搜索请求,备用的总服务器宕机时自动启用备用的总服务器,web的cgi能够自动地获知总服务器的网络地址变化。
2022-06-08 22:05:57 4.41MB zookeeper zookeeper hadoop
英文文献《对分布式系统数据库的介绍》
2022-06-06 14:07:07 31KB 数据库 文档资料 database
分布式系统进程互斥算法的研究与改进.docx
2022-05-30 09:08:36 436KB 算法 文档资料
Chiefr:分布式项目开发模型和工具包
2022-05-22 08:27:49 100KB Go开发-分布式系统
1
分布式系统Failover测试框架的实现 摘要 Failover是指系统处理故障并恢复的过程,目前大多数分布式系统都实现了自动Failover的机制,即使发生局部失败也能继续提供服务。Failover测试则是通过主动注入错误,模拟出各种软硬件故障,以此检验在失败和恢复时系统的健壮性。 我们内部的分布式系统已经部署在上千台普通服务器上,软硬件故障时有发生,进行Failover测试成了系统开发的必备环节。传统的测试方法需要人工参与,自动化程度低,我们亟需一个高效的Failover测试框架确保系统满足高可用的需求。于是我们实现了一个针对分布式系统的Failover测试框架,这个框架有错误注入功能,同时能够对系统进行数据验证,还有Web页面展示等功能。 本论文将会介绍这个分布式系统Failover测试框架的需求分析,讲述我们实现此测试框架的开发动机和调研成果;然后详细介绍这个测试系统的实现原理,了
2022-05-19 17:37:37 1.63MB
1
研究微电网 该存储库包含为科罗拉多州丹佛大学的Park博士的微电网研究编写的代码。 目的是实现一个JADE代理,该代理从电网控制/监视设备的分布式系统接收近实时数据。 它应将数据存储在SQL中并将其发送到映射整个系统的GUI。 我将其作为事件驱动的图形数据来解决。 功率控制/监视网络以图形表示。 数据被其他代理“推送”到该存储库中实现的“数据代理”。 每个数据结构都在“ abs”包中抽象化,因此理论上可以出于完全不同的目的重用该代码。 参见Graph和MicrogridGraph 。 贡献者 通过类文档中的@author注释为该存储库中的每个类分配一个“主要”作者。 该主要作者的名字和姓氏应首先在课程文档中列出。 主要作者应该是有关课程的“要问的人”。 如果您对课程有疑问,请联系该人。 其他贡献者应在作者列表中稍后列出。 贡献者应将联系信息留在自述文件中,以便将来的贡献者可以找到它。
2022-05-18 21:14:15 48.47MB data sql realtime event
1
分布式系统模糊航迹关联算法分析.pdf 可进行算法分析
1
分布式系统原理与范式 第二版 2008年版本 与原教材无缝吻合,极好的辅助学习资料
2022-05-15 21:50:47 2.77MB 分布 原理与范 复习资
1
前川算法 前川算法实现 Maekawa 算法用于在分布式系统中实现互斥。 实现了原始算法的所有特征。 该算法是用Java实现的。 主要设计决策:分布式系统中的进程/节点被视为线程。 然后节点可以异步进入临界区。 但是进程进入 CS 的时间是按照问题陈述中的定义实现的。 进程使用套接字相互通信。 使用流套接字。 每个进程都在唯一的地址和端口上侦听消息。 每个进程都知道其 Quorum 中所有其他进程的地址。 这些地址在程序中是硬编码的。 没有实施名称服务器来执行此操作。 在程序中实现了CS的概念。 没有使用同步原语来定义 CS。 但是程序中的逻辑保证了进程互斥地访问 CS。 内部时钟; //逻辑时钟值交换(lamport) 消息:REQUEST=1,REPLY=2,RELEASE=3,GRANT=4,INQUIRE=5,FAILED=6,YEILD=7 编译过程: javac客户端.ja
2022-05-11 20:55:35 11KB Java
1
关于分布式系统进程互斥算法的研究.doc
2022-05-09 19:14:18 234KB 算法 文档资料