周志明新作，5维度讲解可靠大型分布式系统架构，5种架构风格实例，9位架构专家推荐

Scrapy Scrapy是一个比较好用的Python爬虫框架，你只需要编写几个组件就可以实现网页数据的爬取。但是当我们要爬取的页面非常多的时候，单个主机的处理能力就不能满足我们的需求了（无论是处理速度还是网络请求的并发数），这时候分布式爬虫的优势就显现出来。 而Scrapy-Redis则是一个基于Redis的Scrapy分布式组件。它利用Redis对用于爬取的请求(Requests)进行存储和调度(Schedule)，并对爬取产生的项目(items)存储以供后续处理使用。scrapy-redi重写了scrapy一些比较关键的代码，将scrapy变成一个可以在多个主机上同时运行的分布式爬虫。

hadoop hadoop

redmine-4.2.4

分布式与云计算系统

A、分布式存储可以通过创新的架构把分散的、低速的SATASAS机械硬盘组成一个高效的类SI存储池设备。提供比SIⅣ设备更高的DIO把性能发挥到极致 B、分布式存储系统一般支持用SSD替代 HDD作为高速存储设奋,用InfiniBand 网络替代 GE/10GE网络提供更高的带宽 C、分布式存储系统采无状态的分布式软件机头，机头部署在各个服务器上,突破集中式机头的性能瓶颈 D、分布式存储系统实现了计算与存储的融合，缓存和带宽都均问分布在各个服务器节点上

介绍了MPLS TE的基本原理，基于动态信令协议RSVP的MPLS TE隧道、调整RSVP信令参数、RSVP认证、调整MPLS TE隧道的建立、影响TE流量转发的措施、调整带宽的泛洪阈值、隧道重优化、MPLS TE FRR、MPLS TE Auto FRR、CR-LSP备份、自动计算主备隔离的LSP、RSVP GR、静态BFD for CR-LSP、静态BFD for TE、动态BFDfor CR-LSP、分布式MPLS TE的配置过程和典型配置举例。

hadoop-3.3.1-src 源码

hadoop完全分布式系统配置

天降数据集.tar(极光)