云原生分布式存储基石 etcd深入解析 ,杜军 ,2019.1 ,Pg309. 高清带书签

对网易数帆开源的新一代分布式存储Curve做一个总体的介绍，包括： Curve出现的背景，为什么不基于已有的存储改造或直接使用已有存储，而是从0到1开发Curve。 Curve的总体设计，主要介绍软件基本架构，数据的组织形式，拓扑结构，以及总体的IO流程，其中IO的细节将在后面的系列讲座中介绍。 Curve的系统特性，主要介绍Curve在高性能(包括当前最新版本v1.1.0-beta的测试数据)、高可用、自治、易运维、高质量这几个方面是如何体现的以及它们的一些关键实现方式。 最后会说明下Curve的近期规划，期待感兴趣的小伙伴加入我们。

介绍Curve的客户端部分，包括： - Curve Client总体介绍。 - Curve Client架构介绍，由哪些模块组成，以及各个模块的交互流程。 - 元数据缓存及更新，介绍client端对MDS记录的元数据的缓存策略以及更新流程。 - IO流程，介绍Client端收到来自上层的读写请求后的一系列流程，包括定位Chunk位置，IO切分，与ChunkServer通信等。 - NEBD模块架构，介绍Curve client热升级模块NEBD的整体架构。 - Curve Client热升级流程介绍。 - 新版本Curve Client性能优化总结。

介绍Curve快照克隆服务器，包括： 快照克隆服务器整体架构。 Curve快照和克隆的特点。 快照总体流程介绍，从用户触发快照开始，介绍每个阶段的流程。 介绍ChunKServer端的快照机制，包括snap chunk的数据组织以及写时复制机制的实现。 克隆总体流程介绍，从用户触发克隆卷开始，介绍每个阶段的流程。 介绍ChunkServer端的克隆机制，包括clone chunk的数据组织与读时复制机制的实现。

介绍Curve的元数据节点MDS，包括： MDS总体介绍。 Topology模块，包括MDS管理的Curve拓扑结构，故障隔离等。 NameServer，用于保存Curve中文件和目录的层级结构以及分配信息等元数据。 Copyset，介绍Curve中Chunk的副本管理方式，Copyset的概念，生成方式，与Chunk和ChunkServer的关系等。 HeartBeat模块，介绍MDS如何通过心跳管理ChunkServer的在线状态，各个状态之间的转换方式等。 调度模块Scheduler，介绍MDS如何通过调度实现系统的自动容错和负载均衡。

全新的HCIP云计算认证课程有泰克大牛杨SIR全程主讲，课程根据全新的HCIP考试大纲设计而来。全新的课程内容包括了华为云数据中心解决方案，华为云计算计算虚拟化，云计算华为分布式存储，华为云计算网络虚拟化，华为桌面云解决方案概述，华为桌面云解决方案相关组件介绍等相关技术内容。课程内容由理论和实践两部分共同完成，还附有讲师用到的笔记。课程内容很适合同学们作为了解华为云计算技术的开篇课程，可以很好的为云计算虚拟化学习打下基础。

介绍Curve的数据节点ChunkServer，包括： - ChunkServer整体架构，自顶向下介绍每个模块的功能。 - ChunkServer的注册和心跳。 - CopysetNode，介绍ChunkServer中的Copyset实例工作流程，与braft交互的方式（建议提前了解一下raft一致性协议）。 - DataStore模块，介绍ChunkServer中底层Chunk文件组织形式，ChunkFilePool介绍等。 - 新版本ChunkServer性能优化，介绍通过覆盖写减少WAL写放大的方案以及优化后的测试结果。

探探分布式存储的实践(gocn.vip).pdf

本文详细介绍了Ceph分布式存储原理总结，完整记录了部署过程。有需要的朋友，可以拿走。

源码简介与安装说明： Alluxio（以前称为Tachyon）是一个虚拟的分布式存储系统。它弥合了计算框架和存储系统之间的鸿沟，使计算应用程序可以通过公共接口连接到众多存储系统。Alluxio项目源自加州大学伯克利分校AMPLab的一个名为Tachyon的研究项目，该项目是伯克利数据分析堆栈（BDAS）的数据层。 Alluxio大数据存储系统的功能： 1、灵活的文件API：Alluxio的本地API类似于java.io.File类，提供了 InputStream和OutputStream的接口和对内存映射I/O的高效支持。我们推荐使用这套API以获得Alluxio的完整功能以及最佳性能。 2、兼容Hadoop HDFS的文件系统接口:基于这套接口Hadoop MapReduce和Spark可以使用Alluxio代替HDFS。 3、可插拔的底层存储：Alluxio支持将内存数据持久化到底层存储系统。Alluxio提供了通用接口以简化对接不同的底层存储系统。目前Alluxio支持Microsoft Azure Blob Store，Amazon S3，Google Cloud Storage，OpenStack Swift，GlusterFS， HDFS，MaprFS，Ceph，NFS，Alibaba OSS，Minio以及单节点本地文件系统，后续也会支持更多其他存储系统。 4、Alluxio层级存储：Alluxio可以管理内存和本地存储如SSD和HDD，以加速数据访问。如果需要更细粒度的控制，分层存储功能可以用于自动化管理不同层之间的数据，确保热数据在更快的存储层上。自定义策略可以方便地应用到Alluxio，而且pin(钉住)的概念允许用户显式地控制数据的存放位置。 5、统一命名空间：Alluxio可以通过挂载功能实现不同存储系统之间的高效数据管理。并且，透明命名机制在持久化存储对象到底层存储系统时可以保留存储对象的文件名和目录层次结构。 6、Web UI：用户可以通过Web UI浏览文件系统。在调试模式下，管理员还可以查看每一个文件的详细信息，包括存放位置，检查点路径等。 7、命令行：用户也可以通过./bin/alluxio fs与Alluxio交互，例如：实现将数据从文件系统拷入拷出。