Spark RDD弹性分布式数据集

RDD简介 RDD创建方式 RDD的处理过程 转换算子 行动算子 RDD（Resilient Distributed Datasets弹性分布式数据集）是一个容错的、并行的数据结构，可以简单的把RDD理解成一个提供了许多操作接口的数据集合，和一般数据集不同的是，其实际数据分布存储于一批机器中（内存或磁盘中）。 RDD可以让用户显式地将数据存储到磁盘和内存中，并且还能控制数据的分区。每个RDD都具有五大特征，具体如下。 它是集群节点上的不可改变的、已分区的集合对象； 通过并行转换的方式来创建如（map、filter、join等）； 失败自动重建（不是从开始点重建，可以从上一步重建）； 可以控制存储级别（内存、磁盘等）来进行重用； 必须是可序列化的；在内存不足时可自动降级为磁盘存储，把RDD存储于磁盘上，这时性能有大的下降但不会差于现在的MapReduce； 对于丢失部分数据分区只需要根据它的lineage就可重新计算出来，而不需要做特定的checkpoint；