RDD简介 RDD创建方式 RDD的处理过程 转换算子 行动算子 RDD（Resilient Distributed Datasets弹性分布式数据集）是一个容错的、并行的数据结构，可以简单的把RDD理解成一个提供了许多操作接口的数据集合，和一般数据集不同的是，其实际数据分布存储于一批机器中（内存或磁盘中）。 RDD可以让用户显式地将数据存储到磁盘和内存中，并且还能控制数据的分区。每个RDD都具有五大特征，具体如下。 它是集群节点上的不可改变的、已分区的集合对象； 通过并行转换的方式来创建如（map、filter、join等）； 失败自动重建（不是从开始点重建，可以从上一步重建）； 可以控制存储级别（内存、磁盘等）来进行重用； 必须是可序列化的；在内存不足时可自动降级为磁盘存储，把RDD存储于磁盘上，这时性能有大的下降但不会差于现在的MapReduce； 对于丢失部分数据分区只需要根据它的lineage就可重新计算出来，而不需要做特定的checkpoint；

用-Hadoop-进行分布式数据处理

用-Hadoop-进行分布式数据处理

网络社区分布式数据采集系统的设计与实现，段思澍，吴旭，随着互联网的高速发展和大数据时代的到来，在商业、经济及其他领域中做出的决策将日益基于数据和分析，而非基于经验和直觉。在大

淘宝根据自己的业务特点开发了TDDL（Taobao Distributed Data Layer 外号:头都大了 ©_Ob）框架，主要解决了分库分表对应用的透明化以及异构数据库之间的数据复制，它是一个基于集中式配置的 jdbc datasource实现，具有主备，读写分离，动态数据库配置等功能。 TDDL所处的位置（tddl通用数据访问层，部署在客户端的jar包，用于将用户的SQL路由到指定的数据库中）： 淘宝很早就对数据进行过分库的处理， 上层系统连接多个数据库，中间有一个叫做DBRoute的路由来对数据进行统一访问。DBRoute对数据进行多库的操作、数据的整合，让上层系统像操作 一个数据库一样操作多个库。但是随着数据量的增长，对于库表的分法有了更高的要求，例如，你的商品数据到了百亿级别的时候，任何一个库都无法存放了，于是 分成2个、4个、8个、16个、32个……直到1024个、2048个。好，分成这么多，数据能够存放了，那怎么查询它？这时候，数据查询的中间件就要能 够承担这个重任了，它对上层来说，必须像查询一个数据库一样来查询数据，还要像查询一个数据库一样快（每条查询在几毫秒内完成），TDDL就承担了这样一 个工作。在外面有些系统也用DAL（数据访问层） 这个概念来命名这个中间件。下图展示了一个简单的分库分表数据查询策略： 主要优点：1.数据库主备和动态切换2.带权重的读写分离3.单线程读重试4.集中式数据源信息管理和动态变更5.剥离的稳定jboss数据源6.支持mysql和oracle数据库7.基于jdbc规范，很容易扩展支持实现jdbc规范的数据源8.无server,client-jar形式存在，应用直连数据库9.读写次数,并发度流程控制，动态变更10.可分析的日志打印,日志流控，动态变更TDDL必须要依赖diamond配置中心（diamond是淘宝内部使用的一个管理持久配置的系统，目前淘宝内部绝大多数系统的配置，由diamond来进行统一管理，同时diamond也已开源）。TDDL动态数据源使用示例说明：http://rdc.taobao.com/team/jm/archives/1645diamond简介和快速使用：http://jm.taobao.org/tag/diamond专题/TDDL源码：https://github.com/alibaba/tb_tddl TDDL复杂度相对较高。当前公布的文档较少，只开源动态数据源，分表分库部分还未开源，还需要依赖diamond，不推荐使用。 标签：TDDL

为了弥补基于集中式处理的分布式数据挖掘方法的不足，有效地实施分布式数据挖掘（DDM）任务，需要一种能从分布式数据源中获取多样化代表性取样集的技术。提出了一种新的适用于分布式数据挖掘环境的数据取样算法（OptiSim-DDM方法），算法核心是基于最优K相异性进行数据选择，采用移动Agent技术和扩展的最优K相异性数据多样化代表性子集选择方法，能在各分布式数据场地中轮转选择出全局数据集的多样化代表性取样集。该方法通过降低所挖掘的数据集的数据规模来降低数据挖掘算法的时空复杂度，降低网络通讯代价，提高数据挖掘的执

基于线性回归的无线传感器网络分布式数据采集优化策略

大数据与云计算培训学习资料 Hadoop资料-分布式数据仓库Hive 共57页.pptx

#资源达人分享计划#

泓格 分布式数据采集控制系统pdf,泓格 分布式数据采集控制系统