hadoop伪分布式搭建.docx
2022-05-29 19:00:37 702KB 分布式 hadoop 文档资料 大数据
依据东莞市普通住宅项目交易均价数据,利用地统计学中的趋势分析方法对东莞市房价空间变化趋势进行了分析;采用普通克里格空间插值方法进行了空间局部估计,并借助ArcGIS软件和Surfer软件绘制了东莞市房价空间分布专题图,进而对东莞市房地产价格空间分布特征和差异及其成因进行了分析.
2022-05-29 17:13:53 1.94MB 自然科学 论文
1
分布式计算期末复习总结.pdf
2022-05-29 14:05:52 836KB 文档资料
针对Hadoop集群部署过程繁琐复杂、耗时费力、运维难度大,且不利于快速扩展的问题,提出一种结合Docker容器技术部署集群的解决方法。该方法把Ambari及其运行环境和配置构建成Docker镜像,并把多节点容器的运行和Hadoop集群的部署过程写成Shell脚本,只需一条命令,即可实现集群的自动化部署。实验结果表明,该方法简单可靠并极大地提高了集群部署的效率。因此,对海量数据的处理和分析具有重要的推动作用。
2022-05-29 11:09:07 722KB 工程技术 论文
1
四川省地质灾害点空间分布数据包括崩塌、塌陷、泥石流、地面沉降、地裂缝、滑坡、斜坡等7大类,经过野外实地调查数据整理获得,经过野外实地调查数据。地质灾害点矢量shp文件格式, WGS84坐标系,可以结合地形进行地质灾害研究、学术研究等多种分析,值得拥有。
2022-05-28 22:55:16 1.6MB 文档资料
淘宝根据自己的业务特点开发了TDDL(Taobao Distributed Data Layer 外号:头都大了 ©_Ob)框架,主要解决了分库分表对应用的透明化以及异构数据库之间的数据复制,它是一个基于集中式配置的 jdbc datasource实现,具有主备,读写分离,动态数据库配置等功能。 TDDL所处的位置(tddl通用数据访问层,部署在客户端的jar包,用于将用户的SQL路由到指定的数据库中): 淘宝很早就对数据进行过分库的处理, 上层系统连接多个数据库,中间有一个叫做DBRoute的路由来对数据进行统一访问。DBRoute对数据进行多库的操作、数据的整合,让上层系统像操作 一个数据库一样操作多个库。但是随着数据量的增长,对于库表的分法有了更高的要求,例如,你的商品数据到了百亿级别的时候,任何一个库都无法存放了,于是 分成2个、4个、8个、16个、32个……直到1024个、2048个。好,分成这么多,数据能够存放了,那怎么查询它?这时候,数据查询的中间件就要能 够承担这个重任了,它对上层来说,必须像查询一个数据库一样来查询数据,还要像查询一个数据库一样快(每条查询在几毫秒内完成),TDDL就承担了这样一 个工作。在外面有些系统也用DAL(数据访问层) 这个概念来命名这个中间件。下图展示了一个简单的分库分表数据查询策略: 主要优点:1.数据库主备和动态切换2.带权重的读写分离3.单线程读重试4.集中式数据源信息管理和动态变更5.剥离的稳定jboss数据源6.支持mysql和oracle数据库7.基于jdbc规范,很容易扩展支持实现jdbc规范的数据源8.无server,client-jar形式存在,应用直连数据库9.读写次数,并发度流程控制,动态变更10.可分析的日志打印,日志流控,动态变更TDDL必须要依赖diamond配置中心(diamond是淘宝内部使用的一个管理持久配置的系统,目前淘宝内部绝大多数系统的配置,由diamond来进行统一管理,同时diamond也已开源)。TDDL动态数据源使用示例说明:http://rdc.taobao.com/team/jm/archives/1645diamond简介和快速使用:http://jm.taobao.org/tag/diamond专题/TDDL源码:https://github.com/alibaba/tb_tddl TDDL复杂度相对较高。当前公布的文档较少,只开源动态数据源,分表分库部分还未开源,还需要依赖diamond,不推荐使用。 标签:TDDL
2022-05-28 19:32:08 1.06MB 开源项目
1
多语言环境下分布式事务实践.pdf
2022-05-28 11:05:45 2.97MB 数据库技术 IOTE
PolarDB-X 单机平滑演进分布式之路.pdf
2022-05-28 11:05:43 5.31MB 数据库技术 IOTE
基于云原生分布式数据库构建企业数据中台.pdf
2022-05-28 11:05:38 3.64MB 数据库技术 IOTE
GoldenDB v6.0在金融核心业务分布式改造的实践.pdf
2022-05-28 11:05:35 4.93MB 数据库技术 IOTE