上传者: 27595745
|
上传时间: 2021-09-06 13:13:19
|
文件大小: 1.1MB
|
文件类型: PPT
数据平台之IUPushRsync
IUPushRsync 程序利用rsync -U 命令对日志文件进行增量式同步,其优点在于:1)准实时数据压缩传输(降低宽带占用);2)数据完整性检验
数据平台之hadoop
Hadoop 是一个能够对PB级数据进行分布式
并行处理的软件框架。hadoop能够同时提供
数据存储和运算上的备份,并提供多种数据
访问和运算接口:mapred编程框架、hive数
据仓库(类似于MySQL)、pig数据流编程
语言、fuse(将HDFS文件系统挂载成普通文
件系统)