基于稳性实时计算技术的船舶破损智能扶正系统研究.pdf

1、 load data local inpath '/input/files/tb.txt' overwrite into table tb; LOCAL ，就是从HDFS加载 OVERWRITE意味着，数据表已经存在的数据将被删除。省略OVERWRITE，数据文件将会添加到原有数据列表里 2 、hive –e 执行hql语句 -i 初始化参数，多用于加载UDF -f 执行hql文件，因为无法传参数，所以项目中基本不用

2021量子计算技术创新与趋势展望.pdf

云计算的定义 云计算是一种商业计算模型。它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。 GFS的假设与目标 硬件出错是正常而非异常 系统应当由大量廉价、易损的硬件组成 必须保持文件系统整体的可靠性 主要负载是流数据读写 主要用于程序处理批量数据，而非与用户的交互或随机读写 数据写主要是“追加写”，“插入写”非常少 需要存储大尺寸的文件 存储的文件尺寸可能是GB或TB量级，而且应当能支持存储成千上万的大尺寸文件

海量数据处理平台架构 一般网站把用户的访问行为记录以apach 日志的形式记录下来了，这些日志中包含了下面一些 关键字段： client_ip ,user_id,access_time,url,referer,status,page_size,agent 因为需要统一对数据进行离线计算，所以常常把它们全部移到同一个地方。 简单算了一下： （1） 网站请求数：1kw/天 （2） 每天日志大小：450Byte/行* 1kw = 4.2G， （3） 日志存储周期：2 年 一天产生4.5G 的日志，2 年需要4.2G * 2 * 365 = 3.0T 解决方案： 为了方便系统命令查看日志，不压缩，总共需要3.0T 的空间，刚好有一些2U 的服务器，每台共1T 的磁盘空间。 为了避免系统盘坏掉影响服务器使用，对系统盘做了raid1。 为了避免其他存放数据的盘坏掉导致数据无法恢复，对剩下的盘做了raid5。 所有的数据都汇聚到这几台LogBackup 服务器上来了。

Hadoop集群监控Cacti 优点监控每台服务器的详细数据SNMP采集数据可以自己定义相比zabbix：无需客户端 安装配置简单spine采集速度快模板众多 支持IPMI 缺点SNMPD为UDP协议，不够稳定无法获知集群整体运行状况

一：IZP Hadoop集群现状 集群规模 共大、小 2个集群：数据中心和实验室集群 数据中心: 1台NameNode, 1台SecondNameNode, 1台JobTracker，100来台DataNode 共100多台高配服务器; 数据中心又分为10多个机架，每个机架上10多台服务器; 实验室集群：共10几台普通微型机. 机器配置 名称节点和第二名称节点内存不小于90G，硬盘约1TB JobTracker内存不小于20G，硬盘约1TB 数据节点内存不小于20G，硬盘不小于10TB 槽位分配：每台机器十多个Map槽位，四至六个Reduce槽位

Hadoop在蓝汛 说说Cloudera和它的产品们 运维杂记——几次重大事故

数据平台之IUPushRsync IUPushRsync 程序利用rsync -U 命令对日志文件进行增量式同步，其优点在于：1）准实时数据压缩传输（降低宽带占用）；2）数据完整性检验 数据平台之hadoop Hadoop 是一个能够对PB级数据进行分布式 并行处理的软件框架。hadoop能够同时提供 数据存储和运算上的备份，并提供多种数据 访问和运算接口：mapred编程框架、hive数 据仓库（类似于MySQL）、pig数据流编程 语言、fuse（将HDFS文件系统挂载成普通文 件系统）

Hadoop基本概念 Hadoop的应用范围 Hadoop底层实现原理 Hive与数据分析 Hadoop集群管理 典型的Hadoop离线分析系统架构 常见问题及解决方案