hdfs是hadoop的分布式文件系统，即HadoopDistributedFilesystem。下面主要讲下HDFS设计中的比较重要的点，使读者能通过简短的文章一窥HDFS的全貌，适合对HDFS有一点了解，但是对HDFS又感到困惑的初学者。本文主要参考的是。当数据集的大小超过了一台物理机所能存储的能力时，就需要将它进行分区并存储到若干不同的独立的计算机上，其中管理跨多台计算机存储的文件系统称为分布式文件系统。目录使用HDFS的场景HDFS的工作模式文件系统命名空间（namespace）数据复制文件系统元数据的持久化通讯协议健壮性数据组织可访问性存储空间回收HDFS适合于以流式数据访问模式来存

HadoopHDFS分布式文件系统DFS简介HDFS的系统组成介绍HDFS的组成部分详解副本存放策略及路由规则命令行接口Java接口客户端与HDFS的数据流讲解掌握hdfs的shell操作掌握hdfs的javaapi操作理解hdfs的工作原理设计思想分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析；在大数据系统中作用：为各类分布式运算框架（如：mapreduce，spark，tez，……）提供数据存储服务重点概念：文件切块，副本存放，元数据补充：hdfs是架在本地文件系统上面的分布式文件系统，它就是个软件，也就是用一套代码把底下所有机器的

远程连接hdfs的客户端工具可以新建修改删除目录及文件，操作方便快捷。可以查询到里面存储的文件，也可以通过拖拽，选择等方式直接上传，避免了使用命令去上传下载的复杂操作

Hadoop，HBase，Hive，HDFS视频，共44集(完整全套)！！

hdfview.bat和hdfview.sh，用于配置hdfview启动时的环境变量

hadoop、HDFS

主要完成 kafka 生产数据、接数据 、通过Java代码上传数据的完整流程 文件包括：hdfstest.java、kafkatest.java、Producer.java、NewConsumer.java、NewConsumer2HDFS.java

1、随机生成大文本文件（以行方式存储），文件存储在HDFS中，并将文件信息写入HBase中。 2、选择AES加密算法对生成的文件进行加密操作，秘钥长度为128位，加密后的文件存储HDFS中，秘钥写入HBase 3、从HBase中读取相应的文件名和秘钥，对文件进行解密操作，解密后的文件存储在HDFS中。 4、比较初始文件与解密后的文件内容一致性 5、统计操作总时长及各操作步的总时长

Hadoop简单应用案例，包括MapReduce、单词统计、HDFS基本操作、web日志分析、Zookeeper基本使用、Hive简单操作等

Hadoop 3 HDFS完全分布式搭建.docx