Hadoop（HDFS)

一、实验目的 1. 理解 HDFS 体系架构。 2. 理解 HDFS 文件存储原理和数据读写过程。 3. 熟练掌握 HDFS Web UI 界面的使用。 4. 熟练掌握 HDFS Shell 常用命令的使用。 5. 熟练掌握 HDFS 项目开发环境的搭建。 6. 掌握使用 HDFS Java API 编写 HDFS 文件操作程序。 二、实验环境 本实验所需的软件环境包括全分布模式 Hadoop 集群、Eclipse。 三、实验内容 1. 启 动 全 分 布 模 式 Hadoop 集 群 ， 守护进程 包 括 NameNode 、 DataNode 、 SecondaryNameNode、ResourceManager、NodeManager 和 JobHistoryServer。 2. 查看 HDFS Web 界面。 3. 练习 HDFS Shell 文件系统命令和系统管理命令。 4. 在 Hadoop 集群主节点上搭建 HDFS 开发环境 Eclipse。 5. 使用 HDFS Java API 编写 HDFS 文件操作程序，实现上传本地文件到 HDFS 的功能。。。。。

Hadoop中一些hdfs的命令

大数据与云计算培训学习资料 Hadoop集群 细细品味Hadoop_第8期_HDFS初探之旅 共29页.pdf

本篇PDF是我学习Hadoop过程中，基于网上的ubuntu部署过程，整理的自己在centos环境中的部署步骤，免费供大学使用。

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File System），其中一个组件是HDFS（Hadoop Distributed File System）。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算 。 本篇pdf只是单节点，即本机部署。

1.将Mysql中的数据迁移到Hdfs文件系统中，然后通过Hive加载HDFS文件系统中的数据值 2.将Hive中的数据迁移到指定Mysql数据库中 注意点： 1.数据迁移的过程中，由于hive的Null值存储为"\N"，Mysql存储为NULL值，二者转换时需要注意，再数据迁移json模板中，"nullFormat": "\\N", 该配置信息就是解决了数据迁移是存在的Null值。 2.如果hive中没有数值DataX迁移时会出现异常 执行语句：python /opt/module/datax/bin/datax.py /opt/module/datax/job/xxx.json

大数据上机实验报告要求：1、熟悉常用的HDFS操作；2、熟悉常用的HBase操作；3、MapReduce编程初级实践。

该文件为java操作hdfs的工具类，包括了文件上传、文件下载、删除文件等功能，下载后更改hdfs的节点地址即可，配置了HDFS高可用机制,即双namenode节点。

hadoop 学习课件，比较全面 里面有关于大数据各个组件的介绍学习HDFS HIVE HBASE IMPALA PIG