大数据与云计算培训学习资料 Hadoop集群 细细品味Hadoop_第7期_Eclipse开发环境设置 共23页.pdf

大数据与云计算培训学习资料 Hadoop集群 细细品味Hadoop_第8期_HDFS初探之旅 共29页.pdf

Python-Eclipse 插件

本篇PDF是我学习Hadoop过程中，基于网上的ubuntu部署过程，整理的自己在centos环境中的部署步骤，免费供大学使用。

原来Eclipse调整字体大小也可以这么方便 Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。是很多公司和开发人员常用的开发工具。Eclipse的强大之处在于可以通过各种插件来丰富其功能，为开发人员带来更简单快速的开发体验。 今天Pobo为大家带来eclipse-fonts这款插件，它可以通过按快捷键CTRL+=和CTRL+-来快速的增大减小字体大小。 首先，先去我的github上下载已经打包好的插件（这款插件好久没有更新了，Pobo帮大家找到了源码并封装好了最新的版本方便大家来使用，不谢哈^_~）。 我的github地址：https://github.com/zachary-io/eclipse-fonts 网页打开后选择Clone or download >> Download ZIP，就会下载一个名为eclipse-fonts-master.zip 的文件。 原网址：https://www.baidu.com/home/news/data/newspage?nid=11742300957309705906&n_type=0&p_from=1

IDEA快捷键大全，（适用于eclipse转IDEA的同学） IDEA快捷键大全，需要的同学自行下载！

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File System），其中一个组件是HDFS（Hadoop Distributed File System）。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算 。 本篇pdf只是单节点，即本机部署。

1.将Mysql中的数据迁移到Hdfs文件系统中，然后通过Hive加载HDFS文件系统中的数据值 2.将Hive中的数据迁移到指定Mysql数据库中 注意点： 1.数据迁移的过程中，由于hive的Null值存储为"\N"，Mysql存储为NULL值，二者转换时需要注意，再数据迁移json模板中，"nullFormat": "\\N", 该配置信息就是解决了数据迁移是存在的Null值。 2.如果hive中没有数值DataX迁移时会出现异常 执行语句：python /opt/module/datax/bin/datax.py /opt/module/datax/job/xxx.json

eclipse数据库插件

eclipse 中编译、运行都正常，但是如果用maven的打包命令 mvn clean package 进行打包时会发现有类型错误