基于hadoop的Hive数据仓库JavaAPI简单调用的实例，关于Hive的简介在此不赘述。hive提供了三种用户接口：CLI，JDBC/ODBC和 WebUI CLI，即Shell命令行 JDBC/ODBC 是 Hive 的Java，与使用传统数据库JDBC的方式类似 WebGUI是通过浏览器访问 Hive 本文主要介绍的就是第二种用户接口，直接进入正题。 1、Hive 安装： 1）hive的安装请参考网上的相关文章，测试时只在hadoop一个节点上安装hive即可。 2）测试数据data文件'\t'分隔： 1 zhangsan 2 lisi 3 wangwu 3）将测试数据data上传到linux目录下，我放置在：/home/hadoop01/data 2、在使用 JDBC 开发 Hive 程序时, 必须首先开启 Hive 的远程服务接口。使用下面命令进行开启: Java代码 收藏代码 hive --service hiveserver >/dev/null 2>/dev/null & 我们可以通过CLI、Client、Web UI等Hive提供的用户接口来和Hive通信，但这三种方式最常用的是CLI；Client 是Hive的客户端，用户连接至 Hive Server。在启动 Client 模式的时候，需要指出Hive Server所在节点，并且在该节点启动 Hive Server。 WUI 是通过浏览器访问 Hive。今天我们来谈谈怎么通过HiveServer来操作Hive。 　　Hive提供了jdbc驱动，使得我们可以用Java代码来连接Hive并进行一些类关系型数据库的sql语句查询等操作。同关系型数据库一样，我们也需要将Hive的服务打开；在Hive 0.11.0版本之前，只有HiveServer服务可用，你得在程序操作Hive之前，必须在Hive安装的服务器上打开HiveServer服务，如下： 1 [wyp@localhost/home/q/hive-0.11.0]$ bin/hive --service hiveserver -p10002 2 Starting Hive Thrift Server 上面代表你已经成功的在端口为10002（默认的端口是10000）启动了hiveserver服务。这时候，你就可以通过Java代码来连接hiveserver，代码如下：

NULL 博文链接：https://mvplee.iteye.com/blog/2245011

mapreduce进行Driver测试时的hadoop-common-2.6.0-bin-master.zip压缩包

“Hadoop技术内幕”共两册，分别从源代码的角度对“Common+HDFS”和“MapReduce的架构设计和实现原理”进行了极为详细的分析。《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理》由Hadoop领域资深的实践者亲自执笔，首先介绍了MapReduce的设计理念和编程模型，然后从源代码的角度深入分析了RPC框架、客户端、JobTracker、TaskTracker和Task等MapReduce运行时环境的架构设计与实现原理，最后从实际应用的角度深入讲解了Hadoop的性能优化、安全机制、多用户作业调度器和下一代MapReduce框架等高级主题和内容。本书适合Hadoop的二次开发人员、应用开发工程师、运维工程师阅读。

1、Hadoop 业界资讯......................................... - 1 - 2、Nutch + Hadoop 构建商用分布式搜索引擎的问题探究 ........... - 5 - 3、支持自定义爬虫的Nutch segment文件存储接口改写........... - 11 - 4、Nutch中mapreduce应用的几个特殊点 ...................... - 14 - 5、Java RMI + Lucene 构建分布式检索应用初探 ................ - 17 - 6、一对多的表关联在mapreduce中的应用(续) .................. - 26 - 7、InputSplit文件格式分析................................. - 32 - 8、短评：HDFS、MapReduce和HBase三者相辅相成、各有长处 ..... - 34 - 9、HDFS在web开发中的应用................................. - 35 - 10、Mapreduce中value集合的二次排序 ....................... - 38 - 11、Hive ＳＱＬ手册翻译 ................................... - 47 - 12、Mahout Kmeans简介 .................................... - 57 -

能独立熟练完成Hadoop的安装及熟悉Hadoop的配置与管理 熟练地在Hadoop和操作系统以及关系型数据库之前传递数据 能独立制定数据集成方案 熟练地向Hadoop提交作业以及查询作业运行情况 了解Map-Reduce原理，能书写Map-Reduce程序 了解HDFS原理，能熟练地对HDFS中的文件进行管理 能独立完成pig的安装并且利用pig做简单的数据分析工作 能独立完成Hbase的安装和配置 了解Hbase的原理并能进行简单的shell操作 能独立完成Hive的安装和配置 了解Hive的原理及进行HiveQL操作

【Outlines】 Hadoop Overview HDFS Map-reduce Programming Paradigm Hadoop Map-reduce Job Scheduler Resources Hadoop, Why? 数据太多了，需要能存储、快速分析Pb级数据集的系统 单机的存储、IO、内存、CPU有限，需要可扩展的集群 使用门槛低，数据分析是个庞杂的问题，MPI太复杂 单点故障问题 –机器多了单点故障成为正常的异常 –节点有增有减 Hadoop就是一个满足易用性、可靠性、可扩展性的存储计算平台，还是开源的！

一些大数据的习题，关于基础知识和HDFS,MapReduce的 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。

MapReduce作业题目文件

清华大学-大数据系统基础（B）课件，是学习Hadoop、Spark的不错资源