hadoop开发案例hadoop视频教程-GreenplumHadoop大数据应用案例剖析
2022-05-20 19:06:27
4.24MB
Hadoop streaming
Hadoop为MapReduce提供了不同的API，可以方便我们使用不同的编程语言来使用MapReduce框架，而不是只局限于Java。这里要介绍的就是Hadoop streaming API。Hadoop streaming 使用Unix的standard streams作为我们mapreduce程序和MapReduce框架之间的接口。所以你可以用任何语言来编写MapReduce程序，只要该语言可以往standard input/output上进行读写。
streamming是天然适用于文字处理的（text processing），当然，也仅适用纯文本的
2022-03-10 13:59:21
65KB
1
Hadoop Eclipse是Hadoop开发环境的插件，用户在创建Hadoop程序时，Eclipse插件会自动导入Hadoop编程接口的jar文件，这样用户就可以在Eclipse插件的图形界面中进行编码、调试和运行Hadop程序，也能通过Eclipse插件查看程序的实时状态、错误信息以及运行结果。除此之外，用户还可以通过Eclipse插件对HDFS进行管理和查看。这个版本是本人使用的，本资源免费下载，如果出现收费的情况可以私聊我。
2021-12-06 18:13:48
42.12MB
1
1、首先你要有一个开发工具idea
2、你要有一个集群–hadoop集群，集群都没有你要使用什么来进行开发呢？或者说你要开发了哪里去呢？对吧
环境搭建—本地环境配置
环境搭建–集群环境搭建
3、集群以及本地开发环境的jdk版本要保持一致
4、maven
4.1添加maven的pom依赖
https://mvnrepositi.com
搜索hadoop—选择对应版本—-就有maven的pom依赖，根据需求搜索其他的对应开发包进行相应的pom依赖添加
这里需要添加hadoop以及hdfs的相应依赖
4.2 修改maven库位置
file-setting–maven
5、创建文件夹resourc
2021-11-25 21:37:33
146KB
1
windows下通过eclipse直接访问hdfs或者调试mapreduce程序需要用到的完整环境
2021-10-02 20:42:39
215.15MB
1
1、Hadoop 业界资讯......................................... - 1 -
2、Nutch + Hadoop 构建商用分布式搜索引擎的问题探究 ........... - 5 -
3、支持自定义爬虫的Nutch segment文件存储接口改写........... - 11 -
4、Nutch中mapreduce应用的几个特殊点 ...................... - 14 -
5、Java RMI + Lucene 构建分布式检索应用初探 ................ - 17 -
6、一对多的表关联在mapreduce中的应用(续) .................. - 26 -
7、InputSplit文件格式分析................................. - 32 -
8、短评：HDFS、MapReduce和HBase三者相辅相成、各有长处 ..... - 34 -
9、HDFS在web开发中的应用................................. - 35 -
10、Mapreduce中value集合的二次排序 ....................... - 38 -
11、Hive ＳＱＬ手册翻译 ................................... - 47 -
12、Mahout Kmeans简介 .................................... - 57 -
2021-09-06 17:18:56
2.36MB
1、Hadoop 业界资讯......................................... - 1 -
2、Nutch + Hadoop 构建商用分布式搜索引擎的问题探究 ........... - 5 -
3、支持自定义爬虫的Nutch segment文件存储接口改写........... - 11 -
4、Nutch中mapreduce应用的几个特殊点 ...................... - 14 -
5、Java RMI + Lucene 构建分布式检索应用初探 ................ - 17 -
6、一对多的表关联在mapreduce中的应用(续) .................. - 26 -
7、InputSplit文件格式分析................................. - 32 -
8、短评：HDFS、MapReduce和HBase三者相辅相成、各有长处 ..... - 34 -
9、HDFS在web开发中的应用................................. - 35 -
10、Mapreduce中value集合的二次排序 ....................... - 38 -
11、Hive ＳＱＬ手册翻译 ................................... - 47
12、Mahout Kmeans简介 .................................... - 57 -
2021-04-13 21:43:03
13.72MB
1