基于Hadoop的MapReduce并行apriori算法,实验设计在3台虚拟机上,搭建步骤:(1) 虚拟机上安装ubuntu系统,安装JDK、SSH、Hadoop。 (2) 配置JDK、Hadoop环境变量及MapReduce组件。 (3) 配置SSH免密登录。 (4) 使用hadoop namenode -format命令格式化NameNode,使用start-all.sh命令启动所有Hadoop进程。 (5) 在各节点命令行输入jps检查是否启动成功,若成功,使用wordcount示例进行测试,Hadoop平台搭建完成。 (6) 将数据集从本地传输到HDFS上,使用hadoop jar命令,输入驱动类规定参数,使用Apriori.jar包,运行AprioriDriver驱动类,实现算法效果。 (7) 运行结束使用hadoop fs -cat /output命令查看结果。
2024-05-23 22:38:14 1.63MB Hadoop MapReduc Apriori 大数据并行算法
1
优秀PPT课件:Hadoop:Google云计算的开源实现(Hadoop安装  HDFS使用 MapReduce编程 数据表HBase 分布式数据处理MapReduce ).ppt
以WordCount为例编写相应的MapReduce程序,提供WordCount.jar部分,做相应的部署后可直接应用于MapReduce案例中
2021-04-21 16:27:50 5KB 分布 MapReduc Hadoo
1