为了弥补基于集中式处理的分布式数据挖掘方法的不足，有效地实施分布式数据挖掘（DDM）任务，需要一种能从分布式数据源中获取多样化代表性取样集的技术。提出了一种新的适用于分布式数据挖掘环境的数据取样算法（OptiSim-DDM方法），算法核心是基于最优K相异性进行数据选择，采用移动Agent技术和扩展的最优K相异性数据多样化代表性子集选择方法，能在各分布式数据场地中轮转选择出全局数据集的多样化代表性取样集。该方法通过降低所挖掘的数据集的数据规模来降低数据挖掘算法的时空复杂度，降低网络通讯代价，提高数据挖掘的执
2022-05-07 14:46:53
435KB
1
频繁模式挖掘是一种非常有效地从数据中获取知识的方法，但是随着大数据时代的来临，现有算法及其计算环境的运算速度、内外存容量面临严峻挑战。针对以上问题，紧密结合MapReduce模型提供的高效分布式编程和运行框架，在深入分析H-mine频繁模式挖掘算法的基础上，通过对H-mine算法频繁模式挖掘过程的并行化改进，提出了一种新颖的基于MapReduce模型的H-mine算法（简称MRH-mine）。MRH-mine算法实现了对H-mine算法在分布式运行环境下的改造，实验表明该算法在面对数据大规模增长的情况下具有良好的性能和扩展性。
2021-09-29 09:20:31
1.94MB
1