聚类分析常用算法FP-Growth的spark实现算法,

基于FP增长算法的数据挖掘技术.pdf

FP模块系统架构

标准定点数库，专业！专业！专业！重要的事情说三遍！ [FP] [FPMath] [FPMatrix2x2] [FPQuaternion] [FPVector2] [FPVector3]

大数据环境下,传统的串行FP-Growth算法在处理海量数据时,占用内存过大、频繁项多,适用于大数据情况的PFP(parallel FP-Growth)算法存在数据量增大无法处理的缺陷。针对这些问题,提出了基于Hadoop的负载均衡数据分割FP-Growth并行算法。在Hadoop平台下,使用负载均衡和数据分割相结合的方式对原始事务数据集分片实现并行化。实验证明,基于Hadoop的负载均衡数据分割FP-Growth并行算法在处理数据量和效率上有所提高。

通过优化条件模式基生成过程，优化寻找条件模式基路径，节省了大量的挖掘时间，相比于经典FP算法，挖掘速度有了很大的提高！VC++6.0环境下运行，利用字符数据作为测试数据！程序大部分利用STL实现，有不恰当的地方希望大家批评指正！

数据挖掘中关联挖掘算法比较典型的有Apriori和FP-growth算法．实验和研究证明FP-growth算法优于Apriori算法．但是针对大型数据库这两种算法都存在着较大缺陷，不仅要两次或多次扫描数据库，而且很难处理支持度和数据变化等关联规则更新问题．作者提出了基于模式矩阵的FP-growth改进算法，它至多扫描数据库一次，特别在更新问题上不用重新扫描数据库．通过实验结果分析，验证了这种改进算法相对于原有FP-growth算法的优势，特别在大数据集下，大大降低了挖掘的时间复杂度。

FP-Growth算法原代码

FP-growth算法在python中的实现，代码亲测可用，如果有 类似：'ascii' codec can't decode byte 0xe8 in position 0 的报错，请修改fpgrowth.py中的CreatFPtree中的下面两种： orderedItem = [v[0] for v in sorted(localD.iteritems(), key=lambda p:(p[1], -ord(p[0])), reverse=True)] # orderedItem = [v[0] for v in sorted(localD.iteritems(), key=lambda p:(p[1], int(p[0])), reverse=True)]

输入标注txt文件与预测txt文件路径，计算P、R、TP、FP与FN。txt格式为class、归一化后的矩形框中点x y w h，可调整IOU阈值