Naive Bayes的基本实现以及分布式实现
基于Java实现。
项目内容
项目简介
项目起因
本项目主要实现大规模文本分类,提供快速高效的情感分析框架。
项目框架
simple: 单线程、单机器的Navie Bayes算法的实现。
mapred: 分布式部分包含四个MapReduce作业:
两个训练作业
一个用于将训练模型与测试数据集联接的作业
一个用于分类的作业
一个用于与DB联接的作业
mapred.core: 将训练和预测拆分:
1)训练部分包含4个作业:两个计算类别的先验概率、两个计算词语在类中的条件概率;
2)预测部分包含2个作业:预测数据与模型的联结、预测算法;
web: 提供web服务:
使用训练好的模型,提供在线情感分析服务。
输入数据示例:
cate1,cate2 测试 数据 集合
cate2,cate3 测试 数据 集合
运行主作业:
2021-12-21 16:30:44
30.04MB
Java
1