针对互联网不良信息检测这一业务场景，探讨了基于网站文本内容进行检测的方法。回顾了经典的文本分析技术，重点介绍了Bert模型的关键技术特点及其两种不同用法。详细描述了利用其中的特征提取方法，进行网站不良信息检测的具体实施方案，并且与传统的TF-IDF模型以及word2vec+LSTM模型进行了对比验证，证实了这一方法的有效性。
2022-06-22 22:51:20
705KB
1
word源码java
copyright
不管您是个人还是公司都可以随意使用DzFilter，并且随意修改源代码。感谢大家的使用！
温馨提示
用于生产环境时请替换项目的数据库连接代码，使用数据连接池的方式操作数据库！非常抱歉，本项目暂不维护！
公告
目前1.0.7已经完善，暂时不支持sqlite强一致性，不能100%保证一致。
修复了集群情况下，重复通知的BUG。
1.0.9
版本移除关键词检索功能，如需使用请自行维护。
1.1.0
优化敏感词加载性能。
使用指南
SpringBoot举一反三即可.
DzFilter
目前最新版：1.1.0[]
使用DFA算法实现的敏感词过滤。主要用于实现数据文本的内容安全,反垃圾,智能鉴黄,敏感词过滤,不良信息检测，携带文本的关键词获取。
过滤SQL脚本
过滤中文字符
过滤英文字符
过滤script标签
过滤html标签
过滤数字
过滤字母
过滤汉字
自定义过滤，可由后台自动删除添加。提供完善的API。
如何使用
导入以下仓库
jitpack.io
http
2021-12-30 12:03:27
41KB
1