golang 敏感词过滤
2021-08-24 16:56:38 5.73MB Go开发-工具类
1
基于go语言和开源的包封装的一个敏感词过滤服务,可微服务独立部署,提供api给业务使用,占用内存少,搜索匹配快
2021-08-24 16:42:11 2KB Go开发-自然语言处理
1
快速敏感词过滤 即将停止和移除(本项目计划于1月31日停止和移除) 本项目计划于1月31日停止和移除,请谅解,谢谢。推荐以AC自动机替代 性能概述 使用60MB大小的小说测试,单核性能超过50M字符每秒(i7 2.3GHz)。 敏感词 14553 条 待过滤文本共 599254 行,30613005 字符。 过滤耗时 0.535 秒, 速度为 57220.6字符/毫秒 其中 39691 行有替换 优化方式 主要的优化目标是速度,从以下方面优化: 敏感词都是2个字以上的, 对于句子中的一个位置,用2个字符的hash在稀疏的hash桶中查找,如果查不到说明一定不是敏感词,则继续下一个位置。 2个字符(2x16位),可以预先组合为1个int(32位)的mix,即使hash命中,如果mix不同则跳过。 StringPointer,在不生成新实例的情况下计算任意位置2个字符的hash和mix Str
2021-08-21 15:01:01 122KB Java
1
go-wordsfilter 是一个高性能的 Go 敏感词过滤器,通过预先读取敏感词源并构建树状结构数据的方式来高效地检测和替换敏感词
2021-08-16 13:51:11 5KB Go开发-文本处理
1
java 用于检测用户写的文案是否包含敏感词,里面包含多种检测方式以及检测效率,总有一种方式适合你
2021-08-13 16:18:34 6.8MB java敏感词过滤 文本敏感词
1
使用DFA算法实现的内容安全,反垃圾,智能鉴黄,敏感词过滤,不良信息检测,文本校验,敏感词检测,包括关键词提取,过滤html标签等。
2021-08-13 15:15:53 42KB Java开发-Java工具类库
1
近2000个敏感词过滤..
2021-08-03 15:46:03 9KB 敏感词过滤 敏感词库 敏感词下载
1
本版本为双向词汇版本,顺序扫描文本时,会判断正向词汇和反向词汇,有交叉的以等级高的为准,原理:http://blog.csdn.net/ranjio_z/article/details/75446147,欢迎指教询问打赏。使用说明: 1、本 Java工具包由北京师范大学2000级计算机系 张人杰 开发制作 基于多叉树的查找,任何问题请联系: zhrenjie04@126.com 2、工具包自带敏感词词库,第一次调用时读入词库,故第一次调用时间可能较长,在类加载后普通pc机上html过滤5000字新版本在9毫秒
2021-08-03 14:12:05 18KB 敏感词过滤 关键词过滤 张人杰
1
是sql文件,4038 条数据,整理过,字段type的表设计里有备注 0~5 分类代表什么类型的过滤。id,text,type 三个字段,
2021-07-23 18:04:19 251KB mysql 敏感词 sql文件
thinkphp5屏蔽词过滤类基于DFA算法,下载直接引入框架即可
2021-07-07 19:08:47 5KB thinkphp