针对中文文本自动校对提出了一种新的基于Seq2Seq和Bi-LSTM结合的深度学习模型。与传统的基于规则和概率统计的方法不同,基于Seq2Seq基础结构改进,加入了Bi-LSTM单元和注意力机制,实现了一个中文文本自动校对模型。采用F0.5与GLEU指标评价,通过公开的数据集进行不同模型的对比实验。实验结果表明,新模型能有效地处理长距离的文本错误以及语义错误,Bi-RNN以及注意力机制的加入对中文文本校对模型的性能有显著提升。
2021-11-27 21:00:59 542KB 中文文本校对
1
CLUENER细粒度命名实体识别 更多细节请参考我们的: : 数据类别: 数据分为10个标签类别,分别为: 地址(address),书名(book),公司(company),游戏(game),政府(government),电影(movie),姓名(name),组织机构(organization),职位(position),景点(scene) 标签类别定义和注释规则: 地址(address): **省**市**区**街**号,**路,**街道,**村等(如单独出现也标记)。地址是标记尽量完全的, 标记到最细。 书名(book): 小说,杂志,习题集,教科书,教辅,地图册,食谱,书店里能买到的一类书籍,包含电子书。 公司(company): **公司,**集团,**银行(央行,中国人民银行除外,二者属于政府机构), 如:新东方,包含新华网/中国军网等。 游戏(game): 常见的游戏,注意
2021-11-24 18:05:14 529KB dataset named-entity-recognition chinese seq2seq
1
AI对联写手 欢迎! 这是使用AI编写对联的有趣项目。 请查看我们的网站! 介绍 什么是对联 对联是一首两行诗,具有严格的语义和恐惧规则 有关更多详细信息,请参见 (英语)页面。 这个项目是做什么用的 给定第一行(上联),模型将预测第二行(下联) 我们是住在加利福尼亚的一对中国夫妇,我们喜欢中国传统诗歌! 该项目在以下方面得到了类似的改进(请参见参考资料,以了解他们的出色工作): 据我们所知,这是TensorFlow 2中首次编写的此类文件 该模型相对于参考模型在(i)情感(意境)匹配方面进行了改进。 (ii)重复字符处理(请参见下面的“模型”部分) 例子 输入值 输出量 欲把心事付瑶琴 且将笔墨书诗画 半衾幽梦香初散 一曲清音韵未央 应是飞鸿踏泥雪 何如落雁归故乡 云破月来花弄影 雨停风送柳含烟 别后相思空一水 愁中寂寞又几回 书中自有黄金屋 笔下常留白玉簪 花谢花飞花满天 鸟啼
2021-11-23 07:41:48 65KB nlp seq2seq chinese-nlp poetry-generator
1
PyTorch中的Seq2Seq 这是用于在训练序列到序列模型的完整套件。 它由几个模型和代码组成,可以训练和推断使用它们。 使用此代码,您可以训练: 神经机器翻译(NMT)模型 语言模型 图像到字幕的生成 跳过思维的句子表示 和更多... 安装 git clone --recursive https://github.com/eladhoffer/seq2seq.pytorch cd seq2seq.pytorch; python setup.py develop 楷模 当前可用的模型: 简单的Seq2Seq递归模型 带注意解码器的递归Seq2Seq (GNMT)递归模型 变形金刚-来自的仅关注模型 数据集 当前可用的数据集: WMT16 WMT17 OpenSubtitles 2016 COCO图片标题 可以使用3种可用的分割方法对所有数据集进行标记: 基于字符的细
1
PyTorch中的快速批处理Bi-RNN(GRU)编码器和注意解码器实现 这段代码是用PyTorch 0.2编写的。 在PyTorch发行其1.0版本时,已经有很多基于PyTorch构建的出色的seq2seq学习包,例如OpenNMT,AllenNLP等。您可以从其源代码中学习。 用法:请注意有关注意力-RNN机器翻译的官方pytorch教程,除了此实现处理批处理输入,并且实现稍微不同的注意力机制。 为了找出实现方式在公式级别上的差异,下面的插图会有所帮助。 PyTorch版本机制图,请参见此处: PyTorch Seq2seq官方机器翻译教程: 巴赫达瑙(Bahdanau)注意图,请参
1
rnn的matlab代码实现seq2seq-注意 介绍 该代码实现了RNN / LSTM / GRU seq2seqseq2seq +注意模型,用于单词级的训练和采样。 您可以在Bot,自动文本摘要,机器翻译,问题解答系统等中应用它。在这里,我们向您展示一个机器人演示。 要求 senna 此接口支持词性标记,分块,名称实体识别和语义角色标记。 用于采样。 您可以找到如何安装senna hdf5 它是一种文件格式,该格式快速,灵活,并受包括MATLAB,Python和R在内的各种其他软件的支持。 您可以找到如何安装hdf5 cutorch/cunn 如果要在GRU中运行代码,则需要安装cutorch和cunn。 [sudo] luarocks install cutorch [sudo] luarocks install cunn 数据集 我们将用作语料库,以实现与它的对话机器人。 下载完成后,确保目录data/的数据文件。 跑步 步骤1运行数据预处理代码,以生成数据集文件和词汇表文件。 python bot.py 如果要对任何其他数据集或任务进行研究,则可能需要实现预处理python
2021-11-05 19:34:43 16KB 系统开源
1
贝岭的matlab的代码Keras_Attention_Seq2Seq 以了解事物的本质。 人类可以阅读的基于 Keras 的生成注意机制的序列到序列框架。 一个人类可以基于Keras的阅读研究工具的序列到框架/模型。 测试通过 Python 3.6 TensorFlow 1.12.1 keras 2.2.4 tqdm json 如果您需要评估模型 BLEU: nltk 最快使用之一:使用经过训练的模型进行英法翻译 python run_seq2seq_model.py 记得在 run_seq2seq_model.py 中将操作模式设置为翻译模式。 if __name__=='__main__': is_translation_mode = True 你会看见... Please input your sentences: california is usually quiet during march , and it is usually hot in june . california is usually quiet during march , and it is usual
2021-11-05 19:28:48 3.79MB 系统开源
1
注意神经网络的序列到序列学习 更新:检出的beta版本,完全支持seq2seq-attn的功能完全重写。 Seq2seq-attn将继续受支持,但是新功能和优化将集中在新代码库上。 在编码器-解码器为LSTM的情况下,以(可选)注意标准序列到序列模型的实现。 编码器可以是双向LSTM。 此外,还可以选择通过运行卷积神经网络,然后运行基于字符嵌入的用作输入)来使用字符(而不是输入单词嵌入)。 注意模型是从,Luong等。 EMNLP2015。我们将全球通用注意力模型与本文中的输入反馈方法结合使用。 输入进纸是可选的,可以关闭。 角色模型来自“ ,Kim等。 AAAI 2016年。 在基线模型之上还有很多其他选项,这主要归功于的出色。 具体来说,有一些功能可以实现: 。 Luong等人,EMNLP 2015。 Costa-Jussa和Fonollosa,ACL,2016年。 。
2021-10-26 10:05:11 2.51MB Lua
1
注意:本系统不仅仅支持本地英汉互译服务,还可以部署于外网服务器或者云服务器 虽不如在线翻译,但基于深度学习框架训练的模型,翻译效果还是可以的。 支持的语言:中英互译 适用系统:一键开启版本仅支持Windows系统。 亮点:无需配置任何运行环境,一键双击exe即可开启服务,可以脱离互联网完全离线本地化进行文本的翻译工作,永久免费,免费,免费。 使用环境:windows系统(不要搞xp 我不确定能不能运行 太老了) 服务开启后是一个web服务的形式,提供一个api服务(http://127.0.0.1:5690),通过post的形式向本服务传输需要翻译的字符。 资源压缩包内有详细的使用说明,或访问https://tieba.baidu.com/p/7576401247?fid=20998&pid=141674797248&cid=0&red_tag=0487712649#141674797248查看使用说明和调用实例,下载后如遇到运行问题,请私聊我或者添加我使用说明内的联系方式,我将尽量解答。
tensorflow深度学习,使用encoder-decoder模型,进行诗词训练
2021-10-13 15:33:09 34.6MB TensorFlow seq2seq 诗词
1