sentencepiece:基于Sentencepiece的Byte Pair Encoding Unigram建模的R包-源码
句子
这个存储库包含一个 R 包，它是一个围绕句子 C++ 库的 Rcpp 包装器
句子是一个无监督的分词器，它允许使用字节对编码和 Unigrams 执行文本分词
它基于论文SentencePiece: A simple and languagedependent subword tokenizer and detokenizer for Neural Text Processing [ ]
句子 C++ 代码可从。 这个包目前包含版本 v0.1.84
这个 R 包具有与 R 包类似的功能
特征
R 包允许您
构建字节对编码 (BPE)、Unigram、Char 或 Word 模型
应用模型对文本进行编码
应用模型将 id 解码回文本
下载基于维基百科的预训练句子模型
安装
对于普通用户，从本地 CRAN 镜像install.packages("sentencepiece")安装包
文件下载
资源详情
[{"title":"（ 202 个子文件 2.89MB ） sentencepiece:基于Sentencepiece的Byte Pair Encoding Unigram建模的R包-源码","children":[{"title":"sentencepiece_load_model.Rd <span style='color:#111;'> 1.15KB </span>","children":null,"spread":false},{"title":"sentencepiece_download_model.Rd <span style='color:#111;'> 3.71KB </span>","children":null,"spread":false},{"title":"txt_remove_.Rd <span style='color:#111;'> 582B </span>","children":null,"spread":false},{"title":"sentencepiece_encode.Rd <span style='color:#111;'> 3.88KB </span>","children":null,"spread":false},{"title":"BPEembedder.Rd <span style='color:#111;'> 1.94KB </span>","children":null,"spread":false},{"title":"......","children":null,"spread":false},{"title":"<span style='color:steelblue;'>文件过多，未全部展示</span>","children":null,"spread":false}],"spread":true}]
评论信息
其他资源
- 第1部分：石油大典2006(免安装破解版)
- 极域电子教室退出学生端工具包
- 操作系统原理 庞丽萍 第四版 课后答案
- Learning OpenCV(中文版)_书签版
- 在ENVI中进行掩膜处理
- SRIO rev2.1_spec, RapidIO Interconnect Specification.zip
- Bilibili用户信息（三百万）
- asp.net仓库管理系统
- Modtran4程序
- MFC读取修改添加xml
- 文件上传和下载jar包.rar
- 参差不齐：在AWS和GCP实例上训练深度学习模型-源码
- ssm整合jar包
- 新闻发布系统（mysql+报告）
- ospf协议剖析
- 大气激光传输
- stm32 mpu925 原始数据
- 一款可以使数字自动递增的CAD小插件
免责申明
【只为小站】的资源来自网友分享，仅供学习研究，请务必在下载后24小时内给予删除，不得用于其他任何用途，否则后果自负。基于互联网的特殊性，【只为小站】 无法对用户传输的作品、信息、内容的权属或合法性、合规性、真实性、科学性、完整权、有效性等进行实质审查；无论 【只为小站】 经营者是否已进行审查，用户均应自行承担因其传输的作品、信息、内容而可能或已经产生的侵权或权属纠纷等法律责任。
本站所有资源不代表本站的观点或立场，基于网友分享，根据中国法律《信息网络传播权保护条例》第二十二条之规定，若资源存在侵权或相关问题请联系本站客服人员，zhiweidada#qq.com，请把#换成@，本站将给予最大的支持与配合，做到及时反馈和处理。关于更多版权及免责申明参见 版权及免责申明
本站所有资源不代表本站的观点或立场，基于网友分享，根据中国法律《信息网络传播权保护条例》第二十二条之规定，若资源存在侵权或相关问题请联系本站客服人员，zhiweidada#qq.com，请把#换成@，本站将给予最大的支持与配合，做到及时反馈和处理。关于更多版权及免责申明参见 版权及免责申明