sentencepiece:基于Sentencepiece的Byte Pair Encoding Unigram建模的R包-源码
句子
这个存储库包含一个 R 包，它是一个围绕句子 C++ 库的 Rcpp 包装器
句子是一个无监督的分词器，它允许使用字节对编码和 Unigrams 执行文本分词
它基于论文SentencePiece: A simple and languagedependent subword tokenizer and detokenizer for Neural Text Processing [ ]
句子 C++ 代码可从。 这个包目前包含版本 v0.1.84
这个 R 包具有与 R 包类似的功能
特征
R 包允许您
构建字节对编码 (BPE)、Unigram、Char 或 Word 模型
应用模型对文本进行编码
应用模型将 id 解码回文本
下载基于维基百科的预训练句子模型
安装
对于普通用户，从本地 CRAN 镜像install.packages("sentencepiece")安装包
文件下载
资源详情
[{"title":"（ 202 个子文件 2.89MB ） sentencepiece:基于Sentencepiece的Byte Pair Encoding Unigram建模的R包-源码","children":[{"title":"sentencepiece_load_model.Rd <span style='color:#111;'> 1.15KB </span>","children":null,"spread":false},{"title":"sentencepiece_download_model.Rd <span style='color:#111;'> 3.71KB </span>","children":null,"spread":false},{"title":"txt_remove_.Rd <span style='color:#111;'> 582B </span>","children":null,"spread":false},{"title":"sentencepiece_encode.Rd <span style='color:#111;'> 3.88KB </span>","children":null,"spread":false},{"title":"BPEembedder.Rd <span style='color:#111;'> 1.94KB </span>","children":null,"spread":false},{"title":"......","children":null,"spread":false},{"title":"<span style='color:steelblue;'>文件过多，未全部展示</span>","children":null,"spread":false}],"spread":true}]
评论信息
其他资源
- 中国古诗词语料
- 三坐标测量机-张国雄.pdf
- SM2246XT开卡.rar
- VS2015 MFC 指示灯报警显示
- F28335学习程序，带详细中文注释
- 图书馆管理系统（MFC版）
- Ansys.Products.18.2.Win64-SSQ.torrent
- 基于boost asio历TCP开发的客户端和服务端程序
- ildasm.exe和ilasm.exe
- 课程设计——电子购物网站
- PB9.0 日期控件集合
- 仿微信朋友圈动态列表
- 基于JSP的电子商城系统
- A Cascading Framework for Uncovering Spammers in Social Networks
- 二手车交易规范.docx
- WiFi_FTP_Server_Pro_v1.9.5_build_74.apk
- ansible-role-jenkins：Ansible角色-Jenkins CI-源码
- libusbK-inf-wizard.exe
- VC 实现的示波器控件 非常强大
- 操作系统课程设计 实现段页式存储管理系统 实现1.创建进程 2.回收进程 3.回收段 4.显示段表 5.显示页表 6.展示内存 7.显示进程状态 0.离开
- Altera 乘法器 IP核 Modelsim仿真
- Python的Nmap模块
- Oracle的订单管理系统文档
- DS3231官方实例资料
免责申明
【只为小站】的资源来自网友分享，仅供学习研究，请务必在下载后24小时内给予删除，不得用于其他任何用途，否则后果自负。基于互联网的特殊性，【只为小站】 无法对用户传输的作品、信息、内容的权属或合法性、合规性、真实性、科学性、完整权、有效性等进行实质审查；无论 【只为小站】 经营者是否已进行审查，用户均应自行承担因其传输的作品、信息、内容而可能或已经产生的侵权或权属纠纷等法律责任。
本站所有资源不代表本站的观点或立场，基于网友分享，根据中国法律《信息网络传播权保护条例》第二十二条之规定，若资源存在侵权或相关问题请联系本站客服人员，zhiweidada#qq.com，请把#换成@，本站将给予最大的支持与配合，做到及时反馈和处理。关于更多版权及免责申明参见 版权及免责申明
本站所有资源不代表本站的观点或立场，基于网友分享，根据中国法律《信息网络传播权保护条例》第二十二条之规定，若资源存在侵权或相关问题请联系本站客服人员，zhiweidada#qq.com，请把#换成@，本站将给予最大的支持与配合，做到及时反馈和处理。关于更多版权及免责申明参见 版权及免责申明