标点预测
用于ASR输出的标点符号预测的支持工具。 给出或指出了三种模型; Tensorflow 2中的一个基于BERT的Transformer,一个seq2seq Transformer(均使用PyTorch)和一个双向RNN(Punctuator 2, )。 此外,在文件夹process还提供了用于预处理文本以供这些模型使用的代码。
基于BERT的转换器是来自的令牌分类转换器,在这里用于标点符号预测。 序列转换器的序列来自 ,它基于论文中描述的转换器。注意是您所需要的。 我们为转换器提供的所有内容是:1)数据预处理脚本,以获取用于这些模型的正确格式的数据以进行标点预测的任务,以及2)运行文件,其中对这些模型进行了标点预测的培训。
要求和安装
Python版本> = 3.6
NVIDIA GPU和NCCL
对于HuggingFace基于BERT的令牌分类器和Fairseq序列到序
2021-09-15 10:17:48
79KB
Python
1