BERT歌词生成
使用预训练的BERT模型生成English Rock歌词(Devlin,J. et al。,2018)。
数据是从Kaggle 380,000+歌词数据集中获得的。 使用langdetect Python库来过滤除英语以外的其他语言的歌曲。 用于发音的Python库用于搜索诸如电话,音节和押韵单词之类的单词的属性。
使用预训练的BERT MLM进行掩码预测,使用预训练的BERT NextSentence进行连续性预测。
很少有结果:
使用BERT MLM仅在目标歌词中预测最后一个字-
编号
歌词
预测词
真话
1个
我必须清空脑袋
我想把这个地方变成我的[面具]
1