连续词袋(CBOW)
NLP中使用深度学习经常使用连续词袋(CBOW)和Skip-gram模型。 给定目标词之前和之后的上下文词范围N,它会尝试预测当前(目标)词。
此代码是PyTorch教程在以下链接的Word Embeddings的“获取密集的词嵌入”中给出的练习的实现:
https://pytorch.org/tutorials/beginner/nlp/word_embeddings_tutorial.html#getting-dense-word-embeddings
参考
有关单词嵌入的进一步研究,请阅读以下文章:
向量空间中单词表示的有效估计
word2vec解释:推导Mikolov等人的负采样词嵌入方法
单词和短语的分布式表示形式及其组成
2021-11-18 16:18:13
2KB
Python
1