PyTorch SGNS
Python中Word2Vec的SkipGramNegativeSampling 。
在实现了另一个但非常普遍的。
它可以与任何嵌入方案一起使用! 我敢打赌。
vocab_size = 20000
word2vec = Word2Vec ( vocab_size = vocab_size , embedding_size = 300 )
sgns = SGNS ( embedding = word2vec , vocab_size = vocab_size , n_negs = 20 )
optim = Adam ( sgns . parameters ())
for batch , ( iword , owords ) in enumerate ( dataloader ):
loss = sgns ( iword , owords )
1