之前在网上看过很多关于word2vec 的学习笔记,但都是拿拿其中一小部分进行阐述,基本没有比较全面和深入的讲解。由于word2vec涉及的基础知识比较多,对于word2vec如果要全面,可能要从基础线性回归 [10]、最小二乘法 [11]、sigmoid函数 [9][12]、Huffman树 [13]、softmax回归 [9][14]、词向量 [15]、似然估计 [17]等等。如需要了解基础知识,请先看相关参数文献;如需较全面的预热,请参考网易发一篇文章 [18](相信对word2vec有兴趣的同学都看过)。
本文适合在对word2vec算法有一定基础上,但想进一步了解word2vec的实现细节的同学。如遇到问题,最好参照着google源码实现进行理解(文章最后有源码参考)。
1