word2vec数学推导过程

Welcome To My Blog
word2vec包含两种框架,一种是CBOW(Continuous Bag-of-Words Model),另一种是Skip-gram(Continuous Skip-gram Model),如下图所示。这两种模型的任务是:进行词的预测,CBOW是预测P(w|context(w)),Skip-gram是预测P(context(w)|w)。当整个词典中所有词的预测任务整体达到最优时,此时的词向量便是我们想要的结果。
1.png
word2vec有两种计算方式专门提升训练速度,分别是:Hierarchical Softmax 和 Negative Sampling。
本篇文章只写出有关模型的数学推导过程,其它细节可参考peghoty的word2vec 中的数学,我也是根据这篇文章学习的

Hierarchical Softmax with Continuous Bag-of-Words Model

2.jpg

Hierarchical Softmax with Continuous Skip-gram Model

3.jpg

Negative Sampling with Continuous Bag-of-Words Model

4.jpg

Negative Sampling with Continuous Skip-gram Model

5.jpg
参考
Tomas Mikolov, Efficient Estimation of Word Representations in Vector Space
peghoty, word2vec 中的数学

0%