word2vec 数学原理

秒速五厘米 2022-06-07 09:42 158阅读 0赞

word2vec 是 Google 于 2013 年推出的一个用于获取词向量的开源工具包。我们在项目中多次使用到它，但囿于时间关系，一直没仔细探究其背后的原理。

网络上 《word2vec 中的数学原理详解》 有一系列的博文，对这个问题已经做了很好的阐述。作者十分用心，从最基础的预备知识、背景知识讲起，这样读者就不用到处找相关资料了。

这里，我就把其博文链接直接搬运过来：

[（一）目录和前言][Link 1]

[（二）预备知识][Link 2]

[（三）背景知识][Link 3]

[（四）基于 Hierarchical Softmax 的模型][Hierarchical Softmax]

[（五）基于 Negative Sampling 的模型][Negative Sampling]

[（六）若干源码细节][Link 4]

这个系列博文里的一些数学推导来自下面这篇文章，

[word2vec Parameter Learning Explained][]

这篇文章的作者还提供了一个非常直观的可视化工具，可以直观地看到每一步的训练到底发生了什么

[wevi: word embedding visual inspector][wevi_ word embedding visual inspector]

[![word-embedding-visual-inspector.png][]][wevi_ word embedding visual inspector]

原版的 word2vec 项目链接在此

[https://code.google.com/archive/p/word2vec/][https_code.google.com_archive_p_word2vec]

【原文链接】[http://www.ipaomi.com/2017/09/22/word2vec-数学原理/][http_www.ipaomi.com_2017_09_22_word2vec-][  
][https_code.google.com_archive_p_word2vec]

[Link 1]: http://blog.csdn.net/itplus/article/details/37969519
[Link 2]: http://blog.csdn.net/itplus/article/details/37969635
[Link 3]: http://blog.csdn.net/itplus/article/details/37969817
[Hierarchical Softmax]: http://blog.csdn.net/itplus/article/details/37969979
[Negative Sampling]: http://blog.csdn.net/itplus/article/details/37998797
[Link 4]: http://blog.csdn.net/itplus/article/details/37999613
[word2vec Parameter Learning Explained]: https://arxiv.org/pdf/1411.2738.pdf
[wevi_ word embedding visual inspector]: https://ronxin.github.io/wevi/
[word-embedding-visual-inspector.png]: http://www.ipaomi.com/wp-content/uploads/2017/09/word-embedding-visual-inspector.png
[https_code.google.com_archive_p_word2vec]: https://code.google.com/archive/p/word2vec/
[http_www.ipaomi.com_2017_09_22_word2vec-]: http://www.ipaomi.com/2017/09/22/word2vec-%e6%95%b0%e5%ad%a6%e5%8e%9f%e7%90%86/