本文介绍: 因为Word2Vec的最终目的是得到词向量矩阵U，因此训练任务并非仅仅只能是根据输入词预测输出词的概率，可以将任务修改为预测某一个词是否是输入词的上下文词的概率。层次Softmax存在的问题是人为增强了词与词之间的耦合性。一般为小于1的正数起到放缩作用，使得频率小的词被采样的几率得到提升，频率大的词被采样的几率被降低，这样能增加低频词被采样到的机会，可以显著提高低频词的词向量的准确度。词的分布式表示的核心思想是：一个词是由这个词的周边词汇一起来构成精确的语义信息，因此可以用一个词附近的其他词来表示该词。
-
词嵌入要解决什么问题
在自然语言系统中，词被看作最为基本的单元，如何将词进行向量化表示是一个很基本的问题，词嵌入（word embedding）就是把词映射为低维实数域向量的技术。
下面先介绍几种词的离散表示技术，然后总结其缺点，最后介绍词的分布式表示及其代表技术（word2vec）。
-
词的离散表示
-
One-hot表示
根据语料构造一个大小为V的词汇表，并为每一个词分配一个id。
每个词都可以表示为一个V维向量，除了该词id对应的维度为1外，其余维度为0。
-
n-gram
与One-hot类似，只是统计单元由单个的词变成了连续的几个词，如2-gram是统计连续的两个单词构造词典。
-
离散表示的缺点
- 词向量维度随着词汇表大小的增长而增长带来的内存问题；
- 词向量过于稀疏，浪费内存，丢失信息；
- 无法衡量词和词之间的关系。
-
-
词的分布式表示
词的分布式表示的核心思想是：一个词是由这个词的周边词汇一起来构成精确的语义信息，因此可以用一个词附近的其他词来表示该词。词的分布式表示有以下几种代表方法：
-
共现矩阵
使用固定大小的滑窗统计词与词在窗口内的共现次数，然后将每个词表示为一个大小为V的矩阵，每个维度为该词与该维度对应词的共现次数。
共现矩阵方法仍然会存在内存问题以及稀疏性问题。
-
Word2Vec
谷歌2013年提出的Word2Vec是目前最常用的词嵌入模型之一，它实
-
原文地址:https://blog.csdn.net/Runnymmede/article/details/135517839
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若转载，请注明出处：http://www.7code.cn/show_54715.html
如若内容造成侵权/违法违规/事实不符，请联系代码007邮箱：suwngjj01@126.com进行投诉反馈，一经查实，立即删除！
声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。
