当前位置:首页 » 存储配置 » 语义向量存储

语义向量存储

发布时间: 2023-09-25 00:00:32

㈠ 二、词向量和语义

基于统计的词向量目的是,希望通过低维稠密向量来表示词的含义,例如:

在上面三个句子中,比如对于like这个词,在三个句子中,其左右共出现2次I,1次deep 和1次NLP,所以like对谨基卜应的词向量中,I、deep和NLP维的值分别为2,1,1。

词梳理很多时,矩阵很大,维度很高,需要的存储空间也很大
当词的数目是在不断增长,则词向量的维度也在不断增长
矩阵很稀疏,即词向量很稀疏,会遇到稀疏计算的问题

表示上下文单词
代表单词
表示在特定大小的上下文窗口(context window)内共同出现的次数。这个次数的最小单位是1,但是 GloVe不这么认为: 它根据两个单词在上下文窗口的距离dd.提出了一个衰减函数(decreasing weighting): 用于计算权重,也就是说距离越远的两个单词所占总 计数(total count)的权重越小。

其中, 是我们最终要求解的词向量; 分别是两个 词向量的bias term
那它到底是怎么来的,为什么祥穗要使用这个公式?为什么要构锋凳造两个词向量 ?
有了上述公式之后,我们可以构建Loss function:

实验中作者设定 ,并且发现 时效果比较好。

GloVe 与word2vec,两个模型都可以根据词汇的 "共现 co-occurrence" 信息,将词汇编码成一个向量。

两者最直观的区别在于,word2vec是 "predictive" 的模型,而GloVe是 "count-based" 的模型。

Glove 和 word2vec 从算法实现的角度来说,它们区别在于loss的计算是不同的:

两个模型在并行化上有一些不同,即GloVe更容易并行化,所以对于较大的训练数据,GloVe更快。

热点内容
C语言程序设计习题与解答 发布:2025-07-08 16:58:28 浏览:615
中国海洋大学ftp 发布:2025-07-08 16:57:42 浏览:77
前台与数据库的连接 发布:2025-07-08 16:54:43 浏览:587
抖音评测源码 发布:2025-07-08 16:54:07 浏览:901
查询腾讯云服务器网关 发布:2025-07-08 16:41:42 浏览:306
oraclesql序列 发布:2025-07-08 16:32:36 浏览:35
cod17编译着色器55 发布:2025-07-08 15:43:53 浏览:559
Shell脚本的posix模式 发布:2025-07-08 15:41:32 浏览:353
压缩奶油消泡 发布:2025-07-08 15:40:11 浏览:426
服务器一定要有公网ip吗 发布:2025-07-08 15:35:12 浏览:797