jaccard相似系数怎么算_照片相似度对比软件app

jaccard相似系数怎么算_照片相似度对比软件app点积相似度、余弦相似度、欧几里得相似度看starspace的时候发现它实现了dot和cos两种similarity的度量方式,这里总结一下:余弦相似度衡量两个向量在方向上的相似性,而不care两个向量的实际长度,A和B的长度即使是一个超级短一个超级长的情况下,二者

点积相似度、余弦相似度、欧几里得相似度   看starspace的时候发现它实现了dot和cos两种similarity的度量方式,这里总结一下:
jaccard相似系数怎么算_照片相似度对比软件app
jaccard相似系数怎么算_照片相似度对比软件app   余弦相似度衡量两个向量在方向上的相似性,而不care两个向量的实际长度,A和B的长度即使是一个超级短一个超级长的情况下,二者的余弦相似性也可能为1(即theta=0,此时两个向量重合);存在的问题[1]: 。比如用户对内容评分,5分制。A和B两个用户对两个商品的评分分别为A:(1,2)和B:(4,5)。我们分别用两种方法计算相似度。使用余弦相似度得出的结果是0.98,看起来两者极为相似,但从评分上看X似乎不喜欢这两个东西,而Y比较喜欢。造成这个现象的原因就在于,余弦相似度没法衡量每个维数值的差异,对数值的不敏感导致了结果的误差。 需要修正这种不合理性,就出现了调整余弦相似度,即所有维度上的数值都减去一个均值。修正的余弦相似度可以说就是对余弦相似度进行归一化处理的算法,公式如下:
jaccard相似系数怎么算_照片相似度对比软件app
jaccard相似系数怎么算_照片相似度对比软件app   欧几里得相似度:
jaccard相似系数怎么算_照片相似度对比软件app
jaccard相似系数怎么算_照片相似度对比软件app   点积相似度:   点积相似度是一个比较有意思的概念,我们在word2vec和deepwalk等模型的构建过程中都有它的身影;以word2vec的常规的softmax的损失函数为例
jaccard相似系数怎么算_照片相似度对比软件app
jaccard相似系数怎么算_照片相似度对比软件app   我们希望点积之后的结果(即Uc*Vw)经过softmax之后能够和真实的分布情况一样(也就是能够尽量为[0,0,0,…1…,0,0,0],其中1是中心词对应的index),那么这样整个word2vec的训练的过程就跃然纸上了:   对于点积的公式:
jaccard相似系数怎么算_照片相似度对比软件app
jaccard相似系数怎么算_照片相似度对比软件app   可以看到,我们在优化点积的时候实际上是在优化a b的模长和二者的夹角(a和b分别是embedding空间的a向量和b向量),以word2vec为例,使用负采样的方式,a和b在同一个窗口内,其对应标签为1,则模型训练肯定是希望|a|*|b|*costheta 越接近1越好,那么在优化的过程中:   假设a和b的模长均为1且固定,则theta可能会越来越小(theta越小则costheta越接近于1,则整个a*b越接近于1),那么在embedding空间发生的事情就是,a和b向量越来越接近,这就和我们的目的达成一致,
jaccard相似系数怎么算_照片相似度对比软件app
jaccard相似系数怎么算_照片相似度对比软件app   当然这是理想的情况,一般来说|a|和|b|的模场也是会发生变化的,他们和cos theta共同决定最终的训练结果,所以一般来说,两个相近的词其最终的embedding向量比较不容易完全重合,而是相互之间相对于其它不相关的词更加靠近;   补充,一般我们进行点积相似性度量的时候,例如召回层用embedding点积进行相似度计算,会进行l2归一化处理,
jaccard相似系数怎么算_照片相似度对比软件app
jaccard相似系数怎么算_照片相似度对比软件app   归一化之后的embedding向量进行点积实际上就是计算夹角余弦值;

2024最新激活全家桶教程,稳定运行到2099年,请移步至置顶文章:https://sigusoft.com/99576.html

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。 文章由激活谷谷主-小谷整理,转载请注明出处:https://sigusoft.com/23164.html

(0)
上一篇 2024年 9月 14日 下午6:10
下一篇 2024年 9月 14日 下午6:14

相关推荐

关注微信