Python计算余弦相似性（cosine similarity）方法汇总 余弦相似性（余弦相似度）通过计算两个向量的余弦角来测量两个向量之间的相似性。其基本的计算公式为
。余弦函数的函数值在-1到1之间，即两个向量余弦相似度的范围是[-1, 1]。当两个向量夹角为0°时，即两个向量重合时，相似度为1；当夹角为180°时，即两个向量方向相反时，相似度为-1。 在自然语言处理问题中，常用向量的方式来表征语言单位，比如词向量、句子向量等，并进一步进行语言数据处理或者用于机器学习、深度学习模型中。因此，在自然语言处理领域，余弦相似性常常会出现用于判断分析词向量等用向量表征的语言单位之间的语义关系。 在模型量化以后，常用量化后的推理输出与fp32的推理输出的余弦相似度数值来评估量化算法的优劣，通常要求余弦相似度的数值 0.985，越接近1越好。 Python及机器学习相关工具包提供了多种计算余弦相似性的办法，接下来将分别利用 、 、 和 看一下如何在python中计算余弦相似性。 本文参考Python计算余弦相似性（cosine similarity）方法汇总 写的，并将其中一些错误改正，加上耗时统计。 1. 在Python中使用计算余弦相似性 模块中的 函数可以用来计算余弦相似性，但是必须要用1减去函数值得到的才是余弦相似度。 2. 在Python中使用计算余弦相似性 模块没有直接提供计算余弦相似性的函数，我们可以根据余弦相似性的计算公式来计算。其中函数可以计算两个向量的内积，函数返回向量的模。 注意只能计算类型向量的余弦相似性。 3. 在Python中使用计算余弦相似性 提供内置函数可以直接用来计算余弦相似性。 4. 在Python中使用计算余弦相似性 模块提供函数用于计算张量的余弦相似性 也可以调用torch.cosine_similarity来计算，下面加入了统计耗时的语句： 注意，函数只能对类型的张量进行计算，计算结果返回的仍然是一个类型的数据。 5. 使用结论 算法统计计算2000次耗时（s）torch.nn.functional.cosine_similarity0.0torch.cosine_similarity0.07168spatial.distance.cosine0.076953vec1.dot(vec2) / (np.linalg.norm(vec1) * np.linalg.norm(vec2))0.0sklearn.metrics.pairwise.cosine_similarity0.63281 通过统计耗时及实际应用，推荐选用numpy直接写公式计算或者torch的方法。
2024最新激活全家桶教程，稳定运行到2099年，请移步至置顶文章：https://sigusoft.com/99576.html
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请联系我们举报，一经查实，本站将立刻删除。 文章由激活谷谷主-小谷整理,转载请注明出处：https://sigusoft.com/88692.html
