向量相似度（vector similarity）)
在之前的文章 嵌入和语义检索 中，我们了解了把文本变成向量的方法，由于这些向量相当于将文本做了分类：语义相近的距离越近，所以这些向量就可以很方便的应用于语义检索场景了。
比较向量相似度（vector similarity）的常见算法主要分为两大类：
1️⃣基于“角度/方向”的度量
2️⃣基于“距离/差异”的度量
下面我们系统的整理一下。
一、基于“方向”的相似度算法（常用于语义相似度）
这些方法关注向量间的夹角或方向一致性，而不太关心长度。
1.余弦相似度（Cosine Similarity）
公式：
cosine-sim ( A , B ) = A ⋅ B ∣ ∣ A ∣ ∣ , ∣ ∣ B ∣ ∣ \text{cosine-sim}(A, B) = \frac{A \cdot B}{||A|| , ||B||}cosine-sim(A,B)=∣∣A∣∣,∣∣B∣∣A⋅B值域：[-1, 1]
越接近 1，表示两个向量方向越相似。特点：
忽略向量的大小，只看“方向”是否一致。应用：
文本嵌入、语义搜索、推荐系统（例如BERT、Word2Vec后常用）。
2.点积（Dot Product）
公式：
A ⋅ B = ∑ i A i B i A \cdot B = \sum_i A_i B_iA⋅B=i∑AiBi几何意义：
点积的几何意义本质是将一个向量投影到另一个向量上，再计算投影长度与被投影向量长度的乘积，它直接关联向量的方向关系。
点积的另一个计算公式为：A ⃗ ⋅ B ⃗ = ∣ A ⃗ ∣ ⋅ ∣ B ⃗ ∣ ⋅ cos θ \vec{A} \cdot \vec{B} = |\vec{A}| \cdot |\vec{B}| \cdot \cos\thetaA⋅B=∣A∣⋅∣B∣⋅cosθ，其中θ \thetaθ是两个向量的夹角，这个公式直接体现了其几何意义，可拆解为两步：- 计算向量B ⃗ \vec{B}B在向量A ⃗ \vec{A}A方向上的投影长度，即∣ B ⃗ ∣ ⋅ cos θ |\vec{B}| \cdot \cos\theta∣B∣⋅cosθ；
- 将这个投影长度与向量A ⃗ \vec{A}A的自身长度∣ A ⃗ ∣ |\vec{A}|∣A∣相乘，得到点积结果。
反过来，也可以理解为向量A ⃗ \vec{A}A在B ⃗ \vec{B}B方向上的投影长度乘以∣ B ⃗ ∣ |\vec{B}|∣B∣，结果完全相同。
数学真是太神奇了，使用不同的方法计算，正确结果只有一个。
点积
- 衍生意义：判断向量方向关系：
点积的正负和大小，能直接反映两个向量的方向关联，这是其几何意义的重要应用：
- A ⃗ ⋅ B ⃗ > 0 \vec{A} \cdot \vec{B} > 0A⋅B>0：cos θ > 0 \cos\theta > 0cosθ>0，夹角θ < 9 0 ∘ \theta < 90^\circθ<90∘，两个向量方向大致相同（锐角或同向）；
- A ⃗ ⋅ B ⃗ = 0 \vec{A} \cdot \vec{B} = 0A⋅B=0：cos θ = 0 \cos\theta = 0cosθ=0，夹角θ = 9 0 ∘ \theta = 90^\circθ=90∘，两个向量垂直（正交）；
- A ⃗ ⋅ B ⃗ < 0 \vec{A} \cdot \vec{B} < 0A⋅B<0：cos θ < 0 \cos\theta < 0cosθ<0，夹角θ > 9 0 ∘ \theta > 90^\circθ>90∘，两个向量方向大致相反（钝角或反向）。
- 特点：
向量越长、方向越相近，点积越大。
若向量已归一化，则点积 = 余弦相似度。 - 应用：
在神经网络、注意力机制（attention score）中常用。
3.皮尔逊相关系数（Pearson Correlation）
- 公式：
r ( A , B ) = ∑ i ( A i − A ˉ ) ( B i − B ˉ ) ∑ i ( A i − A ˉ ) 2 ∑ i ( B i − B ˉ ) 2 r(A, B) = \frac{\sum_i (A_i - \bar{A})(B_i - \bar{B})}{\sqrt{\sum_i (A_i - \bar{A})^2} \sqrt{\sum_i (B_i - \bar{B})^2}}r(A,B)=∑i(Ai−Aˉ)2∑i(Bi−Bˉ)2∑i(Ai−Aˉ)(Bi−Bˉ) - 特点：
衡量线性相关性，与余弦相似度相似，但会去除平均值影响。 - 应用：
用户行为相似度、推荐系统协同过滤。
二、基于“距离”的相似度算法（越小越相似）
这些算法测量两个向量的“距离”，常用于数值特征。
4.欧氏距离（Euclidean Distance）
公式：
d ( A , B ) = ∑ i ( A i − B i ) 2 d(A, B) = \sqrt{\sum_i (A_i - B_i)^2}d(A,B)=i∑(Ai−Bi)2几何意义：
欧氏距离的几何意义本质是n维空间中两个点之间的“直线距离”，是平面几何中两点间距离公式在高维空间的直接推广。从二维到高维的直观理解:
欧氏距离的核心是“直线最短”，在不同维度空间中表现为具体的直线距离：
- 二维空间：平面上两点( x 1 , y 1 ) (x_1,y_1)(x1,y1)和( x 2 , y 2 ) (x_2,y_2)(x2,y2)之间的直线距离，公式为( x 2 − x 1 ) 2 + ( y 2 − y 1 ) 2 \sqrt{(x_2-x_1)^2 + (y_2-y_1)^2}(x2−x1)2+(y2−y1)2，对应勾股定理中斜边的长度。
欧氏距离
- 三维空间：立体空间中两点( x 1 , y 1 , z 1 ) (x_1,y_1,z_1)(x1,y1,z1)和( x 2 , y 2 , z 2 ) (x_2,y_2,z_2)(x2,y2,z2)之间的直线距离，公式扩展为( x 2 − x 1 ) 2 + ( y 2 − y 1 ) 2 + ( z 2 − z 1 ) 2 \sqrt{(x_2-x_1)^2 + (y_2-y_1)^2 + (z_2-z_1)^2}(x2−x1)2+(y2−y1)2+(z2−z1)2。
- n维空间：对于抽象的n维数据点（如机器学习中的特征向量），欧氏距离同样表示两点沿各维度坐标差值构成的“超空间直线长度”，公式为∑ i = 1 n ( x i 2 − x i 1 ) 2 \sqrt{\sum_{i=1}^n (x_{i2}-x_{i1})^2}∑i=1n(xi2−xi1)2。
- 特点：
直观、最常见。距离越小越相似（如两个用户的偏好特征、两个样本的属性）。 - 应用：
聚类（KMeans）、图像向量检索。
5.曼哈顿距离（Manhattan Distance）
- 公式：
d ( A , B ) = ∑ i ∣ A i − B i ∣ d(A, B) = \sum_i |A_i - B_i|d(A,B)=i∑∣Ai−Bi∣ - 特点：
对异常值更鲁棒，适合稀疏向量。 - 应用：
特征稀疏的场景（如词袋模型）。
6.闵可夫斯基距离（Minkowski Distance）
- 公式：
d ( A , B ) = ( ∑ i ∣ A i − B i ∣ p ) 1 / p d(A, B) = \left( \sum_i |A_i - B_i|^p \right)^{1/p}d(A,B)=(i∑∣Ai−Bi∣p)1/p - 特点：
欧氏距离（p=2）和曼哈顿距离（p=1）的泛化形式。
7.切比雪夫距离（Chebyshev Distance）
- 公式：
d ( A , B ) = max i ∣ A i − B i ∣ d(A, B) = \max_i |A_i - B_i|d(A,B)=imax∣Ai−Bi∣ - 特点：
只关心最大差异的维度。
实际应用推荐
| 应用场景 | 推荐算法 |
|---|---|
| 文本语义相似度 | 余弦相似度、欧氏距离、点积 |
| 图像特征匹配 | 欧氏距离、余弦相似度 |
| 用户行为相似度 | 皮尔逊相关系数 |
| 稀疏特征向量 | 曼哈顿距离 |
总结
在语义检索（semantic retrieval）领域，最常用的相似度比较算法是：余弦相似度（使用最广泛、最经典的语义相似度算法）、欧氏距离、点积。
在语义检索系统（如基于 BERT / BGE / SimCSE / OpenAI Embedding）的实现里：
| 算法 | 常见用途 | 备注 |
|---|---|---|
| 余弦相似度 | 文本语义检索、RAG系统 | 默认标准 |
| 欧氏距离 | 向量数据库内部优化 | 距离越小越相似 |
| 点积相似度 | 注意力机制、嵌入匹配 | 速度快，常见于模型内部 |
🪐感谢观看，祝好运🪐
