度量学习系列（1）：什么是度量学习

科技前沿 • 2025-02-20 08:28 • 阅读 33

大家好，我是讯享网，很高兴认识大家。

原文链接：What is Metric Learning？

根据可依赖的训练数据的形式，可将度量学习问题公成两类：

有监督学习：算法不得不接近一列数据点集，其中的每一个数据有带有类别标签。一般来说，有监督下的度量学习的目的是为了学到这样的距离度量，这个距离度量能够将具有相同标签（同类）的数据点拉近，并将不同标签（异类）的数据点推开。
弱监督学习：该算法仅在元组级别（二元组、三元组，或者四元组）的监督下访问一组数据点。这种较弱的监督的一个典型例子是一组正对和负对；在这种情况下，目标是学习一个距离度量，将正对放在一起，负对放在远处。

在metric-learn包中，所有当前的算法都学习一个被称之为“马氏距离”的度量。给定一个实参数距离 $L\in R^{n\times m}$ ，其中 $n$ 为维数， $m$ 为数据的特征个数。马氏距离可以表示成如下形式：
$D(x,x')=\sqrt{(Lx-Lx')^T(Lx-Lx')}$

换句话说，马氏距离就是特征空间通过矩阵 $L$ 做完线性变换后的欧式距离。当 $L$ 为单位阵时，马氏距离就等于欧式距离。马氏距离的度量学习可以看作是学习一个新的 $n$ 维嵌入空间。注意到，当 $n$ 是比 $m$ 要小时，达到降维的效果。

严格意义上，马氏距离是一种伪度量：它满足度量的三个特性（非负，对称，三角不等式）。

注意：马氏距离也可以参数化为一个半正定的矩阵 $M$ ：
$D(x,x')=\sqrt{(x-x')^TM(x-x')}$
此处， $M=L^TL$ 。因此，对该度量学习问题的求解可是求解 $M$ ，也可以是 $L$ 。

度量学习的用途有很多，我们下面介绍一些受欢迎的例子。具体例子请看example。

metric-learn包的应用接口是基于scikit-learn。我们能很方便地将度量学习器与其它基于scikit-learn的估计器实现其它用途。

关于更多度量学习的信息与应用，我们可以参考以下文献：

教程： Similarity and Distance Metric Learning with Applications to Computer Vision (2015)
综述：:A Survey on Metric Learning for Feature Vectors and Structured Data (2013), Metric Learning: A Survey (2012)
书籍：Metric Learning (2015)