2025年熵，KL散度(相对熵)，交叉熵

科技前沿 • 2025-01-05 16:45 • 阅读 43

大家好，我是讯享网，很高兴认识大家。

信息量：-lg(p)

I( $x_{0}$ ), 一个事件发生的概率越大，则它发生时所携带的信息量就越小;

熵: - $\sum$ p*lg(p)

对一个事件 $x_{1}$ , $x_{2}$ ,..., $x_{n}$ 所有可能的发生结果的信息量的期望E(I(X))，或者不确定性程度的期望；

KL散度(相对熵)： $D_{KL}(p||q) = \sum_{x} p(x)*lg\frac{p(x)}{q(x)}$ (注意前面没有负号）

= $-\sum_{x} p(x)*lg{q(x)} + \sum_{x}p(x)*lgp(x)$ = $H_{q}(p)$ - H(p)

用来度量两个分布p(真实分布),q(假设分布)之间的差异(严格意义上不是距离，因为不满足交换律)

例子：google用KL散度来度量蒙特卡罗树试探得到的action分布和神经网络预测得到的action分布之间的差异；

交叉熵： $-\sum_{x} p(x)*lg{q(x)}$

当p(x)是已知分布时，例如时已知的label y向量，则H(p)是常数，最小化KL散度就变成了最小化交叉熵，所以交叉熵就成了损失函数；

（之所以叫做交叉熵，是因为看上去像是H(p)和H(q)一个取前面一个取后面得到的。。。）

把p(x)放到lg里面的q(x)的指数上，就变成了负对数似然函数，所以交叉熵和负对数似然函数是等价的；

ID3,C4.5,CART，3者对比：

C4.5的信息增益率，可以削弱“对取值多的属性”的偏好，但是同时对取值数目少的属性就有了偏好。。。通常会，先选取信息增益高于平均水平的特征以后，再从中选取增益率高的。

ID3和C4.5的树可以是多叉树，CART的树只能是二叉树。

CART树可以做分类（gini系数），也可以做回归（均方误差损失函数）；（Random Forest用的就是CART树）

gini系数： $\sum_{k}p_{k}*(1-p_{k})$ = $1 - \sum_{k}p_{k}^2$ 意义：从数据集D中随机抽取两个样本类别标识不一致的概率。基尼指数越小，数据集的纯度越高。优点：省去了log，节省了计算量；

Random Forest: （Random Forest用的就是CART树---（CART树：二叉树，分类用基尼指数指标，回归用平方误差））

1. 训练样本采样使用Bagging(有放回的采样，训练集占所有样本的比例趋向于0.632，1-(1-1/N)^N取极限)

2. 特征采样：每个树节点，只采样一部分特征，在这部分特征里选择最优特征和最优分界点；