Entropy

熵在机器学习算法中非常常见，决策树ID3用熵来判断子节点的类别纯度；EM算法中，log似然函数可以分解为L部分可KL部分，其中KL部分就是KL散度，即相对熵，用于度量两个分布的相似度；在神经网络中，交叉熵可以作为成本函数，交叉熵=熵+相对熵。

其中，需要注意的是，EM中的前项是拟合分布的L函数，后项是拟合分布到实际分布的KL散度；交叉熵中的前项是实际分布的熵，后项是实际分布到拟合分布的KL散度。KL散度的前后向是不同的。

Entropy