变分线性回归

Posted by ZhengYang on 2016-07-02

变分线性回归

似然函数为:

先验分布为:

alpha的共轭先验是Gamma分布:

Gamma分布:

Gamma函数的定义为:

联合概率分布为:

我们构造的可分解的分布为:

首先,求近似分布的alpha部分,

具体推导公式如下,

可以看出它是一个Gamma分布的log形式,

通过拼凑,可以得到两个参数的具体形式,

接下来,就近似分布的w部分,

具体公式推导如下,

因为是二次型的形式,所以是个gaussian分布,

具体配方过程如下,

得到期望和方差的,

最后需要注意的是,随机向量x的均值为m,方差为M,以下两种方式的期望是不同的,上面的公式只用到了公式327。(matrix cookbook)


推了一下高斯的期望,作为复习