变分线性回归
似然函数为:
先验分布为:
alpha的共轭先验是Gamma分布:
Gamma分布:
Gamma函数的定义为:
联合概率分布为:
我们构造的可分解的分布为:
首先,求近似分布的alpha部分,
具体推导公式如下,
可以看出它是一个Gamma分布的log形式,
通过拼凑,可以得到两个参数的具体形式,
接下来,就近似分布的w部分,
具体公式推导如下,
因为是二次型的形式,所以是个gaussian分布,
具体配方过程如下,
得到期望和方差的,
最后需要注意的是,随机向量x的均值为m,方差为M,以下两种方式的期望是不同的,上面的公式只用到了公式327。(matrix cookbook)
推了一下高斯的期望,作为复习