贝叶斯
$\theta$是变量$x$的参数
$\eta$是变量$\theta$的参数
$\eta$是变量$x$的超参数
贝叶斯 (Bayes or Standard Bayes or Fully Bayes)
在给定数据之前，先验分布$p(\theta)$就已经确定下来了，即参数$\theta$的分布$p(\theta)$已知，$p(\theta)$表达式中的参数$\eta$已知。
$$p(\theta|x)=\frac{p(x|\theta)p(\theta)}{p(x)}$$
经验贝叶斯 (Empirical Bayes)
在给定数据之前，先验分布$p(\theta)$未知，即参数$\eta$未知。给定数据之后，先验分布是根据数据估计的，即确定使$p(x|\eta)$最大的超参数$\eta$的值。
$$\eta^*=argmax_{\eta}p(x|\eta)$$
$p(x|\eta)$表示关于$\eta$，而不是$\theta$的最大似然。将$p(x|\theta)$中的参数$\theta$替换成$p(\theta)$的表达式，表达式中，只包含超参数$\eta$，所以可以这么写。
然后根据$\eta^*$得到先验分布的估计，代入贝叶斯公式，其余的部分和贝叶斯都一样。
$$p(\theta|x) \approx \frac{p(x|\theta)p(\theta|\eta^*)}{p(x|\eta^*)}$$
经验贝叶斯可以看成是贝叶斯的的近似，经验贝叶斯与贝叶斯也仅仅只有先验给定与估计的区别。
Others
Empirical Bayes is only one of the possible approximations to a full Bayes treatment. There are many other approximation algorithms available, such as Variational Bayes and Expectation Propagation.
Reference
- https://en.wikipedia.org/wiki/Empirical_Bayes_method
- http://stats.stackexchange.com/questions/115155/empirical-bayes-vs-non-informative-priors?rq=1
