最近开始看diffusion原理，发现对于VAE我的了解也甚少，这两者都涉及到ELBO(Evidence Lower Bound)，所以最近就研究一下怎么理解ELBO，并顺带搞清楚其他几个常用的概念。

先看一下我们在生成模型里遇到的问题本身，需要解决的问题可以抽象如下：

我们有数据集$X$，其中的变量（数据点，data point）$x$是我们观察到的结果，而它取决于隐变量$z$，我们想要通过模型去拟合$x$的分布，即我们的目标是得到一个模型参数$\theta$，使得$p_\theta(x)$接近于真实的分布$p(x)$，可是直接从目前的观察中推测$p(x)$几乎不可能，因为分布很复杂，$x$的分布受到隐变量$z$的影响，即$x$的生成受到$p(x|z)$的影响。当我们在近似拟合的时候如果能考虑到隐变量$z$对结果的影响，才能使我们的预测准确。

按照上述的问题描述，是否能直接求出$p(x)$呢？

如果可以直接(1)式求出$p(x)$，那么问题就比较简单，可以直接使用最大似然估计(MLE, Maximum Likelihood Estimation):

这样理解还是比较抽象，用一个具体的例子来解释什么情况下可以直接求出：

那么什么情况下(1)式是无法求出的呢？实际上涉及到高维数据，即需要神经网络解决的问题都不行，比方说需要拟合生成的数据是图片，对于每一个像素的所有可能是难以用积分的方式算出的，这种情况可以说是”integral intractable”。那么当无法直接求出(1)式时，我们要如何解决这个问题呢？

我们可以将这个关系用条件概率表示：

其中：

• $p(z|x)$: 后验概率(posterior)
• $p(x|z)$: 似然(likelihood)
• $p(z)$: 先验概率(prior)
• $p(x)$: 证据(evidence)，也叫边际似然(marginal likelihood)

参考🔗：Auto-Encoding Variational Bayes