本文介绍扩散模型，从最经典的 DDPM 到 一些改进工作，从 实施步骤 到 一些总括性的理论。

DDPM

扩散模型从自然界中的扩散过程获得灵感，正向的扩散过程是一种 熵增过程，会损失一部分信息量。

将扩散过程和图片生成联系起来是十分天才的想法，为了更好地理解扩散模型，我们需要一些先验知识。 i)时间跨度足够长的扩散过程...

CLIP 提出在超大规模数据集上，用文本监督信号，通过对比学习来训练一个超大模型，能够很好地提取文本和图像特征，并形成文本特征和图像特征的对应，为多模态的工作做了铺垫。

混精度训练： 是一种可以大幅加速模型训练，减小内存占用，同时也不影响模型精度的技术。

CLIP的架构： 收集大量的 （text，img）的pair 将 img 输入到 img-enco...

马尔可夫不等式 & 切比雪夫不等式

首先，让我们回顾马尔可夫不等式。

$P\lbrace X \ge \epsilon \rbrace \le \frac{E[ X^r]} {\epsilon^r}\space (\epsilon > 0)$

Markov 不等式衡量了随机变...