CLIP 提出在超大规模数据集上，用文本监督信号，通过对比学习来训练一个超大模型，能够很好地提取文本和图像特征，并形成文本特征和图像特征的对应，为多模态的工作做了铺垫。

混精度训练： 是一种可以大幅加速模型训练，减小内存占用，同时也不影响模型精度的技术。

CLIP的架构： 收集大量的 （text，img）的pair 将 img 输入到 img-enco...

马尔可夫不等式 & 切比雪夫不等式

首先，让我们回顾马尔可夫不等式。

$P\lbrace X \ge \epsilon \rbrace \le \frac{E[ X^r]} {\epsilon^r}\space (\epsilon > 0)$

Markov 不等式衡量了随机变...