我们大部分时候通过 SSH 远程连接服务器，在命令行中输入指令实现操作。 如果你曾经尝试过在服务器上执行 类似 plt.show() 的命令的话，那么你应该知道，图形窗口是无法显示的，为了能够方便便捷地编程，我们希望在本机可以看到这些图形窗口。 这就需要用到 SSH X11 转发了。本文将介绍如何在 VSCode 上配置 X11 转发。

...

minimind 是一个著名的开源项目。它没有使用各种高度抽象的接口，为我们展示了训练一个语言模型的细节（没有让细节被隐藏在各种第三方库之下）。因此，它也是入门 LLM 的一个很好的开源项目。 这篇文章解析了部分 minimind 的代码，并给出了一些运行结果，帮助对 Pytorch 不熟悉的人快速上手 minimind。

mo...

本文介绍扩散模型，从最经典的 DDPM 到 一些改进工作，从 实施步骤 到 一些总括性的理论。

DDPM

扩散模型从自然界中的扩散过程获得灵感，正向的扩散过程是一种 熵增过程，会损失一部分信息量。

将扩散过程和图片生成联系起来是十分天才的想法，为了更好地理解扩散模型，我们需要一些先验知识。 i)时间跨度足够长的扩散过程...

CLIP 提出在超大规模数据集上，用文本监督信号，通过对比学习来训练一个超大模型，能够很好地提取文本和图像特征，并形成文本特征和图像特征的对应，为多模态的工作做了铺垫。

混精度训练： 是一种可以大幅加速模型训练，减小内存占用，同时也不影响模型精度的技术。

CLIP的架构： 收集大量的 （text，img）的pair 将 img 输入到 img-enco...

马尔可夫不等式 & 切比雪夫不等式

首先，让我们回顾马尔可夫不等式。

$P\lbrace X \ge \epsilon \rbrace \le \frac{E[ X^r]} {\epsilon^r}\space (\epsilon > 0)$

Markov 不等式衡量了随机变...