8月30日总结
今日花费
- 早午饭 13.00
- 咖啡 1.90
- 茶 2.90
- 晚饭 14.50
- 交通 4.00
- 薯片 3.50
- 总花费 39.80
今天首先完善了数据标注网页,添加了手动保存以及余...
from transformers.activations import ACT2FN
class FeedForward(nn.Module):
def __init__(self, config: MiniMindConfig):
...
本文是 miniGPU 系列的第二篇文章,介绍我们设计的 TensorCore。TensorCore 的主要作用是 在一个周期内实现 FMA 运算。也就是一个乘加运算($D=AB+C$),我们的设计中,TensorCore 处理的是 $4\times 4$ 的矩阵;另一个比较重要的特性是,TensorCore 可以进行混合精度运算。
MuZero 是一种强化学习算法,在大名鼎鼎的 AlphaZero 的基础上有一定的突破与改进。MuZero 主要有预测三个函数:
我们首先介绍一些符号,$o^k$ 代表第 k 步观察到的状态,$r^k$ 代表预测第 k 步获得的即时奖励,$s^k$ 代表第 k 步的隐藏状态,$a^k$ 代表...
本文基于 IEEE754 标准,介绍计算机实现 FP32(32 位浮点数)加法、乘法运算的过程,并提供一份 Verilog 实现,因为我并没有仔细推敲,所以我提供的代码可能效率不够高、简洁,仅作参考。
在 IEEE754 标准下,32 个比特位被拆分为 符号位(1bit)、指数位(8bit...
我们大部分时候通过 SSH 远程连接服务器,在命令行中输入指令实现操作。 如果你曾经尝试过在服务器上执行 类似 plt.show() 的命令的话,那么你应该知道,图形窗口是无法显示的,为了能够方便便捷地编程,我们希望在本机可以看到这些图形窗口。 这就需要用到 SSH X11 转发了。本文将介绍如何在 VSCode 上配置 X11 转发。
minimind 是一个著名的开源项目。它没有使用各种高度抽象的接口,为我们展示了训练一个语言模型的细节(没有让细节被隐藏在各种第三方库之下)。因此,它也是入门 LLM 的一个很好的开源项目。 这篇文章解析了部分 minimind 的代码,并给出了一些运行结果,帮助对 Pytorch 不熟悉的人快速上手 minimind。