9月1日总结
2025-09-01
今日花费
- 米线 19.80
- 豆花 1.99
- 玫瑰撞奶 9.00
- 晚饭炒米粉 9.00
- 交通 4.00
- 电费 5.00
- 矿泉水 2.00
- 总计 50.80
今天我实现了 SIMTStack 最基础的设计,实际上就是一个简易...
今天首先完善了数据标注网页,添加了手动保存以及余...
from transformers.activations import ACT2FN
class FeedForward(nn.Module):
def __init__(self, config: MiniMindConfig):
...
本文是 miniGPU 系列的第二篇文章,介绍我们设计的 TensorCore。TensorCore 的主要作用是 在一个周期内实现 FMA 运算。也就是一个乘加运算($D=AB+C$),我们的设计中,TensorCore 处理的是 $4\times 4$ 的矩阵;另一个比较重要的特性是,TensorCore 可以进行混合精度运算。
MuZero 是一种强化学习算法,在大名鼎鼎的 AlphaZero 的基础上有一定的突破与改进。MuZero 主要有预测三个函数:
我们首先介绍一些符号,$o^k$ 代表第 k 步观察到的状态,$r^k$ 代表预测第 k 步获得的即时奖励,$s^k$ 代表第 k 步的隐藏状态,$a^k$ 代表...
本文基于 IEEE754 标准,介绍计算机实现 FP32(32 位浮点数)加法、乘法运算的过程,并提供一份 Verilog 实现,因为我并没有仔细推敲,所以我提供的代码可能效率不够高、简洁,仅作参考。
在 IEEE754 标准下,32 个比特位被拆分为 符号位(1bit)、指数位(8bit...