Blog
Long-form writing on research ideas, technical explorations, and reflections.
2026-08-11
从一个 toy model 出发的 Transformer 机制解释性
从梯度的学习率阶数出发，看 Transformer 如何依次学会统计、搬运信息与按需路由，并用 TinyStories 三层模型复现实验验证。
TransformerMechanistic InterpretabilityTraining Dynamics
2026-06-15
低精度不应该用flops来进行计算强度的分析
传统教材说 FP16 翻倍 Arithmetic Intensity 就能逃离 memory wall。我从电路级计算模型重新推导，发现 FP16 的 I_circuit 只有 FP32 的 0.44 倍，并在 RTX 5060 上实验验证。
GPURooflineFP16