NOTES / SERIES
MiniMind Reproduction
已完结从零手写一个小 LLM：RMSNorm、RoPE/YaRN、GQA、FFN 到完整架构拼装。
6 章 · ≈ 40MIN
01 MiniMind 总架构图 MiniMind / HollowStoneMind 的 Dense 与 MoE 两种模型主干结构总览与设计决策分析。 3 MIN 02 MiniMind 01: RMSNorm 解释 RMSNorm 在 Transformer 中的作用、实现细节与张量形状流。 6 MIN 03 MiniMind 02: RoPE & YaRN 从注意力几何出发梳理 RoPE 的位置编码机制与 YaRN 的长上下文扩展。 7 MIN 04 MiniMind 03: GQA 围绕 KV cache 成本分析 GQA 的设计动机、张量形状与系统折中。 6 MIN 05 MiniMind 04: FFN 拆解门控 FFN 在 Transformer block 中的角色、形状变化与工程设计。 7 MIN 06 MiniMind 05: 拼装 Model 按数据流梳理 HollowStoneMindModel 从 token id 到 hidden states 的完整组装过程。 11 MIN