**项目定位**：该仓库包含对Sebastian Raschka的LLM Architecture Gallery中收录模型的手写PyTorch实现，依据原始论文、技术报告、参考config.json文件以及Raschka和Machine Learning Mastery的解读文章编写。

**学习导向**：目标不是与transformers等生产库竞争，而是清晰与学习——每个架构一个可读文件，将注意力类型、归一化、层组合、MoE路由、位置编码等结构选择显式化，便于并排比较。

**设计差异维度**：注意力涵盖MHA、GQA、MQA、MLA、滑动窗口、线性/DeltaNet混合；归一化包括pre-norm、post-norm、QK-Norm、三明治归一化、RMSNorm；位置编码有RoPE、NoPE、部分RoPE、YaRN。

**解码器与训练技巧**：解码器类型涵盖稠密与稀疏MoE（含/不含共享专家）、混合Mamba/注意力架构；训练技巧包括多token预测、潜在专家、门控注意力。

**可读性优先**：官方模型代码为速度、分片和向后兼容优化而难以阅读，本仓库专为阅读优化；标记✅的实现可用于前向传播，🚧表示仍在构建中。

OpenArch：现代LLM架构的PyTorch从零实现合集