详细介绍了LLM的内部原理，从分词到推理优化。

LLM Internals 详解

LLM Internals 提供了从分词、BPE、Transformer 到训练、微调、RAG、Agent，再到推理优化的全面指南。

模块涵盖

1. Q/K/V、RoPE、因果掩码、GQA 等注意力机制
2. Transformer、MoE、LoRA、归一化等核心组件
3. 反向传播、交叉熵、RLHF、推理模型
4. KV Cache、Flash Attention、Paged Attention、投机解码等推理技术

每个模块都有详细的博客和视频，帮助你将散落的知识串成一条线。

GitHub 资源