LLM Internals：完整路线图与核心机制梳理（含博客/视频资源）

系统梳理从分词到推理优化的完整 LLM 内部原理，覆盖注意力、核心组件、反向传播、推理技术等要点，附带博客与视频资源。

亮点路线

一个完整的 LLM 内部原理路线图，帮助还在东拼西凑学习的你快速把知识串起来。覆盖从基础到进阶的关键模块，并给出对应的学习资料。

• 模块一：核心注意力与编码机制
  • Q/K/V、RoPE、因果掩码、GQA 等
• 模块二：核心模型结构
  • Transformer、MoE、LoRA、归一化等
• 模块三：训练与推理相关
  • 反向传播、交叉熵、RLHF、推理模型
• 模块四：推理优化技术
  • KV Cache、Flash Attention、Paged Attention、投机解码等

每个模块都配有相关博客与视频，零散知识可在此重新串联。

🔗 参考资料

• GitHub：amitshekhariitbhu/llm-internals（原文地址，含完整路线图与资源）

图片/示意：
简要示意

下载链接

GitHub：
https://github.com/amitshekhariitbhu/llm-internals