LLM 基础（模型原理）#

AI 全栈 ① 模型原理：大模型长什么样、怎么生成、能力边界在哪。训练见 MOC-模型训练，推理部署见 MOC-推理与模型服务。

知识脉络#

LLM基础
├── 模型结构
│   ├── Tokenizer与分词原理
│   ├── Transformer架构
│   ├── 注意力机制变体与位置编码
│   ├── MoE混合专家架构
│   └── Embedding原理与选型
└── 生成与能力边界
    ├── 解码策略与采样参数
    ├── 长上下文处理
    ├── 大模型幻觉与缓解
    └── 多模态大模型基础

plaintext

知识点清单#

模型结构#

#	题目	频率	难度	状态
1	Tokenizer与分词原理	高	基础	done
2	Transformer架构	高	困难	done
3	注意力机制变体与位置编码	高	困难	done
4	MoE混合专家架构	高	困难	done
5	Embedding原理与选型	高	进阶	done

生成与能力边界#

#	题目	频率	难度	状态
6	解码策略与采样参数	极高	基础	done
7	长上下文处理	高	进阶	done
8	大模型幻觉与缓解	高	进阶	done
9	多模态大模型基础	中	进阶	done

建议学习顺序#

先会用：Tokenizer → 解码采样参数
再懂原理：Transformer → 注意力变体与位置编码 → MoE → Embedding
知道边界：长上下文 → 幻觉 → 多模态

口诀速记#

Transformer: “Q 问 K 答 V 给货，多头并行残差稳”
注意力变体: “MHA 全配是基准，MQA 共享、GQA 分组、MLA 压缩——后三个都在省 KV Cache”
MoE: “参数多、算得少——专家各管一摊，路由分活”
采样: “温度调分布，top-p 截尾巴，惩罚防复读”
长上下文: “窗口大不等于记得住——重要信息放首尾”

跨域关联#

训练 → LLM训练流程与对齐（模型训练）
推理优化 / KV Cache → LLM推理优化（推理与模型服务）
Embedding / 向量检索 → RAG架构与实现（检索与RAG）
长上下文 → Agent记忆与上下文工程（AI Agent开发）