Phase 0 — 地图与词汇（W1）

发表于 分类于 阅读次数： 本文字数： 2.2k 阅读时长 ≈ 2 分钟

本周目标

用1周时间建立全局认知地图，知道每个术语属于训练/推理/RL哪一层，避免后面”学了后面忘前面”。

⭐ 先读：四份词汇图鉴（本仓库内，配图详解）

按顺序精读，这是本周的最主要内容：

  1. glossary-01-foundations.md — 模型在算什么：
    Tokenizer → Embedding → 位置编码 → Attention(QKV/causal mask) → GQA/MLA → MLP →
    LayerNorm → Loss → Forward/Backward → Gradient → Optimizer State(16B/参数) → 显存总账
  2. glossary-02-scaling.md — 训练怎么铺到多卡：
    通信原语(AllReduce/AllGather/ReduceScatter/Ring) → DP/TP/PP/EP/SP → 3D组合 →
    ZeRO-1/2/3 与 FSDP → Checkpoint 与容错
  3. glossary-03-inference-rl.md — 推理+RL：
    Prefill/Decode → KV Cache → FlashAttention → PagedAttention → Continuous Batching →
    量化 → 投机解码 → PD分离 → 前缀缓存/网关 → RL(Rollout⇄Policy Update, PPO/GRPO/DPO)
  4. glossary-04-gpu-hardware.md — GPU 底层架构：
    SM/CUDA Core/Tensor Core → 精度阶梯(FP32/TF32/FP16/BF16/FP8/FP4) → 内存金字塔(HBM/L2/共享内存) →
    GPU代际(V100→A100→H100→B200) → NVLink → 稀疏2:4 → Triton/CUDA Graphs → nvidia-smi排障

说明：glossary-04 属于 Phase 4(W16-18)的正式内容，但建议 W1 通读建立硬件直觉，
后续学到 MFU、带宽瓶颈、TP拓扑时能直接对应上。

每节结构：一句话 → 内部机制（mermaid/ASCII图）→ 系统管理员类比 → 要记住的数字。
读完合上文件把图示默画一遍再继续下一节。

学习材料（外部）

  • pacoxu/ai-infra README — 重点看 “AI Infra Definition” 三分法
    (Training: DP/TP/EP/SP/PP | Inference: KVCache/PD disaggregation | RL: 训练推理一致性)
  • learninfra.dev 目录 过一遍标题和摘要（不用细读）
  • docs/training/parallelism.md, docs/inference/pd-disaggregation.md（pacoxu/ai-infra repo 内）

动手实验

无需GPU。花3-4小时做一张可视化脑图，建议用 draw.io / Excalidraw / 纯 Markdown 表格：

1
2
3
4
5
6
7
8
9
纵轴：Training层级 vs Inference层级 vs RL层级
横轴：从"模型计算" -> "单卡" -> "多卡" -> "多机" -> "生产服务"

示例节点：
Tokenizer -> Embedding -> Attention(QKV) -> MLP -> LayerNorm
  -> Forward/Backward -> Gradient -> Optimizer State
  -> [训练] DP/TP/PP/EP/SP -> ZeRO/FSDP -> AllReduce/AllGather -> Checkpoint
  -> [推理] KVCache -> PagedAttention -> Continuous Batching -> PD分离 -> 量化
  -> [RL] Rollout(推理) -> Reward -> Policy Update(训练) -> PPO/GRPO

对每个节点标注：

  • ✅ 已经懂
  • 🟡 听过但说不清楚
  • ❌ 完全没概念

验收产出

  • 用三份图鉴里的图，画出你自己的合并版总图（见 glossary-03 第11节的串连总图）
  • week-01/README.md：脑图截图/文件 + 一段文字自评：”我现在最大的知识盲区是____，
    因为____”（这段话决定你后面该在哪个阶段多花时间）
  • 对图鉴中的每张图，合上文档徒手画一遍（画不出来的地方就是你没吃透的地方，标记回去重读）
  • 额外：列出你们集群里曾经跑过的3个典型任务（1个训练job，1个推理服务，1个如果有的话RL/post-training job），
    写下你目前能解释清楚的部分和说不清楚的部分。这份清单在Phase 2/3/5会反复用到。